De echte doorbraak van het Chinese open source-model is het samenwerkingsnetwerk

Als we het hebben over “of het zal worden verzegeld” in het open source-model, is het gemakkelijkste om naar te kijken het gewichtsbestand als alles te beschouwen.

Nadat de gewichten zijn gedownload, verdwijnt het model zelf vaak niet zo gemakkelijk. Wat gemakkelijker te doorbreken is, is het netwerk dat er omheen draait: mirrorsites, evaluatiesets, inferentiesjablonen, scripts voor het verfijnen van problemen, probleemoplossingen, standaardimplementatieparameters en de consensus in de gemeenschap dat “deze versie kan draaien en dat die versie niet mag worden aangeraakt.”

Het onderdeel dat de grond kan raken, is het minst bang om te breken.

Zolang een open source-model een lokaal magazijn, objectopslag of intranetimage is binnengekomen, hoe krap de buitenwereld ook is, zal het bestand er meestal nog steeds zijn. Offline kopieën, interne caches en historische build-producten zullen allemaal de vraag “of het nog kan worden gebruikt” lange tijd uitstellen.

Dit is ook het grootste verschil tussen het open source-model en pure clouddiensten. Als een clouddienst eenmaal geblokkeerd is, is de ingang vaak verdwenen; zelfs als de upstream-service van het open source-model wordt gestopt, kunnen de aanwezige gewichten, tokenizer en inferentie-image blijven draaien. De vraag is niet “heb je het?” maar “kun je het op dezelfde manier blijven gebruiken als anderen?”

Wat echt helder is, is de synchronisatierelatie

Dat het model kan blijven draaien, betekent niet dat het team het kan blijven bijhouden.

De eerste dingen die losgemaakt moeten worden zijn meestal synchronisatierelaties:

• De upstream heeft een nieuwe versie uitgebracht, maar de interne spiegel hield het niet bij.
• De evaluatieset is herzien en de regressieresultaten kunnen niet meer worden afgestemd op de oude records.
• De chatsjabloon of tokenizer is een beetje verplaatst, maar de uitvoerstijl is veel veranderd.
• Een bepaalde oplossing kwam alleen terecht in de PR van de gemeenschap, niet in het imago van het bedrijfsintranet
• De standaardkwantisering, standaardcontextlengte en standaardbemonsteringsparameters zijn elk uit elkaar gedreven.

Deze dingen zien er op zichzelf niet groot uit, maar als je ze op elkaar stapelt, wordt ‘hetzelfde model’ in verschillende delen opgedeeld.

In dit stadium bestaat de echte schade die door externe beperkingen wordt veroorzaakt niet uit het uitwissen van een gewogen document uit de wereld, maar uit het doorbreken van het feit dat ‘iedereen naar hetzelfde kijkt’. Het team heeft het nog steeds over dezelfde modelnaam, maar wat ze feitelijk krijgen is een combinatiepakket met verschillende versies, verschillende sjablonen en verschillende parameters.

Recensies, oplossingen en ervaringen worden samengebracht

Zodra een open source-model de echte workflow betreedt, is de echte waarde meestal niet het gewicht zelf, maar het oordeel dat rond het gewicht is opgebouwd.

Welke versie stabieler is, welke tokenizer lange tekst zal breken, welke set samplingparameters geschikter is voor klantenservicescenario’s, welk verfijningsscript de illusie zal vergroten, deze ervaringen zijn allemaal afhankelijk van continue uitwisseling. Zolang het samenwerkingsnetwerk blijft bestaan, kan iedereen nog steeds rond dezelfde basis sleutelen; zodra het samenwerkingsnetwerk verbroken is, zal elk team langzaam zijn eigen privéversie ontwikkelen.

Privéversies zijn geen slechte zaak, maar de prijs stijgt:

• Terugkeren naar de basislijn wordt steeds moeilijker opnieuw te gebruiken
• Ongevallenbeoordeling wordt steeds moeilijker op elkaar af te stemmen
• Fix dat de patch steeds moeilijker te synchroniseren is
• Hetzelfde probleem zal herhaaldelijk voorkomen in verschillende teams

Op dit moment lijkt het erop dat “het model er nog steeds is”, maar in feite zijn het “veel lokale kopieën die nauwelijks bruikbaar zijn” geworden, en er is geen gemeenschappelijk updatepad ertussen.

Waar je je echt zorgen over moet maken, is niet blokkeren, maar forken

Het open source-model is moeilijk volledig te verzegelen zoals een online API, omdat de repliceerbaarheid aanwezig is. Waar we echt voor op onze hoede moeten zijn, is dat nadat externe druk de distributie, het herstel en de samenwerking heeft verbroken, het model uiteen begint te lopen op het ritme van verschillende organisaties.

Zodra er meer forks zijn, is het niet langer een kwestie van “kan het gedownload worden?” maar “wie kan garanderen dat dit nog steeds hetzelfde soort dingen is?” Deze kwestie zal de toegangskosten direct verhogen: nieuwe beoordelingen moeten opnieuw worden gedaan, oude fouten moeten opnieuw worden uitgelegd, versieverschillen moeten worden herschikt en het team moet voor elke gevorkte lijn zijn eigen rollback- en bevriezingsstrategieën bedenken.

De veerkracht van het open source-model is inderdaad sterker dan die van pure clouddiensten; maar de kwetsbaarheid ervan is ook heel duidelijk: niet of het gewicht is weggenomen, maar of het samenwerkingsnetwerk dezelfde naam als hetzelfde kan blijven behouden.