Nadat het open source-model openbaar is gemaakt, is wat echt kwetsbaar is de standaardroute

Stel de vraag als: “Kunnen de Verenigde Staten worden verzegeld?” en het antwoord is meestal minder dramatisch. Gewichtsbestanden verdwijnen niet noodzakelijkerwijs van de wereld, maar standaardroutes kunnen eenvoudig worden overschreven. Zolang een Hub-adres, een SDK-standaardwaarde en een online inferentie-ingang als vanzelfsprekend worden gebruikt, zal de daaropvolgende automatisering kwetsbaar zijn.

Begin vanaf een adres

Het open source-model begon als slechts een adres. Trekken, evalueren, inzetten, terugkeren, alle acties wijzen naar dezelfde ingang. Toen de stroomopwaartse stroom niet veranderde, leek dit pad “glad” en zelfs natuurlijk; Toen de upstream veranderde, realiseerde ik me dat ik niet op de modelmogelijkheden vertrouwde, maar op het standaardpad.

Het meest voorkomende breekpunt in het project is niet “kan het model helemaal niet krijgen”, maar “kan het nog steeds krijgen, maar niet het originele”. Mirrorsynchronisatie is traag, aliassen worden gewisseld, regionale toegang is beperkt, de standaardversie is verplaatst, maar het script draait nog steeds op het oude adres. De modelontologie bestaat nog steeds, maar het proces begint af te wijken.

Falen treedt eerst op in de automatisering

Het is niet moeilijk om handmatig van afbeelding te wisselen, maar de moeilijkheid is dat de automatisering dit niet zelf begrijpt. CI, geplande evaluatie, containerconstructie, experimentrecords, documentvoorbeelden en lokale scripts van collega’s kunnen allemaal dezelfde standaardwaarde kopiëren. Zolang er niets verandert, blijft de oude ingang opduiken.

Dit is ook waar de term ‘zegel’ het meest misleidend is. De echte verandering is vaak niet dat de gewichten worden gewist, maar dat de standaardwaarden worden herschreven. Van buitenaf lijkt het nog steeds dezelfde naam, maar de ingang, versie en afhankelijkheden zijn binnenin gewijzigd. Voor mensen is dit slechts een omschakeling; voor automatisering is het een brede gedragsdrift.

Het gewicht kan worden verplaatst, maar de standaardwaarde kan niet worden verplaatst.

Een belangrijk voordeel van het open source-model is dat gewichten offline kunnen worden gekopieerd, gespiegeld, gevorkt en opgeslagen. Het probleem is dat het bestand wordt gekopieerd en niet het standaardpad. Zolang de consumentenkant een bepaalde externe ingang nog steeds als de enige waarheid beschouwt, hoe open het gewicht ook is, zal de werkwijze nog steeds worden beïnvloed door externe regels.

Wat zelfs nog lastiger is, is dat deze wijziging niet noodzakelijkerwijs onmiddellijk een fout veroorzaakt. Vaak lijkt het erop dat het nog steeds kan worden uitgevoerd, maar de resultaten zijn anders: de ene set evaluaties werd doorgegeven op spiegel A en een andere set werd geschud op spiegel B; één versie is lokaal beschikbaar, maar wordt een andere patchset wanneer deze de pijplijn bereikt; onder dezelfde modelnaam begint het feitelijke gedrag uiteen te lopen.

Hierbij moeten twee zaken onderscheiden worden. Het supply chain-probleem lijkt meer op bestandsbeheer en versiebeheer, en het standaardrouteringsprobleem lijkt meer op runtime-besluitvorming. De eerstgenoemde maakt zich zorgen of er een back-up is, en de laatste maakt zich zorgen over welk pad het verzoek eerst moet volgen. Zolang de standaardwaarde extern wordt geschreven, kunnen externe acties de workflow direct overschrijven.

Wat aangevuld moet worden is de pin-, mirror- en fallback-route.

De remedies zijn niet ingewikkeld, maar weinig mensen beschouwen ze als de eerste prioriteit.

De versie moet worden vastgemaakt aan een specifieke commit, hash of clear release, en vertrouw niet op namen zoals de nieuwste die voor een lange tijd kunnen ronddwalen. Het is het beste om gewichten, tokenizers, configuraties en gevolgtrekkingsafbeeldingen samen in het interne magazijn te plaatsen, om er in ieder geval voor te zorgen dat ze opnieuw kunnen worden opgebouwd wanneer het netwerk wordt losgekoppeld. De standaardingang moet een uitwijkroute hebben en kan niet slechts één onlineadres hebben. Evaluatiemonsters en oude resultaten moeten ook worden bewaard, anders zal het zelfs niet duidelijk zijn “hoeveel er is veranderd.”

Deze zaken lijken allemaal op bedienings- en onderhoudsdetails, maar nemen feitelijk de controle over van externe standaarden. Zonder deze afsluiting zal open source alleen maar een ‘schijn van vrijheid’ opleveren, maar geen ‘daadwerkelijke beheersbaarheid’.

Nadat het open source-model openbaar is gemaakt, is wat echt kwetsbaar is niet het gewicht zelf, maar de standaardroute. Zolang de ingang nog wordt gecontroleerd door de standaardwaarden van anderen, zal de workflow nog steeds worden geschud als het model opnieuw wordt geopend.