Nadat het Chinese open source-model aan banden is gelegd, zijn het eerste wat moet stijgen de kosten van verificatie.

Nadat open source-modellen aan banden zijn gelegd, is het eerste dat duur wordt meestal niet het model zelf, maar de verificatie. Of het model nog naar beneden getrokken kan worden is slechts de eerste laag; nadat het is afgebroken, zal de vraag of het uitvoerformaat, de tooloproep, het afwijzingsbeleid, de contextlengte en de bemonsteringsparameters nog steeds kunnen worden uitgelijnd met de oude versie bepalen of het systeem stabiel zal blijven.

Wat leek op een bevoorradingsprobleem, veranderde voor het team in een technisch probleem. Zodra een model het proces betreedt, blijft de toegangslaag zelden alleen achter met alleen een API-adres. Promptwoorden, schema’s, nieuwe pogingen, time-outs, afkappingsposities en reeksen van gereedschapsaanroepen zullen geleidelijk impliciete premissen worden. Wanneer de versie stabiel is, kunnen deze uitgangspunten door ervaring worden ondersteund; wanneer het model beperkt is, het beeld wordt gevorkt, of de prestaties van de versie met dezelfde naam afwijken, begint de ervaring te mislukken. Het eerste wat zijn effect verliest is vaak het regressieoordeel, omdat de testset het systeem alleen vertelt wat niet kapot is, en niet direct kan zeggen wat er veranderd is.

De standaardaanname is dat het eerst wordt gekoppeld en geretourneerd.

In het verleden kon een groep gouden zaken lange tijd duren. Meestal keken ze alleen of de output duidelijk was afgeweken. Het model staat vast en het promptwoord staat ook vast. Iedereen zal standaard “deze link is geverifieerd” gebruiken. Zodra er beperkingen komen, begint dit gebrek in te storten. Modellen kunnen van regio, afbeelding of versie veranderen, en zelfs modellen met dezelfde naam kunnen zich in verschillende tijdsperioden anders gedragen. Op dit moment gaat regressie niet langer over het beoordelen of het kan worden gebruikt, maar over het beoordelen op welke laag de verandering valt en of de veranderingswaarde de moeite waard is om te veranderen.

Distributie en terugdraaien zullen kleine veranderingen vergroten

Nadat het model is beperkt, zijn de eerste dingen die u moet doen downloaden, spiegelen, goedkeuring, auditing en terugdraaien. Op het eerste gezicht verandert het gewoon in een beschikbaar model. In feite voegt het versievergrendeling, cachesynchronisatie, toestemmingscontrole en failover toe. Zolang modeldistributie geen onafhankelijke laag heeft, zal de business deze taken terug in haar eigen releaseritme brengen. Het resultaat is vaak niet ‘meer aanpassen’, maar het input- en outputcontract moet elke keer dat het wordt bijgewerkt opnieuw worden bevestigd.

Het eerste dat de neutrale laag afsluit, is niet het modelvermogen.

Wat werkelijk gescheiden moet worden is meestal niet het model zelf, maar de laag met neutrale grenzen rond het model: promptwoordsjablonen, schemaverificatie, routeringsstrategieën, logica voor opnieuw proberen, logboeken en evaluaties. Het samenvoegen van deze zaken is niet bedoeld om netheid na te streven, maar om veranderingen eerst op dezelfde reeks contracten te laten vallen. Het model kan worden vervangen, de invoer en uitvoer kunnen niet afwijken en de regressiebasislijn kan niet uiteenvallen. Zodra de neutrale laag is gevestigd, zullen veel standaardgedragingen die oorspronkelijk door ervaring zijn onthouden, dingen worden die kunnen worden vergeleken, teruggedraaid en opnieuw gespeeld.

Niet alle projecten zijn de moeite waard om eerst deze laag te doen.

Eenmalige samenvattingen, interne experimenten, kortstondige scripts, direct verbonden met het model, zijn voldoende. Wat een neutrale laag nodig heeft, is een scenario waarin het model is gaan deelnemen aan de productiebeoordeling en de kans groot is dat er later van leverancier of regio zal worden gewisseld. Voor deze systemen is het echte probleem nooit om nog een paar aanpassingsregels te schrijven, maar dat het oorspronkelijke standaardgedrag niet expliciet wordt gemarkeerd. Zonder deze laag zal elke keer dat het model wordt gewijzigd het retour-, distributie- en releaseritme opnieuw moeten worden berekend.

De zogenaamde zegel vergoedt vaak gewoon de oorspronkelijk bespaarde verificatie-, distributie- en rollback-kosten in één keer aan het team. Modellen veranderen en verbindingen kunnen niet door geluk worden gestabiliseerd. We moeten eerst de verificatielink demonteren voordat we kunnen praten over de vraag of het model verder gebruikt kan worden.