Nachdem Chinas Open-Source-Modell eingeschränkt wurde, steigen zunächst die Kosten für die Verifizierung.

Nach der Einschränkung von Open-Source-Modellen ist das erste, was teuer wird, meist nicht das Modell selbst, sondern die Verifizierung. Ob das Modell noch heruntergezogen werden kann, ist nur die erste Schicht; Ob das Ausgabeformat, der Tool-Aufruf, die Ablehnungsrichtlinie, die Kontextlänge und die Sampling-Parameter nach dem Herunterfahren noch mit der alten Version abgeglichen werden können, bestimmt, ob das System weiterhin stabil bleibt.

Was wie ein Versorgungsproblem aussah, wurde für das Team zu einem technischen Problem. Sobald ein Modell in den Prozess eintritt, verbleibt auf der Zugriffsschicht selten nur eine API-Adresse. Eingabeaufforderungswörter, Schemata, Wiederholungsversuche, Zeitüberschreitungen, Kürzungspositionen und Werkzeugaufrufsequenzen werden nach und nach zu impliziten Prämissen. Wenn die Version stabil ist, können diese Prämissen durch Erfahrung gestützt werden; Wenn das Modell eingeschränkt ist, das Image gespalten wird oder die Leistung der gleichnamigen Version abweicht, beginnt die Erfahrung zu versagen. Das erste, was seine Wirkung verliert, ist oft die Regressionsbeurteilung, da der Testsatz dem System nur mitteilt, was nicht kaputt ist, und nicht direkt sagen kann, was sich geändert hat.

Die Standardannahme ist, dass es zuerst gebunden und zurückgegeben wird.

In der Vergangenheit konnte eine Gruppe goldener Fälle über einen längeren Zeitraum laufen. Meistens wurde nur geschaut, ob die Ausgabe offensichtlich abgewichen war. Das Modell ist festgelegt und das Eingabeaufforderungswort ist ebenfalls festgelegt. Jeder wird standardmäßig auf „Dieser Link wurde überprüft“ eingestellt sein. Sobald Einschränkungen auftreten, beginnt dieser Standard zusammenzubrechen. Modelle können Regionen, Bilder oder Versionen ändern, und sogar Modelle mit demselben Namen können sich in verschiedenen Zeiträumen unterschiedlich verhalten. Zu diesem Zeitpunkt geht es bei der Regression nicht mehr darum, zu beurteilen, ob sie verwendet werden kann, sondern darum, zu beurteilen, auf welche Ebene die Änderung fällt und ob der Änderungswert einen Wechsel wert ist.

Durch Verteilung und Rollback werden kleine Änderungen vergrößert

Nachdem das Modell eingeschränkt wurde, müssen zunächst das Herunterladen, das Spiegeln, die Genehmigung, die Prüfung und das Rollback durchgeführt werden. Oberflächlich betrachtet handelt es sich lediglich um einen Wechsel zu einem verfügbaren Modell. Tatsächlich werden Versionssperre, Cache-Synchronisierung, Berechtigungskontrolle und Failover hinzugefügt. Solange die Modellverteilung keine eigenständige Ebene hat, wird das Unternehmen diese Aufgaben wieder in seinen eigenen Release-Rhythmus versetzen. Das Ergebnis ist oft nicht „weitere Anpassungen vornehmen“, sondern der Ein- und Ausgabevertrag muss bei jeder Aktualisierung erneut bestätigt werden.

Das erste, was die neutrale Ebene abschaltet, ist nicht die Modellfähigkeit.

Was wirklich getrennt werden sollte, ist normalerweise nicht das Modell selbst, sondern die Schicht neutraler Grenzen um das Modell herum: Eingabeaufforderungswortvorlagen, Schemaüberprüfung, Routing-Strategien, Wiederholungslogik, Protokolle und Auswertungen. Bei der Zusammenstellung dieser Dinge geht es nicht um Ordnungsmäßigkeit, sondern darum, dass Änderungen zuerst auf denselben Vertragssatz fallen können. Das Modell kann ersetzt werden, die Eingabe und Ausgabe können nicht driften und die Regressionsbasislinie kann nicht streuen. Sobald die neutrale Ebene eingerichtet ist, werden viele Standardverhaltensweisen, an die man sich ursprünglich aus Erfahrung erinnerte, zu Dingen, die verglichen, rückgängig gemacht und wiederholt werden können.

Nicht alle Projekte sind es wert, diese Ebene zuerst durchzuführen.

Einmalige Zusammenfassungen, interne Experimente, kurzlebige Skripte, die direkt mit dem Modell verbunden sind, reichen aus. Was eine neutrale Ebene benötigt, ist ein Szenario, in dem das Modell begonnen hat, an der Produktionsbeurteilung teilzunehmen, und eine hohe Wahrscheinlichkeit besteht, dass der Lieferant oder die Region später gewechselt wird. Bei diesen Systemen besteht das eigentliche Problem darin, nie noch ein paar Anpassungszeilen zu schreiben, sondern dass die ursprünglichen Standardverhaltensweisen nicht explizit gekennzeichnet werden. Ohne diese Schicht müssen bei jeder Änderung des Modells der Rückgabe-, Verteilungs- und Freigaberhythmus neu berechnet werden.

Das sogenannte Siegel erstattet dem Team oft nur die ursprünglich eingesparten Verifizierungs-, Verteilungs- und Rollback-Kosten auf einmal. Modelle ändern sich und Verbindungen können nicht durch Glück stabilisiert werden. Wir müssen zunächst den Verifizierungslink demontieren, bevor wir darüber sprechen können, ob das Modell weiterhin verwendet werden kann.