Nachdem das Open-Source-Modell veröffentlicht wurde, ist die Standardroute wirklich fragil

Stellen Sie die Frage: „Können die Vereinigten Staaten versiegelt werden?“ und die Antwort ist normalerweise weniger dramatisch. Gewichtsdateien verschwinden nicht unbedingt von der Welt, aber Standardrouten können leicht überschrieben werden. Solange selbstverständlich eine Hub-Adresse, ein SDK-Standardwert und ein Online-Inferenzeingang verwendet werden, wird die nachfolgende Automatisierung fragil sein.

Beginnen Sie mit einer Adresse

Das Open-Source-Modell war zunächst nur eine Adresse. Ziehen, Auswerten, Bereitstellen, Zurückkehren, alle Aktionen weisen auf denselben Eingang hin. Als sich der Flussaufwärts nicht änderte, erschien dieser Weg „glatt“ und sogar natürlich; Als sich der Upstream änderte, wurde mir klar, dass ich mich nicht auf die Modellfähigkeit, sondern auf den Standardpfad verließ.

Der häufigste Haltepunkt im Projekt ist nicht „Das Modell kann überhaupt nicht abgerufen werden“, sondern „Es kann immer noch abgerufen werden, aber nicht das Original“. Die Spiegelsynchronisierung ist langsam, Aliase werden geändert, der regionale Zugriff ist eingeschränkt, die Standardversion wurde verschoben, aber das Skript läuft immer noch unter der alten Adresse. Die Modellontologie ist immer noch vorhanden, aber der Prozess hat begonnen, abzuweichen.

Fehler treten zuerst in der Automatisierung auf

Es ist nicht schwer, Bilder manuell zu wechseln, aber die Schwierigkeit besteht darin, dass die Automatisierung dies nicht von selbst versteht. CI, geplante Auswertung, Containerkonstruktion, Experimentaufzeichnungen, Dokumentbeispiele und lokale Skripte von Kollegen kopieren möglicherweise alle denselben Standardwert. Solange sich nichts ändert, wird der alte Eingang weiterhin angezeigt.

Hier ist auch der Begriff „Siegel“ am irreführendsten. Die eigentliche Änderung besteht oft nicht darin, dass die Gewichte gelöscht werden, sondern darin, dass die Standardwerte neu geschrieben werden. Von außen sieht es immer noch wie derselbe Name aus, aber der Eingang, die Version und die Abhängigkeiten wurden im Inneren geändert. Für den Menschen ist dies nur ein Schalter; Bei der Automatisierung handelt es sich um eine weitreichende Verhaltensabweichung.

Das Gewicht kann verschoben werden, der Standardwert kann jedoch nicht verschoben werden.

Ein wichtiger Vorteil des Open-Source-Modells besteht darin, dass Gewichte kopiert, gespiegelt, gegabelt und offline gespeichert werden können. Das Problem besteht darin, dass die Datei kopiert wird, nicht der Standardpfad. Solange die Verbraucherseite immer noch einen bestimmten externen Eingang als die einzige Wahrheit ansieht, wird die Funktionsweise unabhängig von der Offenheit des Gewichts weiterhin von externen Regeln beeinflusst.

Noch problematischer ist, dass diese Änderung nicht unbedingt sofort einen Fehler verursacht. Oft sieht es so aus, als ob es noch laufen kann, aber die Ergebnisse sind unterschiedlich: Ein Satz Auswertungen wurde auf Spiegel A übergeben, ein anderer Satz wurde auf Spiegel B geschüttelt; Eine Version ist lokal verfügbar, wird jedoch zu einem anderen Patch-Set, wenn sie die Pipeline erreicht. Unter dem gleichen Modellnamen begann das tatsächliche Verhalten zu divergieren.

Hier sind zwei Dinge zu unterscheiden. Das Problem der Lieferkette ähnelt eher der Dateiverwaltung und der Versionsverwaltung, und das Problem des Standardroutings ähnelt eher der Entscheidungsfindung zur Laufzeit. Ersteres kümmert sich darum, ob ein Backup vorhanden ist, und letzteres kümmert sich darum, welchen Weg die Anfrage zuerst nehmen soll. Solange der Standardwert extern geschrieben wird, können externe Aktionen den Workflow direkt überschreiben.

Was ergänzt werden muss, ist die Pin-, Spiegel- und Fallback-Route.

Die Abhilfemaßnahmen sind nicht kompliziert, aber nur wenige Menschen betrachten sie als oberste Priorität.

Die Version sollte an einen bestimmten Commit, Hash oder eine klare Version angeheftet sein und sich nicht auf Namen wie „latest“ verlassen, die über einen längeren Zeitraum hinweg driften können. Es ist am besten, Gewichtungen, Tokenizer, Konfigurationen und Inferenzbilder gemeinsam im internen Lager abzulegen, um zumindest sicherzustellen, dass sie bei einer Trennung des Netzwerks wiederhergestellt werden können. Der Standardeingang muss über eine Fallback-Route verfügen und darf nicht nur eine Online-Adresse haben. Auch Auswertungsmuster und alte Ergebnisse müssen archiviert werden, sonst ist nicht einmal klar, „wie viel sich verändert hat“.

Diese Dinge sehen alle wie Betriebs- und Wartungsdetails aus, aber sie übernehmen tatsächlich die Kontrolle von externen Vorgaben. Ohne diese Abschlussschicht bringt Open Source nur den „Anschein von Freiheit“, aber keine „tatsächliche Kontrollierbarkeit“.

Nach der Veröffentlichung des Open-Source-Modells ist nicht das Gewicht selbst, sondern die Standardroute wirklich fragil. Solange der Eingang noch über die Standardwerte anderer Personen gesteuert wird, gerät der Workflow beim erneuten Öffnen des Modells immer noch ins Wanken.