Une fois le modèle open source rendu public, ce qui est vraiment fragile, c'est la voie par défaut

Posez la question comme suit : « Les États-Unis peuvent-ils être scellés ? » et la réponse est généralement moins dramatique. Les fichiers de poids ne disparaîtront pas nécessairement du monde, mais les itinéraires par défaut peuvent facilement être remplacés. As long as a Hub address, an SDK default value, and an online inference entrance are used as a matter of course, the subsequent automation will be fragile.

Commencer à partir d’une adresse

Le modèle open source a commencé comme une simple adresse. Tirer, évaluer, déployer, retourner, toutes les actions pointent vers la même entrée. Lorsque l’amont ne changeait pas, ce chemin semblait « doux » et même naturel ; Lorsque l’amont a changé, j’ai réalisé que ce sur quoi je m’appuyais n’était pas la capacité du modèle, mais le chemin par défaut.

Le point d’arrêt le plus courant dans le projet n’est pas « impossible d’obtenir le modèle du tout », mais « peut toujours l’obtenir, mais pas celui d’origine ». La synchronisation miroir est lente, les alias changent, l’accès régional est restreint, la version par défaut est déplacée, mais le script s’exécute toujours à l’ancienne adresse. L’ontologie du modèle est toujours là, mais le processus a commencé à dévier.

L’échec se produit d’abord dans l’automatisation

Il n’est pas difficile de changer d’image manuellement, mais la difficulté est que l’automatisation ne le comprend pas d’elle-même. CI, évaluation planifiée, construction de conteneurs, enregistrements d’expériences, exemples de documents et scripts locaux de collègues peuvent tous copier la même valeur par défaut. Tant que rien n’est changé, l’ancienne entrée continuera à apparaître.

C’est également là que le terme « sceau » est le plus trompeur. Le vrai changement n’est souvent pas que les poids soient effacés, mais que les valeurs par défaut soient réécrites. De l’extérieur, il ressemble toujours au même nom, mais l’entrée, la version et les dépendances ont été modifiées à l’intérieur. Pour les humains, ce n’est qu’un changement ; pour l’automatisation, il s’agit d’une large dérive comportementale.

Le poids peut être déplacé, mais la valeur par défaut ne peut pas être déplacée.

Un avantage important du modèle open source est que les poids peuvent être copiés, mis en miroir, dupliqués et enregistrés hors ligne. Le problème est que le fichier est copié, pas le chemin par défaut. Tant que le consommateur considère une certaine entrée extérieure comme la seule vérité, quelle que soit l’ouverture du poids, la méthode de fonctionnement sera toujours influencée par des règles externes.

Ce qui est encore plus gênant, c’est que ce changement ne provoque pas nécessairement une erreur immédiatement. Plusieurs fois, il semble qu’il puisse encore fonctionner, mais les résultats sont différents : un ensemble d’évaluations a été transmis sur le miroir A, et un autre ensemble a été secoué sur le miroir B ; une version est disponible localement, mais devient un autre ensemble de correctifs lorsqu’elle atteint le pipeline ; sous le même nom de modèle, le comportement réel a commencé à diverger.

Deux choses doivent être distinguées ici. The supply chain problem is more like file management and version management, and the default routing problem is more like runtime decision-making. Le premier se soucie de savoir s’il existe une sauvegarde, et le second se soucie du chemin que la requête doit emprunter en premier. Tant que la valeur par défaut est écrite en externe, les actions externes peuvent directement remplacer le workflow.

Ce qui doit être complété, c’est l’itinéraire d’épingle, de miroir et de secours.

Les remèdes ne sont pas compliqués, mais peu de gens les considèrent comme la première priorité.

La version doit être épinglée sur un commit, un hachage ou une version claire spécifique, et ne pas s’appuyer sur des noms comme Latest qui peuvent dériver pendant une longue période. Il est préférable de regrouper les poids, les tokeniseurs, les configurations et les images d’inférence dans l’entrepôt interne, au moins pour garantir qu’ils peuvent être reconstruits lorsque le réseau est déconnecté. L’entrée par défaut doit avoir un itinéraire de secours et ne peut avoir qu’une seule adresse en ligne. Les échantillons d’évaluation et les anciens résultats doivent également être conservés dans un dossier, sinon il ne sera même pas clair « dans quelle mesure a changé ».

Ces éléments ressemblent tous à des détails d’exploitation et de maintenance, mais ils reprennent en réalité le contrôle des paramètres par défaut externes. Sans cette couche de fermeture, l’open source n’apportera qu’une « apparence de liberté » mais pas une « réelle contrôlabilité ».

Une fois le modèle open source rendu public, ce qui est vraiment fragile n’est pas le poids lui-même, mais la route par défaut. Tant que l’entrée est toujours contrôlée par les valeurs par défaut d’autres personnes, le flux de travail sera toujours secoué lors de la réouverture du modèle.