После обнародования модели с открытым исходным кодом первое, что становится хрупким, — это блокировка версии.

После публикации модели с открытым исходным кодом исправленная версия обычно ослабляется первой, тогда как файл весов часто является наиболее стабильным.

Имя хранилища и имя модели все еще здесь, но фактические входные данные, используемые для запуска оценок, выполнения регрессий и подключения трафика, часто не совпадают. Сегодня мы извлекли main, и на следующей неделе это будет тот же путь, но токенизатор, шаблон, пакет квантования, dtype по умолчанию и даже рекомендуемые параметры в README были изменены. В Интернете вы видите не «модель исчезает», а «то же название модели становится еще одним продуктом».

Получив доступ к модели несколько раз, вы обнаружите, что легче всего игнорировать значение, установленное по умолчанию. Файл веса обычно кто-то просматривает, но тег по умолчанию, изображение по умолчанию, шаблон по умолчанию и каталог кэша по умолчанию часто остаются без внимания. Когда окно синхронизации застревает или зеркальная станция синхронизирует только веса, но не конфигурацию, команда внезапно обнаруживает, что у них в руках не воспроизводимая версия, а строка дрейфующих имен.

Вход по умолчанию легче дрейфовать, чем вес.

Файл весов статический, запись — нет.

model-name:latest Этот способ записи кажется простым, но проблема в том, что вопрос о том, «когда обновлять», остается за внешним. Если восходящий поток изменит токенизатор, добавит шаблон чата или повторно введет пакет количественного анализа, поведение стороны доступа изменится соответствующим образом. Оценочные оценки могут лишь немного колебаться, но онлайн-выходы незаметно изменят свой тон. Самое мучительное при устранении неполадок здесь: в логе все выглядит нормально, но на самом деле вызывается другой вход.

Что действительно неприятно, так это не само изменение, а тот факт, что оно не оставляет границ. Пока имя остается неизменным, регрессия, оттенки серого и анализ аварий могут только сосредоточиться на результатах и ​​догадываться о причинах. Название модели продолжает висеть там, но у команды нет возможности подтвердить, является ли тот, который они получили сегодня, тем же продуктом, что и тот, который использовался в базовой версии на прошлой неделе.

Изображения, шаблоны и пакеты квантования должны быть заморожены вместе

Просто зафиксировать вес недостаточно.

После того как модель с открытым исходным кодом фактически входит в рабочий процесс, она обычно содержит более одного .bin или .safetensors. Он также будет содержать токенизатор, шаблон чата, параметры структуры вывода, файлы количественной оценки, изображения для загрузки, сценарии запуска и пути к кэшу. Если какой-то из них отклонится, то в конечном итоге это может показать, что «модель стала хуже». На самом деле зачастую меняется не модель, а комплект поставки.

model:
  repo: example/model
  revision: 8f3c1a2
  tokenizer_revision: 8f3c1a2
  cache_dir: /opt/model-cache

Этот тип конфигурации кажется многословным, но он приводит к трем вещам: образ отвечает за доступность, номер версии и хэш отвечают за воспроизводимость, а сценарий запуска отвечает за согласованность параметров вывода. Без любого из этих слоев так называемую «уже общедоступную» модель можно считать лишь полуфабрикатом. Для стороны доступа самое главное не то, можно ли его загрузить, а то, сможет ли загруженный контент по-прежнему давать тот же набор результатов три недели спустя.

Что действительно необходимо сохранить, так это способность к размножению

После того как модель с открытым исходным кодом будет обнародована, команде необходимо защитить не таинственный вход, а воспроизводимость.

Как только воспроизводимость будет нарушена, базовая линия оценки сместится, результаты A/B будут искажены, а случайное воспроизведение потеряет контроль. К тому времени, когда все обсуждают проблему, используя поговорку «на прошлой неделе все было нормально», управление версиями по сути потерпело неудачу. На данном этапе нет особого смысла говорить о возможностях модели; только за счет ужесточения фиксированной версии, синхронизации изображений, проверки хеша и пути отката мы можем иметь право продолжать говорить об эффекте.

Этот тип модели больше похож на программный артефакт, чем на веб-сервис. Если веб-страница не работает, вы все равно можете увидеть 500, а версия модели меняется, и во многих случаях она просто медленно меняется в выводе. На первый взгляд у нее все еще то же имя, но на самом деле половина системы изменилась.