После того как модель с открытым исходным кодом будет ограничена, первое, что потерпит неудачу, — это регрессионное суждение.

Когда на модель с открытым исходным кодом накладываются внешние ограничения, первое, что ломается, часто не «можно ли ее еще скачать?» но “можно ли результаты на этот раз просматривать вместе с результатами в прошлый раз?” Название модели все еще на месте, и интерфейс все еще можно подключить. Что действительно становится трудным, так это то, что линия суждения начинает дрейфовать: тот же набор слов-подсказок, та же партия образцов и тот же рабочий процесс, результаты заканчиваются, а распределение поведения уже не такое.

На бумаге эта штука выглядит простой, но на практике становится очень раздражающей. Ранее приемлемый формат вывода внезапно получил немного больше объяснений, ранее стабильная последовательность вызовов функций начинает меняться, в некоторых областях появляется дополнительный уровень подсказок политики или один и тот же запрос получает разную длину контекста при разных входах. Каждый из них сам по себе не является случайностью, но в совокупности он сбивает с толку суждение о возвращении.

Что сломалось первым, так это сравнительный калибр.

Многие команды сначала сосредоточатся на контрольных оценках, но эти оценки подходят только для обозначения приблизительных возможностей и не подходят для объяснения того, «можно ли по-прежнему следовать текущему поведению в старом процессе». Настоящая возможность выхода в Интернет заключается не в том, что модель работает отдельно, а в том, что она работает вместе с анализатором, вызовом инструментов, повторными попытками, кэшированием, аудитом и маршрутизацией. Пока одно из звеньев меняет калибр, партитура потеряет эталонное значение.

Самая типичная ситуация: в оценочном наборе проблем не видно, но цепочка начинает обваливаться в онлайне. Тестовые образцы достаточно чистые, и модель очень хорошо отвечает на вопросы. Однако после получения реальных входных данных небольшой дрейф поля может привести к смещению последующих автоматических шагов. Результат выглядит так: «модель еще можно использовать», но на самом деле это означает «метод сравнения не удался».

Базовый план должен быть сохранен в соответствии с рабочим процессом.

Чтобы подавить такие изменения, мы полагаемся не на выполнение большего количества циклов списков, а на превращение базовой линии в воспроизводимый рабочий процесс. Входные данные должны иметь версию, выходные данные должны иметь схему, ответ инструмента должен быть воспроизводимым, а неудачные образцы должны сохранять исходный контекст. Только так, после перехода на другие модели, другие регионы и другие стратегии, мы сможем узнать, кроется ли отклонение в самой модели или в передних и задних звеньях.

Этот тип базовой линии больше всего боится хранить только оценку и заключение. Оценки будут использоваться для утешения людей, выводы будут использоваться для написания отчетов, но по-настоящему полезные детали отсутствуют. Как только в дальнейшем ограничения будут ужесточены, команде останется только пополнять образцы, пополнять калибр и заново заполнять аномальные границы, что эквивалентно разбиению работы по сравнению, которую можно было бы выполнить за один раз, на несколько раундов доработок.

Реальная цена миграции — восстановление доверия

После ограничения модели действие миграции выглядит как переход к доступному элементу, но на самом деле оно восстанавливает уверенность в том, что «этот процесс относительно стабилен». Доверие создается не одним успешным вызовом, а набором результатов сравнения, которые можно проверять неоднократно. Без этого набора результатов его можно было бы запустить только временно, если бы мы перешли в прошлое; с таким набором результатов переход к прошлому был бы в пределах контролируемого диапазона.

Именно поэтому некоторые команды завершили замену на поверхности, но внутри им еще долго приходится ждать, прежде чем они решатся нарастить свои мощности. Что действительно застряло, так это не действие доступа, а то, что никто не осмеливается ответить: сохраняются ли наиболее важные границы старого процесса в новой модели. Пока на этот вопрос нет четкого ответа, любое заявление о том, что «миграция завершена», является всего лишь постановочным заявлением.

Восстанавливать стоит только те детали, которые подходят для теста.

Не все сценарии достойны того, чтобы сделать цепочку регрессии такой тяжелой. Специальные беседы, легкое генерирование и одноразовые сводки имеют размытые границы, а чрезмерное конструирование — пустая трата времени. Но как только модель начинает участвовать в генерации кода, извлечении информации, принятии решений о маршрутизации и выполнении инструментов, регрессионное суждение перестает быть аксессуаром, а становится частью рабочего процесса.

Внешние ограничения могут увеличить эту разницу. Вопрос о том, можно ли его продолжать использовать, обычно является лишь самым поверхностным слоем; Что действительно определяет, может ли команда быть стабильной, так это наличие стабильного метода сопоставления новых результатов со старым базовым уровнем для сравнения. Как только сравнение установлено, миграция становится просто инженерной проблемой; как только сравнение окажется неудачным, все последующие суждения начнут колебаться.