Depois que o modelo de código aberto for restrito, a disponibilidade padrão expirará primeiro.

Depois que um modelo de código aberto entra em um estado restrito, a primeira coisa a falhar geralmente é a disponibilidade padrão. A frase em si não é atraente, mas é muito importante quando cai no fluxo de trabalho: o arquivo do modelo ainda pode estar lá, o espelho ainda pode estar sincronizado e a máquina local pode ser capaz de executar uma vez, mas a mesma regressão, o mesmo conjunto de palavras de prompt e o mesmo script em lote começam a perder lentamente o pré-requisito para ser estabelecido por padrão.

As mudanças não foram grandes no início. Um ambiente obtém a versão espelhada e outro ambiente obtém a versão quantizada; a versão do tokenizer de uma máquina não corresponde à de outra máquina; ainda pode ser reproduzido hoje, mas amanhã os resultados começarão a variar devido a mudanças nas políticas de acesso, atrasos de espelhamento ou cotas. Superficialmente, ainda é um “modelo disponível”, mas na verdade tornou-se três coisas: caminho disponível, permissão disponível e versão disponível.

A coisa mais problemática sobre esse tipo de mudança é que ela não desliga imediatamente o sistema. Primeiro altera o valor padrão. A suposição padrão anterior era que o mesmo modelo, a mesma versão e o mesmo conjunto de parâmetros podem produzir resultados suficientemente próximos na maioria dos ambientes. Depois de ser restringido, essa suposição não é mais verdadeira. Cada vez que a equipe faz um julgamento, ela deve primeiro confirmar a entrada, espelhamento, quantificação, reversão e restrições regionais. No final, muitas vezes leva mais tempo do que executar o modelo em si.

O que realmente precisa ser abordado primeiro é a superfície de controle usada pelo modelo: quem pode usá-la, em quais ambientes ela pode ser usada, quais versões são consideradas linhas de base de produção, qual caminho mudar quando falhar e qual versão manter ao reverter. Somente eliminando esses limites separadamente é que o modelo restrito não pode romper diretamente o fluxo de trabalho. Caso contrário, qualquer solução temporária é como reinventar o processo. Se puder funcionar hoje, não significa que o mesmo conjunto de insumos será reconhecido amanhã.

O ponto mais facilmente mal avaliado aqui é considerar “ainda pode ser executado uma vez” como “ainda pode ser usado de forma estável”. Depois que esse julgamento for confuso, os problemas subsequentes continuarão a aparecer: o conjunto de regressão não compartilha mais a mesma linha de base e, ao solucionar problemas, você deve primeiro confirmar qual versão obteve, e a equipe começará a discordar sobre “se esta versão é o mesmo modelo”. O modelo em si ainda existe, mas a cadeia de julgamento construída em torno dele desmoronou-se.

Portanto, a verdadeira mudança provocada pelas restrições não é apenas uma diminuição na capacidade de download, mas uma falha na usabilidade padrão. Quanto mais avançado o modelo, mais restritivo ele se torna e menos pode confiar na memória temporária e nas convenções verbais para manter a consistência. O que é necessário são permissões claras, linhas de base fixas, entradas recicláveis ​​e caminhos alternativos rastreáveis. Depois de apertar essas coisas, o modelo pode realmente entrar em estado operacional; caso contrário, não importa quão bom seja o modelo, ele será apenas “o suficiente para ser executado hoje”.