Após a restrição do modelo de código aberto da China, a primeira coisa a aumentar é o custo da verificação.

Depois que os modelos de código aberto são restritos, a primeira coisa que fica cara geralmente não é o modelo em si, mas a verificação. Se o modelo ainda pode ser reduzido é apenas a primeira camada; depois de baixado, se o formato de saída, a chamada de ferramenta, a política de rejeição, o comprimento do contexto e os parâmetros de amostragem ainda podem ser alinhados com a versão antiga determinarão se o sistema continuará estável.

O que parecia ser um problema de fornecimento se transformou em um problema de engenharia para a equipe. Depois que um modelo entra no processo, a camada de acesso raramente fica com apenas um endereço de API. Palavras de prompt, esquema, novas tentativas, tempos limite, posições de truncamento e sequências de chamada de ferramenta tornar-se-ão gradualmente premissas implícitas. Quando a versão é estável, estas premissas podem ser apoiadas pela experiência; quando o modelo é limitado, a imagem é bifurcada ou o desempenho da versão com o mesmo nome varia, a experiência começa a falhar. A primeira coisa que perde o efeito geralmente é o julgamento de regressão, porque o conjunto de testes apenas informa ao sistema o que não está quebrado e não pode dizer diretamente o que mudou.

A suposição padrão é que ele será vinculado e retornado primeiro.

No passado, um grupo de caixas douradas poderia durar muito tempo. Na maioria das vezes, eles apenas verificavam se a produção havia obviamente se desviado. O modelo é corrigido e a palavra de prompt também é corrigida. Todos terão como padrão “este link foi verificado”. Assim que as restrições aparecem, esse padrão começa a entrar em colapso. Os modelos podem mudar de região, imagem ou versão, e até modelos com o mesmo nome podem se comportar de maneira diferente em diferentes períodos de tempo. Neste momento, a regressão não se trata mais de julgar se pode ser usada, mas de julgar em qual camada a mudança cai e se vale a pena mudar o valor da mudança.

Distribuição e reversão ampliarão pequenas mudanças

Após a restrição do modelo, as primeiras coisas a fazer são download, espelhamento, aprovação, auditoria e reversão. Superficialmente, apenas muda para um modelo disponível. Na verdade, ele adiciona bloqueio de versão, sincronização de cache, controle de permissão e failover. Enquanto a distribuição do modelo não tiver uma camada independente, a empresa colocará essas tarefas de volta em seu próprio ritmo de lançamento. O resultado muitas vezes não é “fazer mais adaptação”, mas o contrato de entrada e saída deve ser reconfirmado sempre que for atualizado.

A primeira coisa que a camada neutra desliga não é a capacidade do modelo.

O que realmente deve ser separado geralmente não é o modelo em si, mas a camada de limites neutros em torno do modelo: modelos de prompt word, verificação de esquema, estratégias de roteamento, lógica de repetição, logs e avaliações. Juntar essas coisas não é buscar a limpeza, mas permitir que as mudanças recaiam primeiro no mesmo conjunto de contratos. O modelo pode ser substituído, a entrada e a saída não podem oscilar e a linha de base da regressão não pode se dispersar. Uma vez estabelecida a camada neutra, muitos comportamentos padrão que foram originalmente lembrados através da experiência se tornarão coisas que podem ser comparadas, revertidas e reproduzidas.

Nem todos os projetos valem a pena fazer essa camada primeiro.

Bastam resumos únicos, experimentos internos, scripts de curta duração, diretamente conectados ao modelo. O que precisa de uma camada neutra é um cenário em que o modelo começou a participar do julgamento da produção e há uma grande probabilidade de o fornecedor ou região ser trocado posteriormente. Para esses sistemas, o verdadeiro problema nunca é escrever mais algumas linhas de adaptação, mas sim que os comportamentos padrão originais não sejam explicitamente marcados. Sem essa camada, toda vez que o modelo for alterado, o ritmo de retorno, distribuição e liberação terá que ser recalculado novamente.

O chamado selo muitas vezes apenas reembolsa os custos de verificação, distribuição e reversão originalmente salvos para a equipe de uma só vez. Os modelos mudam e os vínculos não podem ser estabilizados pela sorte. Precisamos desmontar o link de verificação primeiro antes de podermos falar se o modelo pode continuar a ser usado.