오픈소스 모델이 공개된 후 가장 먼저 취약해지는 것은 버전 잠금입니다.

오픈 소스 모델이 공개된 후 일반적으로 고정 버전이 가장 먼저 느슨해지는 반면 가중치 파일은 가장 안정적인 경우가 많습니다.

웨어하우스 이름도 있고, 모델 이름도 그대로 있지만 평가 실행, 회귀 수행, 트래픽 연결에 사용되는 실제 입력은 동일하지 않은 경우가 많습니다. 오늘 가져온 것은 main이고, 다음주에도 여전히 같은 경로이겠지만, 토크나이저, 템플릿, 양자화 패키지, 기본 dtype, 심지어 README의 권장 매개변수까지 변경되었습니다. What you see online is not “the model disappears”, but “the same model name becomes another deliverable”.

After taking over the model access several times, you will find that the most easily ignored value is the default value. 가중치 파일은 보통 누군가가 감시하지만 기본 태그, 기본 이미지, 기본 템플릿, 기본 캐시 디렉토리는 방치되는 경우가 많습니다. 동기화 창이 중단되거나 미러 스테이션이 가중치만 동기화하고 구성은 동기화하지 않는 경우 팀은 갑자기 자신들이 보유하고 있는 것이 재현 가능한 버전이 아니라 표류하는 이름 문자열임을 발견하게 됩니다.

The default entrance is easier to drift than the weight.

The weight file is static, the entry is not.

model-name:latest This way of writing seems easy, but the problem is that it leaves the matter of “when to update” to the outside. 업스트림이 토크나이저를 변경하거나, 채팅 템플릿을 추가하거나, 수량화 패키지를 다시 입력하면 액세스 당사자의 동작이 그에 따라 변경됩니다. The evaluation scores may only fluctuate a little, but the online output will quietly change its tone. The most torturous part when troubleshooting is here: everything looks normal in the log, but in fact, another input is being called.

What is really uncomfortable is not the change itself, but the fact that the change leaves no boundaries. As long as the name remains unchanged, regression, grayscale, and accident review can only focus on the results and guess the reasons. 모델명은 계속 붙어있지만, 오늘 받은 제품이 지난주 기준선을 실행한 제품과 동일한 제품인지 여부를 팀에서는 확인할 방법이 없습니다.

Images, templates and quantization packages should be frozen together

Just locking the weight is not enough.

After an open source model actually enters the workflow, it usually contains more than just one .bin or .safetensors. 또한 토크나이저, 채팅 템플릿, 추론 프레임워크 매개변수, 수량화 파일, 다운로드 이미지, 시작 스크립트 및 캐시 경로도 제공됩니다. If any one of them drifts, it may eventually show that “the model has become worse”. In fact, it is often not the model that changes, but the delivery package.

model:
  repo: example/model
  revision: 8f3c1a2
  tokenizer_revision: 8f3c1a2
  cache_dir: /opt/model-cache

이러한 유형의 구성은 장황해 보이지만 세 가지 결과를 낳습니다. 이미지는 가용성을 담당하고, 버전 번호와 해시는 재현성을 담당하며, 시작 스크립트는 일관된 추론 매개변수를 담당합니다. Without any of these layers, the so-called “already public” model can only be considered a semi-finished product. 액세스 당사자에게 가장 중요한 것은 다운로드 가능 여부가 아니라 다운로드한 콘텐츠가 3주 후에도 동일한 결과를 생성할 수 있는지 여부입니다.

What really needs to be preserved is the ability to reproduce

After the open source model is made public, what the team needs to protect is not a mysterious entrance, but the reproducibility.

재현성이 중단되면 평가 기준이 표류하고 A/B 결과가 왜곡되며 사고 재생이 참조를 잃게 됩니다. By the time everyone is discussing the problem using the saying “it was normal last week”, version management has basically failed. It doesn’t make much sense to talk about model capabilities at this point; 수정된 버전, 이미지 동기화, 해시 확인 및 롤백 경로를 강화해야만 효과에 대해 계속해서 이야기할 수 있습니다.

This type of model is more like a software artifact than a web service. If the web page is broken, you can still see 500, and the model version is drifting, and in many cases it will just slowly change in the output. On the surface it still has the same name, but in fact half the system has been changed.