중국의 오픈소스 모델이 제한되면 가장 먼저 포크해야 할 것은 버전과 평가 수준이다.

이러한 제한이 해제되면 가장 먼저 문제가 되는 것은 일반적으로 "아직 다운로드할 수 있습니까?"가 아닙니다. 하지만 “여전히 동일한 점수 세트를 기반으로 할 수 있습니까?”

모델 자체는 그대로 있고 미러링도 동기화가 가능하지만 문제는 입구에서 비교로 넘어가기 시작한다. 현재 잘 작동하는 버전은 가중치 분할, 토크나이저 버전, 추론 매개변수 또는 미러링 지연으로 인해 다른 시스템에서는 약간의 차이가 있을 수 있습니다. 각 출력을 살펴보면 여전히 작동하는 것 같습니다. 회귀 세트에 다시 넣으면 곡선이 퍼지기 시작합니다. 예전에는 업그레이드 여부를 결정하기 위해 총점만 보면 되었지만 이제는 “이 변경 사항이 모델에서 오는지 아니면 서비스 스택에서 오는지” 먼저 풀어야 합니다.

제한으로 인해 발생하는 실제 문제는 다운로드 작업 자체에 있는 것이 아니라 비교 관계를 파쇄하는 데 있습니다. 과거에는 하나의 업스트림 버전에만 집중하면 되었지만 이제는 공식 소스, 미러 소스, 내부 캐시, 양자화된 버전, 임시 롤백 버전이 동시에 존재하는 경우가 많습니다. 모든 라인을 실행할 수 있지만 결과는 더 이상 동일한 기준을 공유하지 않습니다. 평가 세트가 포크되면 팀은 빠르게 공통 언어를 잃게 됩니다. R&D에서는 이 버전이 개선되었다고 말하고 제품에서는 온라인 경험이 변경되지 않았다고 말합니다. 문제 해결사는 먼저 모델이 변경되었는지, 추론 환경이 변경되었는지 확인해야 합니다.

이런 종류의 포크에서 가장 문제가 되는 점은 바로 고장으로 나타나지 않는다는 점입니다. 첫날에는 두 환경 사이의 차이가 0.3포인트에 불과했습니다. 둘째 날에는 특정 긴 텍스트 샘플이 표류하기 시작했습니다. 3일째 롤백을 해보니 이전 결과를 재현할 수 없다는 것을 알게 되었습니다. 이 단계에서는 더 이상 “모델을 구할 수 있을까?”에 대한 논의가 더 이상 이루어지지 않습니다. 그러나 “우리가 얻는 것이 같은 것인지 여부.”

실제로 먼저 종료해야 할 것은 다운로드 입구가 아니라 기준선입니다. 최소한 다음 사항을 해결해야 합니다.

• 모델 파일의 해시, 토크나이저 버전, 양자화 방법 및 추론 매개변수.
• 평가 세트, 프롬프트 단어, 샘플링 매개변수 및 후처리 로직.
• 두 가지 구현 세트가 표류하는 것을 방지하기 위해 온라인 서비스와 오프라인 회귀에서 공유되는 추론 캡슐화.
• 롤백 시 메모리 재구성에 의존하지 않고 이전 이미지와 기준선을 유지합니다.

이러한 것들이 사소해 보일 수도 있지만 일단 모델 액세스가 제한되기 시작하면 정말 가치 있는 것은 바로 이 사소함의 계층입니다. 그들이 없으면 팀은 "이번에는 괜찮아 보인다"고 다음 업그레이드에 도박을 할 수밖에 없습니다. 이를 통해 최소한 문제가 모델, 추론 스택 또는 데이터 세트 자체에 있는지 확인할 수 있습니다.

따라서 이 문제가 최종적으로 프로젝트에 속하게 되면 판단은 매우 간단해집니다. 모델을 얻을 수 있는지 여부는 시작에 불과합니다. 동일한 입력 세트, 동일한 매개변수 세트, 동일한 샘플 세트를 동일한 라인에서 지속적으로 실행할 수 있는지 여부에 따라 여전히 안정적으로 사용할 수 있는지 여부가 결정됩니다. 비교 가능한 구경이 남아 있는 한 모델을 조작할 여지는 여전히 남아 있습니다. 구경이 먼저 갈라지면 후속 교체, 롤백 및 문제 해결 비용이 더 많이 듭니다.