오픈소스 모델이 공개된 후 정말 취약한 것은 기본 경로입니다.

질문을 "미국을 봉쇄할 수 있는가?"로 놔두세요. 대답은 일반적으로 덜 극적입니다. 가중치 파일이 반드시 세상에서 사라지는 것은 아니지만 기본 경로는 쉽게 재정의될 수 있습니다. 허브 주소, SDK 기본값, 온라인 추론 입구를 당연하게 사용하는 한 후속 자동화는 취약할 것입니다.

주소에서 시작

오픈 소스 모델은 단순한 주소로 시작되었습니다. 당기고, 평가하고, 배치하고, 반환하는 등 모든 작업은 동일한 입구를 가리킵니다. 상류가 변하지 않았을 때 이 경로는 “부드럽고” 심지어 자연스러워 보였습니다. 업스트림이 변경되었을 때 제가 의존한 것은 모델 기능이 아니라 기본 경로라는 것을 깨달았습니다.

프로젝트에서 가장 일반적인 중단점은 "모델을 전혀 가져올 수 없음"이 아니라 "여전히 모델을 가져올 수 있지만 원본 모델은 얻을 수 없음"입니다. 미러 동기화가 느리고, 별칭이 전환되고, 지역 액세스가 제한되고, 기본 버전이 이동되지만 스크립트는 여전히 이전 주소에서 실행되고 있습니다. 모델 온톨로지는 여전히 존재하지만 프로세스가 벗어나기 시작했습니다.

자동화에서 먼저 실패가 발생합니다

이미지를 수동으로 전환하는 것은 어렵지 않지만, 자동화가 스스로 이를 이해하지 못한다는 것이 어려운 점이다. CI, 예정된 평가, 컨테이너 구축, 실험 기록, 문서 예제, 동료의 로컬 스크립트는 모두 동일한 기본값을 복사할 수 있습니다. 아무것도 변경하지 않는 한 기존 입구가 계속 나타납니다.

이것은 또한 "봉인"이라는 용어가 가장 오해를 불러일으키는 부분이기도 합니다. 실제 변화는 가중치가 지워지는 것이 아니라 기본값이 다시 쓰여지는 경우가 많습니다. 겉으로는 여전히 같은 이름처럼 보이지만 내부에서는 입구, 버전, 종속성이 변경되었습니다. 인간에게 이것은 단지 스위치일 뿐입니다. 자동화의 경우 이는 광범위한 행동 드리프트입니다.

가중치는 이동이 가능하지만, 기본값은 이동이 불가능합니다.

오픈 소스 모델의 중요한 장점은 가중치를 복사, 미러링, 분기하고 오프라인으로 저장할 수 있다는 것입니다. 문제는 기본 경로가 아닌 파일이 복사된다는 것입니다. 소비자 측이 여전히 특정 외부 입구를 유일한 진실로 간주하는 한, 무게가 아무리 공개되어도 작동 방법은 여전히 ​​외부 규칙의 영향을 받습니다.

더욱 문제가 되는 점은 이러한 변경으로 인해 반드시 즉시 오류가 발생하지 않을 수도 있다는 것입니다. 여러 번 계속 실행될 수 있는 것처럼 보이지만 결과는 다릅니다. 한 평가 세트는 미러 A에서 전달되었고 다른 세트는 미러 B에서 흔들렸습니다. 한 버전은 로컬에서 사용할 수 있지만 파이프라인에 도달하면 다른 패치 세트가 됩니다. 동일한 모델명으로 실제 행동이 달라지기 시작했습니다.

여기서 두 가지를 구별해야 합니다. 공급망 문제는 파일 관리 및 버전 관리와 비슷하고 기본 라우팅 문제는 런타임 의사 결정과 비슷합니다. 전자는 백업이 있는지 여부에 관심이 있고 후자는 요청이 어떤 경로를 먼저 취해야 하는지에 관심이 있습니다. 기본값이 외부적으로 기록되는 한 외부 작업은 워크플로를 직접 재정의할 수 있습니다.

보완해야 할 부분은 핀, 미러, 대체 경로입니다.

치료법은 복잡하지 않지만 이를 최우선으로 생각하는 사람은 거의 없습니다.

버전은 특정 커밋, 해시 또는 일반 릴리스에 고정되어야 하며 오랫동안 표류할 수 있는 최신과 같은 이름에 의존하지 마십시오. 최소한 네트워크 연결이 끊어졌을 때 재구축할 수 있도록 가중치, 토크나이저, 구성 및 추론 이미지를 내부 창고에 함께 넣는 것이 가장 좋습니다. 기본 입구에는 대체 경로가 있어야 하며 온라인 주소가 하나만 있을 수 없습니다. 평가 샘플과 이전 결과도 파일로 보관해야 합니다. 그렇지 않으면 "얼마나 변경되었는지"조차 명확하지 않습니다.

이러한 것들은 모두 운영 및 유지 관리 세부 사항처럼 보이지만 실제로는 외부 기본값에서 제어권을 되찾고 있습니다. 이러한 폐쇄 계층이 없으면 오픈 소스는 "자유의 외양"만 가져올 뿐 "실제 제어 가능성"은 가져올 수 없습니다.

오픈소스 모델이 공개된 후 정말 취약한 것은 무게 자체가 아니라 기본 경로입니다. 입구가 여전히 다른 사람의 기본값으로 제어되는 한, 모델을 다시 열면 작업 흐름이 계속 흔들릴 것입니다.