中国のオープンソース モデルの真の進歩はコラボレーション ネットワークにあります

オープンソース モデルで「封印されるかどうか」について話すとき、最も簡単に見るのは、ウェイト ファイルがすべてであると考えることです。

重みをダウンロードした後、モデル自体は簡単には消えないことがよくあります。まず突破しやすいのは、ミラー サイト、評価セット、推論テンプレート、微調整スクリプト、問題修正、デフォルトのデプロイメント パラメータ、および「このバージョンは実行できるが、そのバージョンには触れるべきではない」というコミュニティ内のコンセンサスなど、その周りを回るネットワークです。

地面に当たる部分が一番壊れる心配が少ないです。

オープンソース モデルがローカル ウェアハウス、オブジェクト ストレージ、またはイントラネット イメージに入っている限り、外部の世界がどれほど厳重にされていても、ファイルは通常そこに残ります。オフライン コピー、内部キャッシュ、および過去のビルド製品はすべて、「まだ使用できるかどうか」という問題を長期間遅延させます。

これは、オープンソース モデルと純粋なクラウド サービスの最大の違いでもあります。クラウド サービスがブロックされると、多くの場合、入り口は失われます。オープンソースモデルの上流サービスが停止しても、手元にある重み、トークナイザー、推論画像は実行し続けることができます。質問は「持っていますか？」ではありません。しかし、「他の人と同じように使い続けることができますか？」

本当に鮮明なのは同期関係です

モデルが実行し続けることができるからといって、チームがそのモデルに追いつき続けることができるという意味ではありません。

通常、最初に緩めるのは同期関係です。

• 上流側が新しいバージョンをリリースしましたが、内部ミラーが間に合わなかった。
• 評価セットが改訂され、回帰結果を古いレコードと一致させることができなくなりました。
• チャット テンプレートまたはトークナイザーは少し移動されましたが、出力スタイルは大きく変わりました。
• 特定の修正はコミュニティ PR にのみ適用され、企業イントラネットのイメージには適用されませんでした
• デフォルトの量子化、デフォルトのコンテキスト長、およびデフォルトのサンプリング パラメータはそれぞればらつきがあります。

これらは単体ではそれほど大きく見えませんが、これらを積み重ねると「同じモデル」がいくつかの部分に分かれます。

この段階で、外部制限によって引き起こされる本当の害は、重みのある文書を世界から消去することではなく、「誰もが同じものを見ている」という事実を破壊することです。チームは依然として同じモデル名について話していますが、実際に得られるのは、異なるバージョン、異なるテンプレート、異なるパラメータを備えた組み合わせパッケージです。

レビュー、修正、エクスペリエンスはまとめて分割されます

オープンソース モデルが実際のワークフローに入ると、実際の値は通常、重みそのものではなく、重みの周りに蓄積された判断になります。

どのバージョンがより安定しているか、どのトークナイザーが長いテキストを分割するか、どのサンプリング パラメータのセットが顧客サービス シナリオにより適しているか、どの微調整スクリプトが錯覚を高めるか、これらのエクスペリエンスはすべて継続的な交換に依存しています。コラボレーション ネットワークが残っている限り、誰もが同じベースラインをいじることができます。コラボレーション ネットワークが切断されると、各チームはゆっくりと独自のプライベート バージョンを開発します。

プライベート バージョンが悪いわけではありませんが、価格が徐々に上がります。

• ベースラインに戻るのは再利用がますます困難になります
• 事故調査の調整はますます困難になる
• 同期がますます難しくなるパッチを修正
• 異なるチームで同じ問題が繰り返し発生する

この時点では「モデルはまだ存在している」ように見えますが、実際には「かろうじて使えるローカルコピーが多数」になっており、それらの間には共通の更新パスが存在しません。

本当に心配する価値があるのはブロックではなくフォークです

オープンソースモデルは複製可能性があるため、オンライン API のように完全に封印することが困難です。私たちが本当に注意しなければならないのは、外部からの圧力によって配布、修復、コラボレーションが崩壊した後、モデルがさまざまな組織のリズムに沿って分岐し始めることです。

フォークがさらに増えると、「ダウンロードできるかどうか」という問題はなくなります。しかし、「これが今でも同じ種類のものであることを誰が保証できますか?」この問題はアクセス コストの直接的な増加につながります。新しいレビューをやり直す必要があり、古い障害を再説明する必要があり、バージョンの違いを再調整する必要があり、チームは分岐した行ごとに独自のロールバックおよびフリーズ戦略を作成する必要があります。

オープンソース モデルの復元力は、純粋なクラウド サービスの復元力よりも確かに強力です。しかし、その脆弱性も非常に明らかであり、重みが取り除かれたかどうかではなく、コラボレーション ネットワークが同じ名前を同じものとして維持し続けることができるかどうかです。