オープンソース モデルが制限された後の最初のステップはモデルの承認です。

オープンソースモデルが制限され始めると、最初に現れるのは「まだダウンロードできるのか？」ということではありません。しかし、「誰がまだそれを使用できるでしょうか？」このステップはプロセスのように見えますが、プロジェクトに関して言えば、実際にはコントロール サーフェスです。デフォルトでは、同じセットのモデル ファイル、同じバッチのプロンプト ワード、および同じセットの回帰スクリプトを実行できます。その後、ワークフローに実際に入る前に、承認、ミラーリング、権限、およびフォールバック パスを確認する必要があります。

システムがすぐにダウンするわけではないため、この変更は過小評価されがちです。モデルはまだ存在し、インターフェイスはまだ存在し、特定のアカウントはまだイメージを取得できる可能性があり、最初の検証ラウンドはまだパスしている可能性があります。本当に厄介になり始めるのは第 2 レベルです。古いバージョンを取得する人もいれば、定量バージョンを取得する人もおり、権限をまったく渡すことができない人もいます。トラブルシューティングの際、全員が同じモデル名について話していましたが、保持しているオブジェクトは異なりました。

このとき、モデルへのアクセスを「一時的にトークンを与える」ものとして扱い続けるのは非常に危険です。一時的な認証は、錯覚を引き起こすのに最適です。今日実行できるからといって、明日も同じパスを認識できるとは限りません。また、今日返された結果が明日も同じパスを実行できるとは限りません。モデルが制限された後、最初に高価になるのはトークンでもコンピューティング能力そのものでもなく、判定コストです。問題を見つけるたびに、まず、どのバージョンを入手したか、どのイメージから来たのか、承認チェーンが変更されたかどうか、ロールバック ポイントが保持されているかどうかを尋ねる必要があります。

したがって、本当に最初に行う必要があるのは、より美しいダウンロード ページを作成することではなく、モデルの承認です。承認は事務手続きではありません。これにより、誰が実稼働ベースラインに入ることができるか、誰が実験領域にのみ留まることができるか、誰の結果が回帰に使用できるか、誰の出力が 1 回限りの参照としてみなされるかが決定されます。この境界層を閉じると、モデルは保守可能な依存関係のように見え始めます。この境界層がなければ、いわゆる「使える」ものは単なる幸運にすぎません。

最も実用的なアプローチは複雑ではありません。モデルのバージョンを明確なベースラインとして修正し、イメージとソースをレコードに書き込み、承認結果とロールバック パスを同じトレース セットに入れます。このようにして制限が生じ、損失となるのはワークフローそのものではなく入り口の幅です。本当に守るべきものは、決して「誰でも触れられる」ことではなく、触れた後は同じラインに戻れるということなのだ。