オープンソースモデルが公開された後、本当に脆弱なのはデフォルトルートです

質問を「米国を封鎖できるか?」とします。そしてその答えは通常、それほど劇的なものではありません。ウェイト ファイルは必ずしも世界から消えるわけではありませんが、デフォルトのルートは簡単に上書きできます。 Hub アドレス、SDK デフォルト値、オンライン推論入り口を当たり前のように使っている限り、その後の自動化は脆弱です。

Start from an address

オープンソース モデルは単なるアドレスとして始まりました。 Pull, evaluate, deploy, return, all actions point to the same entrance.上流が変わらなかったとき、この道は「滑らか」で自然にさえ見えました。アップストリームが変更されたとき、私が依存していたのはモデルの機能ではなく、デフォルトのパスであることに気づきました。

The most common breakpoint in the project is not “cannot get the model at all”, but “can still get it, but not the original one”.ミラー同期は遅く、エイリアスは切り替えられ、地域アクセスは制限され、デフォルト バージョンは移動されますが、スクリプトは依然として古いアドレスで実行されています。モデルのオントロジーはまだ存在しますが、プロセスは逸脱し始めています。

失敗は自動化で最初に発生します

手動で画像を切り替えるのは難しくありませんが、自動化自体がそれを理解できないのが難点です。 CI、スケジュールされた評価、コンテナの構築、実験記録、ドキュメントの例、同僚のローカル スクリプトはすべて同じデフォルト値をコピーする可能性があります。 As long as nothing is changed, the old entrance will continue to pop up.

This is also where the term “seal” is most misleading.多くの場合、実際の変更は重みが消去されることではなく、デフォルト値が書き換えられることです。外見上は同じ名前に見えますが、内部では入り口、バージョン、依存関係が変更されています。人間にとって、これは単なるスイッチです。 for automation, it is a broad behavioral drift.

The weight can be moved, but the default value cannot be moved.

オープンソース モデルの重要な利点は、重みをオフラインでコピー、ミラーリング、フォーク、保存できることです。問題は、ファイルがデフォルトのパスではなくコピーされることです。消費者側が一定の外部入口を唯一の真実と考えている限り、いくらオープンウェイトであっても運用方法は外部ルールに影響されることになる。

What’s even more troublesome is that this change may not necessarily cause an error immediately.多くの場合、まだ実行できるように見えますが、結果は異なります。あるセットの評価はミラー A で渡され、別のセットはミラー B で振られました。 1 つのバージョンはローカルで利用可能ですが、パイプラインに到達すると別のパッチ セットになります。 under the same model name, the actual behavior has begun to diverge.

ここでは 2 つのことを区別する必要があります。サプライ チェーンの問題はファイル管理やバージョン管理に似ており、デフォルト ルーティングの問題は実行時の意思決定に似ています。前者はバックアップがあるかどうかを考慮し、後者はリクエストが最初にどのパスを通過するかを考慮します。デフォルト値が外部で書き込まれている限り、外部アクションはワークフローを直接オーバーライドできます。

What needs to be supplemented is the pin, mirror and fallback route.

The remedies are not complicated, but few people regard them as the first priority.

バージョンは特定のコミット、ハッシュ、またはクリア リリースに固定する必要があり、長期間にわたって変動する可能性がある最新のような名前に依存しないでください。少なくともネットワークが切断されたときに再構築できるようにするために、重み、トークナイザー、構成、および推論イメージを一緒に内部ウェアハウスに置くことが最善です。デフォルトの入口にはフォールバック ルートが必要であり、オンライン アドレスを 1 つだけ持つことはできません。評価サンプルや古い結果もファイルに保存しておかないと、「どれだけ変わったのか」すらわかりません。

これらはすべて運用とメンテナンスの詳細のように見えますが、実際には外部のデフォルトから制御を取り戻しています。 Without this layer of closure, open source will only bring “appearance of freedom” but not “actual controllability”.

After the open source model is made public, what is really fragile is not the weight itself, but the default route. As long as the entrance is still controlled by other people’s default values, the workflow will still be shaken when the model is opened again.