Setelah model open source Tiongkok dibatasi, hal pertama yang meningkat adalah biaya verifikasi.

Setelah model open source dibatasi, hal pertama yang menjadi mahal biasanya bukan model itu sendiri, namun verifikasinya. Apakah model tersebut masih dapat ditarik ke bawah hanyalah lapisan pertama; setelah ditarik ke bawah, apakah format keluaran, pemanggilan alat, kebijakan penolakan, panjang konteks, dan parameter pengambilan sampel masih dapat diselaraskan dengan versi lama akan menentukan apakah sistem akan terus stabil.

Apa yang tampak seperti masalah pasokan berubah menjadi masalah teknis jika menyangkut tim. Setelah model memasuki proses, lapisan akses jarang dibiarkan hanya dengan alamat API. Kata-kata cepat, skema, percobaan ulang, batas waktu, posisi pemotongan, dan urutan pemanggilan alat secara bertahap akan menjadi premis implisit. Jika versinya stabil, premis ini dapat didukung oleh pengalaman; ketika modelnya terbatas, gambarnya bercabang, atau performa versi dengan nama yang sama menyimpang, pengalaman mulai gagal. Hal pertama yang kehilangan pengaruhnya sering kali adalah penilaian regresi, karena rangkaian pengujian hanya memberi tahu sistem apa yang tidak rusak, dan tidak bisa secara langsung mengetahui apa yang berubah.

Asumsi defaultnya adalah akan diikat dan dikembalikan terlebih dahulu.

Di masa lalu, sekelompok kasus emas bisa bertahan lama. Seringkali, mereka hanya melihat apakah keluarannya jelas-jelas menyimpang. Modelnya sudah diperbaiki dan kata promptnya juga sudah diperbaiki. Setiap orang akan menetapkan default “tautan ini telah diverifikasi”. Segera setelah pembatasan muncul, standar ini mulai runtuh. Model dapat mengubah wilayah, gambar, atau versi, dan bahkan model dengan nama yang sama mungkin berperilaku berbeda dalam jangka waktu berbeda. Saat ini, regresi bukan lagi tentang menilai apakah dapat digunakan, tetapi tentang menilai pada lapisan mana perubahan itu terjadi dan apakah nilai perubahan tersebut layak untuk dialihkan.

Distribusi dan rollback akan memperbesar perubahan kecil

Setelah model dibatasi, hal pertama yang harus dilakukan adalah mengunduh, mirroring, menyetujui, mengaudit, dan memutar kembali. Di permukaan, itu hanya berubah ke model yang tersedia. Bahkan, ia menambahkan penguncian versi, sinkronisasi cache, kontrol izin, dan failover. Selama distribusi model tidak memiliki lapisan independen, bisnis akan mengembalikan tugas-tugas ini ke ritme rilisnya sendiri. Hasilnya seringkali tidak “melakukan lebih banyak adaptasi”, tetapi kontrak input dan output harus dikonfirmasi ulang setiap kali diperbarui.

Hal pertama yang mematikan lapisan netral bukanlah kemampuan model.

Yang sebenarnya harus dipisahkan biasanya bukan model itu sendiri, namun lapisan batas netral di sekitar model: templat kata cepat, verifikasi skema, strategi perutean, logika percobaan ulang, log, dan evaluasi. Menyatukan hal-hal ini bukan untuk mengejar kerapian, namun membiarkan perubahan terjadi pada rangkaian kontrak yang sama terlebih dahulu. Model dapat diganti, masukan dan keluaran tidak dapat menyimpang, dan garis dasar regresi tidak dapat tersebar. Setelah lapisan netral terbentuk, banyak perilaku default yang awalnya diingat melalui pengalaman akan menjadi hal-hal yang dapat dibandingkan, dibatalkan, dan diputar ulang.

Tidak semua proyek layak dikerjakan pada lapisan ini terlebih dahulu.

Abstrak satu kali, eksperimen internal, skrip berumur pendek, yang terhubung langsung ke model sudah cukup. Yang memerlukan lapisan netral adalah skenario di mana model sudah mulai berpartisipasi dalam penilaian produksi, dan ada kemungkinan besar pemasok atau wilayah akan dialihkan nantinya. Untuk sistem ini, masalah sebenarnya bukanlah menulis beberapa baris adaptasi lagi, tetapi perilaku default asli tidak ditandai secara eksplisit. Tanpa lapisan ini, setiap kali model diubah, ritme pengembalian, distribusi, dan pelepasan harus dihitung ulang lagi.

Apa yang disebut segel sering kali hanya mengganti biaya verifikasi, distribusi, dan pengembalian yang disimpan semula ke tim sekaligus. Model berubah dan hubungan tidak dapat distabilkan hanya karena keberuntungan. Kita perlu membongkar tautan verifikasi terlebih dahulu sebelum kita dapat membicarakan apakah model tersebut dapat terus digunakan.