Setelah model open source China dibatasi, hal pertama yang harus dilakukan adalah versi dan kaliber evaluasi.

Setelah pembatasan tersebut dicabut, hal pertama yang rusak biasanya bukanlah “apakah masih bisa diunduh?” tapi “apakah masih bisa didasarkan pada kumpulan skor yang sama?”

Modelnya sendiri masih ada, dan mirroringnya bisa disinkronkan, tapi masalahnya mulai bergeser dari pintu masuk ke perbandingan. Versi yang berfungsi dengan baik saat ini akan memiliki sedikit perbedaan di komputer lain karena pemotongan bobot, versi tokenizer, parameter inferensi, atau penundaan pencerminan. Hanya dengan melihat setiap keluarannya, sepertinya masih berfungsi; setelah dimasukkan kembali ke dalam set regresi, kurva mulai menyebar. Dulu Anda hanya perlu melihat skor total untuk memutuskan apakah akan melakukan upgrade, namun sekarang Anda harus membongkar “apakah perubahan ini berasal dari model atau tumpukan layanan” terlebih dahulu.

Masalah sebenarnya yang disebabkan oleh pembatasan bukanlah pada tindakan pengunduhan itu sendiri, namun pada hancurnya hubungan perbandingan. Di masa lalu, Anda hanya perlu fokus pada satu versi upstream, tetapi sekarang sering kali terdapat sumber resmi, sumber cermin, cache internal, versi terkuantisasi, dan versi rollback sementara pada saat yang bersamaan. Setiap baris dapat dijalankan, namun hasilnya tidak lagi memiliki garis dasar yang sama. Setelah rangkaian evaluasi dipecah, tim akan segera kehilangan pemahaman yang sama: Penelitian dan Pengembangan menyatakan bahwa versi ini telah ditingkatkan, dan produk mengatakan bahwa pengalaman online tidak berubah. Pemecah masalah harus terlebih dahulu mengonfirmasi apakah model telah berubah atau lingkungan inferensi telah berubah.

Hal yang paling menyusahkan tentang jenis garpu ini adalah ia tidak langsung menunjukkan kerusakan. Pada hari pertama, hanya ada selisih 0,3 poin antara kedua lingkungan tersebut. Pada hari kedua, sampel teks panjang tertentu mulai melayang. Setelah memutar kembali pada hari ketiga, saya menemukan bahwa hasil lama tidak dapat direproduksi. Pada tahap ini, pembahasannya bukan lagi soal “bisakah kita mendapatkan modelnya?” tapi “apakah yang kita dapatkan itu sama”.

Yang sebenarnya harus dimatikan dulu bukan pintu masuk downloadnya, melainkan baselinenya. Setidaknya hal-hal berikut perlu dipastikan:

• Hash, versi tokenizer, metode kuantisasi, dan parameter inferensi file model.
• Kumpulan evaluasi, kata-kata cepat, parameter pengambilan sampel, dan logika pasca-pemrosesan.
• Enkapsulasi inferensi yang digunakan bersama oleh layanan online dan regresi offline untuk mencegah dua rangkaian implementasi menyimpang.
• Pertahankan gambar dan garis dasar lama saat memutar kembali, tanpa bergantung pada rekonstruksi memori.

Hal-hal ini mungkin tampak sepele, namun begitu akses model mulai dibatasi, lapisan sepele inilah yang sangat berharga. Tanpa mereka, tim hanya dapat bertaruh pada peningkatan berikutnya dengan “kali ini terlihat baik-baik saja”; dengan mereka, mereka setidaknya dapat memastikan apakah masalahnya terletak pada model, tumpukan inferensi, atau kumpulan data itu sendiri.

Jadi ketika masalah ini akhirnya jatuh ke tangan proyek, penilaiannya akan menjadi sangat sederhana: apakah model tersebut dapat diperoleh hanyalah permulaan; apakah kumpulan input yang sama, kumpulan parameter yang sama, dan kumpulan sampel yang sama dapat terus dijalankan pada jalur yang sama menentukan apakah kumpulan tersebut masih dapat digunakan secara stabil. Selama kaliber komparatif tetap ada, masih ada ruang untuk bermanuver dalam model; setelah kaliber menyimpang terlebih dahulu, penggantian berikutnya, rollback, dan pemecahan masalah akan menjadi lebih mahal.