Setelah model open source dibatasi, hal pertama yang gagal adalah penilaian regresi.

Ketika pembatasan eksternal diterapkan pada model sumber terbuka, hal pertama yang dilanggar sering kali adalah “apakah model tersebut masih dapat diunduh?” tapi “bisakah hasil kali ini dilihat bersamaan dengan yang terakhir kali?” Nama modelnya masih ada, dan antarmukanya masih bisa dihubungkan. Yang benar-benar menjadi sulit adalah garis penilaian mulai menyimpang: kumpulan kata-kata cepat yang sama, kumpulan sampel yang sama, dan alur kerja yang sama, hasil yang habis tidak lagi memiliki distribusi perilaku yang sama.

Hal ini terlihat sederhana di atas kertas, namun dalam praktiknya menjadi sangat mengganggu. Format keluaran yang sebelumnya lumayan tiba-tiba memiliki sedikit penjelasan lebih lanjut, urutan pemanggilan fungsi yang sebelumnya stabil mulai berubah, ada lapisan petunjuk kebijakan tambahan di beberapa area, atau permintaan yang sama mendapatkan panjang konteks yang berbeda di bawah pintu masuk yang berbeda. Masing-masing dari mereka sendiri bukanlah suatu kecelakaan, tetapi jika digabungkan akan membingungkan penilaian pengembalian.

Yang pertama rusak adalah kaliber komparatif.

Banyak tim yang pertama-tama fokus pada skor benchmark, namun skor tersebut hanya cocok untuk menunjukkan perkiraan kemampuan, dan tidak cocok untuk menjelaskan “apakah perilaku saat ini masih dapat diikuti oleh proses lama”. Tempat sebenarnya untuk online bukanlah model yang berjalan sendiri, namun model tersebut bekerja bersama dengan parser, pemanggilan alat, percobaan ulang, cache, audit, dan perutean. Selama salah satu tautan berubah kaliber, skor akan kehilangan arti referensinya.

Situasi yang paling umum terjadi adalah tidak ada masalah yang terlihat dalam rangkaian evaluasi, namun rantainya mulai terputus secara online. Sampel pengujiannya cukup bersih, dan modelnya menjawab pertanyaan dengan sangat baik. Namun, setelah masukan nyata diterima, sejumlah kecil penyimpangan lapangan dapat membuat langkah otomatis selanjutnya menjadi bias. Hasilnya terlihat seperti “model masih bisa digunakan”, namun nyatanya berarti “metode perbandingan gagal”.

Garis dasar harus disimpan sesuai dengan alur kerja

Untuk menekan perubahan tersebut, kami tidak mengandalkan menjalankan lebih banyak putaran daftar, namun membuat garis dasar menjadi alur kerja yang dapat diputar ulang. Masukan harus memiliki versi, keluaran harus memiliki skema, respons alat harus dapat diputar, dan sampel yang gagal harus mempertahankan konteks aslinya. Hanya dengan cara ini, setelah beralih ke model lain, wilayah lain, dan strategi lain, kita dapat mengetahui apakah penyimpangannya terletak pada model itu sendiri atau pada link depan dan belakang.

Jenis baseline ini paling ditakuti karena hanya menyimpan skor dan kesimpulan. Skor akan digunakan untuk menghibur orang, kesimpulan akan digunakan untuk menulis laporan, namun rincian yang benar-benar berguna tidak ada. Setelah pembatasan diperketat nanti, tim hanya dapat mengisi ulang sampel, mengisi ulang kaliber, dan mengisi ulang batas abnormal, yang setara dengan memecah pekerjaan perbandingan yang bisa diselesaikan sekaligus menjadi beberapa putaran pengerjaan ulang.

Kerugian sebenarnya dari migrasi adalah membangun kembali rasa percaya diri

Setelah model dibatasi, tindakan migrasi tampak seperti mengubah ke item yang tersedia, namun sebenarnya membangun kembali keyakinan bahwa “proses ini relatif stabil”. Keyakinan tidak dibangun oleh satu panggilan yang berhasil, namun oleh serangkaian hasil perbandingan yang dapat diverifikasi berulang kali. Tanpa rangkaian hasil ini, hal ini hanya dapat dijalankan untuk sementara jika kita berubah ke masa lalu; dengan serangkaian hasil ini, itu akan berada dalam kisaran yang dapat dikontrol jika kita berubah ke masa lalu.

Itu sebabnya beberapa tim sudah menyelesaikan penggantian di permukaan, namun secara internal mereka masih harus menunggu lama sebelum berani meningkatkan kapasitasnya. Yang benar-benar macet bukanlah tindakan akses, namun tidak ada yang berani menjawab: apakah batasan terpenting dalam proses lama masih berlaku dalam model baru. Selama pertanyaan ini belum terjawab dengan jelas, pernyataan “migrasi telah selesai” hanyalah pernyataan yang dibuat-buat.

Hanya bagian-bagian yang sesuai untuk pengujian yang layak untuk dibangun kembali

Tidak semua skenario layak membuat rantai regresi menjadi begitu berat. Percakapan ad-hoc, pembuatan yang ringan, dan ringkasan satu kali memiliki batasan yang longgar, dan konstruksi yang berlebihan hanya membuang-buang waktu. Namun segera setelah model mulai berpartisipasi dalam pembuatan kode, ekstraksi informasi, keputusan perutean, dan eksekusi alat, penilaian regresi tidak lagi menjadi aksesori, namun menjadi bagian dari alur kerja.

Kendala eksternal dapat memperbesar perbedaan ini. Apakah dapat terus digunakan biasanya hanya lapisan paling dangkal; yang benar-benar menentukan apakah sebuah tim bisa stabil adalah apakah ada metode yang stabil untuk mengembalikan hasil baru ke baseline lama untuk perbandingan. Ketika perbandingan tersebut dibuat, migrasi hanyalah sebuah masalah rekayasa; begitu perbandingan gagal, semua penilaian selanjutnya akan mulai goyah.