Risiko model open source pertama-tama terjadi pada lapisan akses

Dalam beberapa hari terakhir, terdapat diskusi mengenai apakah model open source akan terhambat oleh kebijakan pengetatan Amerika Serikat. Hal pertama yang berubah dalam rekayasa bukanlah kemampuan model, tetapi aksesibilitas default. Modelnya masih ada, begitu pula kertasnya. Yang benar-benar bergetar pertama adalah alamat penarik, sumber cermin, platform hosting, persyaratan lisensi, dan ketersediaan regional. Hal pertama yang sering ditemui oleh orang-orang yang melakukan pekerjaan akses bukanlah “modelnya tidak cukup kuat”, tetapi “apakah kita masih bisa mendapatkannya secara stabil saat ini?”

Jangkauan default menjadi lebih buruk terlebih dahulu

Dulu, masalah yang paling mengganggu saat melakukan akses model adalah “model yang sama bisa diunduh kemarin, tapi tiba-tiba mendapat 403 hari ini”. Jenis perubahan ini tampak seperti fluktuasi kecil dalam rantai pasokan, namun sebenarnya menyeret seluruh tautan ke keadaan tidak stabil: pengunduhan bobot perlu dicoba ulang, sumber gambar perlu dialihkan, checksum perlu dihitung ulang, gambar penerapan perlu dikemas ulang, dan cache di CI juga akan menjadi tidak valid. Di permukaan, hanya langkah untuk mendapatkan model yang dibuat rapuh, namun kenyataannya, premis “kegunaan” dihilangkan dari sistem.

Model open source sering dipahami sebagai “setelah kode menjadi open source, kode tersebut tidak lagi dapat dikontrol oleh orang lain”. Kalimat ini hanya setengah benar. Kode sumber terbuka tidak berarti dapat diakses secara default, dan terlihat di gudang tidak berarti lingkungan produksi dapat diluncurkan secara stabil. Siapa yang menghostingnya, di wilayah mana, apakah lisensinya telah berubah, dan apakah ada batasan pada frekuensi pengunduhan. Ketika detail-detail ini diblokir oleh platform, kebijakan, atau istilah bisnis, yang dilihat tim bukanlah “modelnya menghilang”, namun “hal-hal yang mudah didapat mulai menjadi infrastruktur yang perlu dipelihara.”

Antarmuka model akan diperbesar hingga batas sistem

Di masa lalu, ketika saya menulis semua detail dalam perutean model, hal yang paling sulit untuk dikumpulkan bukanlah skornya terpaut dua atau tiga poin, tetapi antarmuka model tidak cukup stabil. Setelah basis diganti, kebiasaan cepat, struktur keluaran, format pemanggilan alat, dan perilaku konteks panjang semuanya akan berubah. Nama model sepertinya tidak berubah, tetapi parser, set evaluasi, log pemutaran ulang, dan penanganan kegagalan dalam sistem harus dijalankan kembali. Apa yang paling mudah terungkap pada saat itu adalah bahwa sistem salah mengira “model tertentu” sebagai “kemampuan tertentu”.

Ini juga merupakan area yang paling diabaikan dalam diskusi terkait model open source. Apa yang benar-benar berharga bukanlah nama itu sendiri, namun serangkaian kemampuan yang dapat diganti yang dapat diberikannya: penyelesaian, klasifikasi, ekstraksi, dialog, pemanggilan alat, ringkasan artikel panjang, dan pembuatan kode. Selama lapisan akses mengaitkan kemampuan ini dengan model tertentu, perubahan apa pun yang terjadi selanjutnya akan diperbesar menjadi biaya migrasi. Di sisi lain, jika lapisan antarmuka pertama kali diringkas menjadi kontrak yang stabil, basisnya dapat diganti seperti ketergantungan, dan risikonya hanya akan dibatasi hingga batas tertentu.

Perutean dan penggantian lebih penting daripada kata benda

Apakah model open source akan “disegel” atau tidak, dampak pada sistem akhir biasanya bukan pada nama modelnya, tetapi apakah ada jalan keluarnya. Jika sebuah tim menempatkan semua tugas pada satu model jarak jauh, pembatasan geografis, pembatasan akses, atau perubahan strategi bisnis apa pun akan secara langsung menyebabkan gangguan bisnis. Sebaliknya, selama model yang dapat dijalankan secara lokal, sumber hosting cadangan, kumpulan model dengan tingkat kemampuan berbeda, dan rangkaian evaluasi yang dapat diputar ulang semuanya ada, batasan eksternal akan meningkatkan biaya peralihan dan tidak akan langsung membuat sistem tidak tersedia.

Oleh karena itu, ketika membuat penilaian pada tingkat model, yang terbaik adalah tidak hanya bertanya “model mana yang lebih kuat”, tetapi juga bertanya “dapatkah rantai kemampuan ini diganti dengan basis?” Bisakah anak timbang disimpan di gudang yang terkendali? Bisakah dependensi dikunci ke dalam versi tetap? Bisakah perutean, caching, pemutaran, dan rollback dibuat menjadi serangkaian tindakan yang lengkap? Pertanyaan-pertanyaan ini lebih mendekati batas sebenarnya daripada nama modelnya. Risiko pembatasan model tidak akan hilang terlebih dahulu, namun jangkauan default akan berubah terlebih dahulu; dan apa yang perlu dipertahankan oleh sistem bukanlah sebuah model, namun serangkaian kemampuan yang dapat terus diberikan.