Setelah model sumber terbuka dibatasi, ketersediaan default akan habis masa berlakunya terlebih dahulu.

Setelah model sumber terbuka memasuki keadaan terbatas, hal pertama yang gagal sering kali adalah ketersediaan default. Kalimat itu sendiri tidak menarik perhatian, tetapi sangat penting ketika masuk ke dalam alur kerja: file model mungkin masih ada, cermin mungkin masih disinkronkan, dan mesin lokal mungkin dapat berjalan sekali, tetapi regresi yang sama, kumpulan kata-kata cepat yang sama, dan skrip batch yang sama perlahan-lahan mulai kehilangan prasyarat untuk ditetapkan secara default.

Perubahannya tidak besar pada awalnya. Satu lingkungan mendapatkan versi cermin, dan lingkungan lain mendapatkan versi terkuantisasi; versi tokenizer dari satu mesin tidak cocok dengan mesin lain; hal ini masih dapat direproduksi hari ini, namun besok hasilnya akan mulai menyimpang karena perubahan kebijakan akses, mirroring delay, atau kuota. Di permukaan, ini masih “model tersedia”, tetapi sebenarnya sudah menjadi tiga hal: jalur tersedia, izin tersedia, dan versi tersedia.

Hal yang paling menyusahkan tentang perubahan jenis ini adalah perubahan ini tidak serta merta menjatuhkan sistem. Ini pertama-tama mengubah nilai default. Asumsi default sebelumnya adalah model yang sama, versi yang sama, dan kumpulan parameter yang sama dapat menghasilkan hasil yang cukup mendekati di sebagian besar lingkungan. Setelah dibatasi, anggapan tersebut tidak berlaku lagi. Setiap kali tim mengambil keputusan, tim harus terlebih dahulu mengkonfirmasi masuk, mirroring, kuantifikasi, rollback, dan pembatasan regional. Pada akhirnya, seringkali dibutuhkan waktu lebih lama dibandingkan menjalankan model itu sendiri.

Yang benar-benar perlu ditangani terlebih dahulu adalah permukaan kontrol yang digunakan oleh model: siapa yang dapat menggunakannya, di lingkungan mana model tersebut dapat digunakan, versi mana yang dianggap sebagai garis dasar produksi, jalur mana yang harus dialihkan ketika gagal, dan versi mana yang harus dipertahankan ketika memutar kembali. Hanya dengan mencabut batasan-batasan ini secara terpisah, model yang dibatasi tidak dapat secara langsung menerobos alur kerja. Jika tidak, setiap perbaikan sementara ibarat menciptakan kembali proses. Jika hal ini dapat dijalankan hari ini, bukan berarti masukan yang sama akan diterima besok.

Poin yang paling mudah disalahpahami di sini adalah menganggap “masih dapat dijalankan sekali” sebagai “masih dapat digunakan secara stabil”. Setelah penilaian ini membingungkan, masalah selanjutnya akan terus muncul: kumpulan regresi tidak lagi memiliki garis dasar yang sama, dan saat memecahkan masalah, Anda harus terlebih dahulu mengonfirmasi versi mana yang Anda dapatkan, dan tim akan mulai tidak setuju pada “apakah versi ini adalah model yang sama.” Modelnya sendiri masih ada, namun rantai penilaian yang dibangun di sekitarnya telah berantakan.

Oleh karena itu, perubahan nyata yang disebabkan oleh pembatasan bukan hanya penurunan kemampuan pengunduhan, namun kegagalan dalam kegunaan default. Semakin maju modelnya, semakin ketat pula model tersebut, dan semakin tidak dapat mengandalkan ingatan sementara dan konvensi verbal untuk menjaga konsistensi. Yang dibutuhkan adalah izin yang jelas, garis dasar yang tetap, entri yang dapat didaur ulang, dan jalur fallback yang dapat dilacak. Setelah memperketat hal-hal ini, model benar-benar dapat memasuki kondisi operasional; jika tidak, tidak peduli seberapa bagus modelnya, itu hanya akan “cukup untuk dilakukan hari ini”.