Çin'in açık kaynak modeli kısıtlandıktan sonra çatallanması gereken ilk şey sürüm ve değerlendirme kalibresidir.

Bu tür kısıtlamalar kaldırıldığında ilk bozulan şey genellikle “yine de indirilebilir mi?” ancak “yine de aynı puan grubuna dayanabilir mi?”

Modelin kendisi hala oradadır ve yansıtma senkronize edilebilir, ancak sorun girişten karşılaştırmaya doğru kaymaya başlar. Bugün iyi çalışan bir sürüm, ağırlık dilimleme, tokenizer sürümü, çıkarım parametreleri veya yansıtma gecikmeleri nedeniyle başka bir makinede küçük farklılıklar gösterecektir. Sadece her bir çıktıya baktığımızda hâlâ işe yaradığını görüyoruz; regresyon kümesine geri konulduğunda eğri yayılmaya başlar. Eskiden yükseltme yapıp yapmayacağınıza karar vermek için yalnızca toplam puana bakmanız yeterliydi, ancak artık önce “bu değişikliğin modelden mi yoksa hizmet yığınından mı geldiğini” açmanız gerekiyor.

Kısıtlamaların neden olduğu asıl sorun, indirme eyleminin kendisinde değil, karşılaştırma ilişkilerinin parçalanmasındadır. Geçmişte yalnızca tek bir yukarı akış sürümüne odaklanmanız gerekiyordu, ancak artık aynı anda genellikle resmi kaynaklar, yansıtma kaynakları, dahili önbellekler, sayısallaştırılmış sürümler ve geçici geri alma sürümleri mevcut. Her satır çalıştırılabilir ancak sonuçlar artık aynı temeli paylaşmaz. Değerlendirme seti çatallandığında ekip ortak dilini hızlı bir şekilde kaybedecek: Ar-Ge bu sürümün geliştirildiğini, ürün ise çevrimiçi deneyimin değişmediğini söylüyor. Sorun gidericiler öncelikle modelin mi yoksa çıkarım ortamının mı değiştiğini doğrulamalıdır.

Bu tür çatalların en sıkıntılı tarafı arıza olarak hemen kendini göstermemesidir. İlk gün iki ortam arasında sadece 0,3 puanlık fark vardı. İkinci gün belli bir uzun metin örneği sürüklenmeye başladı. Üçüncü gün geri döndüğümde eski sonuçların tekrarlanamayacağını gördüm. Bu aşamada artık tartışma “modeli alabilir miyiz?” olmaktan çıkıyor. ama “elde ettiğimiz şeyin aynı olup olmadığı.”

Aslında ilk önce kapatılması gereken şey indirme girişi değil, taban çizgisidir. En azından aşağıdaki şeylerin halledilmesi gerekiyor:

• Model dosyasının karma, belirteç sürümü, niceleme yöntemi ve çıkarım parametreleri.
• Değerlendirme seti, istem sözcükleri, örnekleme parametreleri ve işlem sonrası mantık.
• İki uygulama kümesinin kaymasını önlemek için çevrimiçi hizmetler ve çevrimdışı regresyon tarafından paylaşılan çıkarım kapsülleme.
• Geriye dönerken hafızanın yeniden yapılandırılmasına gerek kalmadan eski görüntüyü ve taban çizgisini koruyun.

Bunlar önemsiz görünebilir, ancak model erişimi kısıtlanmaya başladığında, gerçekten değerli olan bu önemsizlik katmanıdır. Onlar olmadan, takım bir sonraki yükseltme için yalnızca “bu sefer sorun yok” diyerek kumar oynayabilir; onlarla en azından sorunun modelde mi, çıkarım yığınında mı yoksa veri setinin kendisinde mi olduğunu doğrulayabilirler.

Dolayısıyla bu konu nihayet projeye düştüğünde karar çok basit hale gelecektir: Modelin elde edilip edilemeyeceği yalnızca başlangıçtır; aynı giriş grubunun, aynı parametre grubunun ve aynı örnek grubunun aynı hat üzerinde sürekli olarak çalıştırılıp çalıştırılamayacağı, bunun hala kararlı bir şekilde kullanılıp kullanılamayacağını belirler. Karşılaştırmalı kalibre korunduğu sürece modelde hâlâ manevra alanı vardır; kalibre ilk olarak farklılaştığında, sonraki değiştirme, geri alma ve sorun giderme işlemleri daha pahalı hale gelecektir.