Açık kaynak modeli kısıtlandıktan sonra başarısız olan ilk şey regresyon kararıdır.

Açık kaynaklı bir modele harici kısıtlamalar geldiğinde, bozulan ilk şey genellikle “yine de indirilebilir mi?” ama “bu seferki sonuçlar geçen seferkiyle birlikte görüntülenebilecek mi?” Model adı hâlâ oradadır ve arayüz hâlâ bağlanabilir. Gerçekten zorlaşan şey, yargılama hattının kaymaya başlamasıdır: aynı hızlı sözcükler dizisi, aynı grup örnek ve aynı iş akışı, sonuçların tükenmesi artık aynı davranış dağılımı değildir.

Bu şey kağıt üzerinde basit görünüyor ama pratikte çok can sıkıcı bir hal alıyor. Daha önce geçerli olan çıktı formatının birdenbire biraz daha fazla açıklaması olur, daha önce kararlı olan işlev çağrı sırası değişmeye başlar, bazı alanlarda ek bir politika istemleri katmanı bulunur veya aynı istek farklı girişler altında farklı bağlam uzunlukları alır. Bunların her biri tek başına tesadüf değildir ancak bir arada ele alındığında geri dönüş hükmünü karıştırır.

İlk kırılan şey karşılaştırmalı kalibre oldu.

Pek çok takım öncelikle kıyaslama puanlarına odaklanacaktır, ancak puanlar yalnızca yaklaşık yetenekleri belirtmek için uygundur ve “mevcut davranışın eski süreç tarafından hala takip edilip edilemeyeceğini” açıklamaya uygun değildir. Çevrimiçi olmanın gerçek yolu, modelin tek başına çalışması değil, ayrıştırıcı, araç çağırma, yeniden deneme, önbelleğe alma, denetleme ve yönlendirme ile birlikte çalışmasıdır. Bağlantılardan birinin kalibresi değiştiği sürece puan referans anlamını kaybedecektir.

En tipik durum değerlendirme setinde herhangi bir sorun görülmemesi ancak zincirin çevrimiçi olarak kopmaya başlamasıdır. Test örnekleri yeterince temiz ve model sorulara çok iyi yanıt veriyor. Bununla birlikte, gerçek girdi alındığında, küçük miktardaki alan kayması sonraki otomatik adımları saptırabilir. Sonuç “model hala kullanılabilir” gibi görünse de aslında “karşılaştırma yöntemi başarısız oldu” anlamına geliyor.

Temel iş akışına göre kaydedilmelidir

Bu tür değişiklikleri bastırmak için, daha fazla liste turu çalıştırmaya değil, temel çizgiyi tekrar oynatılabilir bir iş akışına dönüştürmeye güveniyoruz. Girişin bir sürümü olmalı, çıkışın bir şeması olmalı, araç yanıtı oynatılabilir olmalı ve başarısız örnekler orijinal bağlamı korumalıdır. Ancak bu şekilde başka modellere, başka bölgelere ve başka stratejilere geçtikten sonra sapmanın modelin kendisinde mi yoksa ön ve arka bağlantılarda mı olduğunu bilebiliriz.

Bu tür bir temel, yalnızca bir puan ve sonucun saklanmasından en çok korkar. Puanlar insanları rahatlatmak için kullanılacak, sonuçlar rapor yazmak için kullanılacak, ancak gerçekten yararlı ayrıntılar eksik. Kısıtlamalar daha sonra sıkılaştırıldığında, ekip yalnızca numuneleri yenileyebilir, kalibreyi yeniden doldurabilir ve anormal sınırları yeniden doldurabilir; bu, tek seferde tamamlanabilecek karşılaştırma çalışmasının birkaç yeniden çalışma turuna bölünmesine eşdeğerdir.

Geçişin gerçek maliyeti güvenin yeniden tesis edilmesidir

Model kısıtlandıktan sonra geçiş eylemi, mevcut bir öğeye geçiş yapmak gibi görünebilir ancak aslında “bu sürecin nispeten istikrarlı olduğuna” dair güveni yeniden tesis etmektedir. Güven, tek bir başarılı aramayla değil, defalarca doğrulanabilen bir dizi karşılaştırma sonucuyla oluşturulur. Bu sonuçlar kümesi olmasaydı, yalnızca geçmişe döndüğümüzde geçici olarak çalıştırılabilirdi; bu sonuç kümesiyle geçmişe dönersek kontrol edilebilir aralıkta olacaktır.

Bu nedenle bazı takımlar yüzeyde değişim işlemini tamamladı ancak dahili olarak kapasitelerini artırmaya cesaret edebilmek için hâlâ uzun süre beklemek zorundalar. Asıl takılıp kalan şey erişim eylemi değil, kimsenin yanıtlamaya cesaret edemediği soru: Eski süreçteki en önemli sınırların yeni modelde hâlâ geçerli olup olmadığı. Bu soruya net bir şekilde cevap verilmediği sürece, “göç tamamlandı” yönündeki her açıklama sadece kurgulanmış bir açıklamadır.

Yalnızca test için uygun olan parçalar yeniden inşa edilmeye değerdir

Tüm senaryolar regresyon zincirini bu kadar ağır hale getirmeye değmez. Geçici konuşmaların, hafif oluşturmanın ve tek seferlik özetlerin sınırları gevşektir ve aşırı inşaat zaman kaybıdır. Ancak model kod oluşturmaya, bilgi çıkarmaya, yönlendirme kararlarına ve araç yürütmeye katılmaya başlar başlamaz regresyon kararı artık bir aksesuar değil, iş akışının bir parçası olur.

Dış kısıtlamalar bu farkı büyütebilir. Kullanılmaya devam edilip edilemeyeceği genellikle sadece en yüzeysel katmandır; Takımın istikrarlı olup olmayacağını gerçekten belirleyen şey, yeni sonuçları karşılaştırma amacıyla eski taban çizgisine geri koymak için istikrarlı bir yöntemin olup olmadığıdır. Karşılaştırma bir kez yapıldığında göç yalnızca bir mühendislik sorunudur; Karşılaştırma başarısız olduğunda, sonraki tüm yargılar tereddüt etmeye başlayacaktır.