Po ograniczeniu modelu open source pierwszą rzeczą, która zawodzi, jest ocena regresji.

Kiedy na model open source spadają zewnętrzne ograniczenia, pierwszą rzeczą, która się psuje, często nie jest pytanie: „Czy nadal można to pobrać?” ale „czy tym razem wyniki można oglądać łącznie z ostatnim razem?” Nazwa modelu nadal tam jest, a interfejs nadal można podłączyć. To, co naprawdę staje się trudne, to fakt, że linia oceny zaczyna się zmieniać: ten sam zestaw podpowiedzi, ta sama partia próbek i ten sam przepływ pracy, a wyniki nie odpowiadają już temu samemu rozkładowi zachowań.

Ta rzecz na papierze wygląda prosto, ale w praktyce staje się bardzo irytująca. Wcześniej akceptowalny format wyjściowy nagle zyskał trochę więcej wyjaśnień, wcześniej stabilna sekwencja wywołań funkcji zaczyna się zmieniać, w niektórych obszarach pojawia się dodatkowa warstwa podpowiedzi dotyczących zasad lub to samo żądanie otrzymuje kontekst o różnej długości przy różnych wejściach. Każdy z nich osobno nie jest przypadkiem, ale razem wzięty zakłóci sąd powrotu.

To, co pękło jako pierwsze, to kaliber porównawczy.

Wiele zespołów skupi się najpierw na wynikach testów porównawczych, ale wyniki te nadają się jedynie do wskazania przybliżonych możliwości i nie nadają się do wyjaśnienia, „czy stare zachowanie może nadal być stosowane w oparciu o stary proces”. Prawdziwym miejscem do pracy w trybie online nie jest to, że model działa samodzielnie, ale to, że współpracuje z analizatorem składni, wywoływaniem narzędzi, ponownymi próbami, buforowaniem, audytem i routingiem. Dopóki jedno z ogniw zmieni kaliber, partytura straci swoje znaczenie referencyjne.

Najbardziej typowa sytuacja jest taka, że ​​w zestawie ewaluacyjnym nie widać żadnych problemów, ale łańcuch zaczyna się rozpadać w trybie online. Próbki testowe są wystarczająco czyste, a model bardzo dobrze odpowiada na pytania. Jednakże po otrzymaniu rzeczywistych danych wejściowych niewielka ilość dryfu pola może wpłynąć na kolejne zautomatyzowane kroki. Wynik wygląda jak „model może być nadal używany”, ale w rzeczywistości oznacza „metoda porównawcza nie powiodła się”.

Linię bazową należy zapisać zgodnie z tokiem pracy

Aby zapobiec takim zmianom, nie polegamy na uruchamianiu większej liczby rund list, ale na przekształceniu linii bazowej w powtarzalny przepływ pracy. Dane wejściowe muszą mieć wersję, dane wyjściowe muszą mieć schemat, odpowiedź narzędzia musi być możliwa do odtworzenia, a nieudane próbki muszą zachować oryginalny kontekst. Tylko w ten sposób, po przejściu na inne modele, inne regiony i inne strategie, będziemy mogli wiedzieć, czy odchylenie leży w samym modelu, czy w przednich i tylnych wahaczach.

Ten typ linii bazowej najbardziej boi się przechowywania jedynie wyniku i wniosków. Wyniki posłużą do pocieszenia ludzi, wnioski zostaną wykorzystane do napisania raportów, brakuje jednak naprawdę przydatnych szczegółów. Gdy ograniczenia zostaną później zaostrzone, zespół może jedynie uzupełnić próbki, uzupełnić kaliber i uzupełnić nieprawidłowe granice, co jest równoznaczne z rozbiciem pracy porównawczej, którą można było wykonać za jednym razem, na kilka rund przeróbek.

Prawdziwym kosztem migracji jest przywrócenie zaufania

Po ograniczeniu modelu akcja migracji wygląda jak zmiana na dostępny element, ale w rzeczywistości przywraca pewność, że „ten proces jest stosunkowo stabilny”. Zaufania nie buduje jedna udana rozmowa, ale zestaw wyników porównań, które można wielokrotnie weryfikować. Bez tego zestawu wyników działanie byłoby możliwe tylko tymczasowo, gdybyśmy cofnęli się do przeszłości; przy takim zestawie wyników mieściłoby się to w możliwym do kontrolowania zakresie, gdybyśmy przeszli do przeszłości.

Dlatego niektóre zespoły zakończyły wymianę na powierzchni, ale wewnętrznie muszą jeszcze długo poczekać, zanim odważą się zwiększyć swoje możliwości. Tak naprawdę utknęła nie kwestia dostępu, ale nikt nie ma odwagi odpowiedzieć: czy najważniejsze granice starego procesu nadal obowiązują w nowym modelu. Dopóki nie ma jasnej odpowiedzi na to pytanie, każde stwierdzenie, że „migracja została zakończona”, jest jedynie oświadczeniem inscenizowanym.

Tylko części, które nadają się do testu, są warte odbudowania

Nie wszystkie scenariusze zasługują na to, aby łańcuch regresji był tak ciężki. Rozmowy ad hoc, lekkie generowanie i jednorazowe podsumowania mają luźne granice, a nadmierne konstruowanie jest stratą czasu. Jednak gdy tylko model zacznie brać udział w generowaniu kodu, wydobywaniu informacji, podejmowaniu decyzji o routingu i wykonywaniu narzędzi, ocena regresji nie będzie już dodatkiem, ale częścią przepływu pracy.

Ograniczenia zewnętrzne mogą zwiększyć tę różnicę. To, czy można go nadal używać, zwykle dotyczy tylko najbardziej powierzchownej warstwy; o tym, czy zespół może być stabilny, tak naprawdę decyduje to, czy istnieje stabilna metoda porównywania nowych wyników ze starymi wartościami bazowymi w celu porównania. Po dokonaniu porównania migracja staje się jedynie problemem inżynieryjnym; gdy porównanie się nie powiedzie, wszystkie późniejsze osądy zaczną się chwiać.