Inżynieria agentów najpierw zacieśnia kontekst i czujniki

Patrząc na dzisiejsze dyskusje na temat Harness Engineering, najbardziej intuicyjnym odczuciem nie jest stwierdzenie, że „Agent dodał nową warstwę możliwości”, ale to, że zmienił się przedmiot dyskusji inżynieryjnych. W przeszłości często pytaliśmy, czy model jest wystarczająco mocny. Teraz skupiamy się najpierw na tym, ile kontekstu umieścić, jak długo umieścić plik reguł i jaki sygnał daje czujnik. Model jest jeszcze pośrodku, ale to co tak naprawdę zaczyna decydować o stabilności to uprząż zewnętrzna.

Im większe okno kontekstowe, tym stabilniejsza będzie uwaga.

Ktoś na odosobnieniu wspomniał, że agents.md powinien być kontrolowany do mniej niż 200 linii. Liczba ta nie jest pretensjonalna ani uwielbieniem numeru linii, ale raczej przypomnieniem o budżecie. Im większe okno kontekstowe, oznacza tylko, że można w nim upchnąć więcej treści, ale nie oznacza, że ​​model stabilniej uchwyci część, która powinna zostać uchwycona. Modele często skupiają się tylko na niewielkiej części kontekstu i nawet jeśli reszta treści znajduje się w oknie, nie cała może być ostra.

Jest to bardzo irytujące w inżynierii. Im więcej jest reguł, tym łatwiej jest zapisać „ograniczenia” jako „szum”; im dłuższa instrukcja, tym łatwiej zakopać w kącie to, czego naprawdę trzeba przestrzegać. Utrzymywanie bardzo krótkiego pliku nie polega na tym, aby dokument wyglądał schludnie, ale na wymuszeniu widoczności ograniczeń. Model nie ma do czynienia z encyklopedią, ale ograniczoną umową operacyjną.

Czujnik ponownie nie podaje kłody

Kolejną oczywistą zmianą jest to, że dyskusja zaczęła przesuwać się w stronę czujników obliczeniowych. Czujniki nie są tu po prostu zakopane, ani dzienniki systemowe nie są wstawiane w nienaruszonym stanie do modelu, ale stan środowiska wykonawczego jest kompresowany do niewielkiej liczby użytecznych sygnałów. Odfiltrowuje szum, a nie tworzy nowe obciążenia kontekstowe.

Dlatego właśnie mówi się „przejdź na Rusta zamiast na Pythona”. Nie skupiamy się na zajmowaniu strony z językiem, ale na kontroli. Gdy czujnik w celu zapewnienia jakości opiera się na granicach czasu wykonywania, ograniczeniach zasobów, ścieżkach wyjątków i deterministycznych danych wyjściowych, język i środowisko wykonawcze nie są już tylko szczegółami implementacji, ale częścią samego czujnika. Jeśli sygnał jest niestabilny, niezależnie od tego, jak silny jest model, będzie on dokonywał jedynie domysłów na niestabilnym wejściu.

Wysyłanie surowych danych bezpośrednio do modelu może na krótką metę wydawać się bardziej pouczające, ale w dłuższej perspektywie często po prostu powoduje, że scena staje się bardziej zaszumiona. Naprawdę przydatny czujnik powinien najpierw skompresować „to, co się stało” w kilka przejrzystych stanów, a następnie zdecydować, które szczegóły pozostawić ludziom, a które narzędziom.

Zadaniem uprzęży jest pocięcie świata na kawałki, które można nakarmić modela

Kiedy tego rodzaju dyskusja dojrzeje, zaczyna ona bardziej przypominać projekt systemu niż szybkie techniki. Uprząż odpowiada za granice: co wchodzi w kontekst, co pozostaje poza kontekstem, na jakim stanie może polegać model i jaki stan musi zostać ponownie potwierdzony narzędziami. To nie jest skorupa, a warstwa filtra i blistra.

Jest to jednocześnie najbardziej niedoceniany koszt w systemie Agent. Wymiana modelu jest szybka, ale wiązka przewodów jest znacznie wolniejsza, ponieważ bezpośrednio wiąże łańcuch działania, łańcuch sygnału i łańcuch awarii. Budżet kontekstowy, projekt czujnika, granice uprawnień, ścieżki awaryjne – wszystko to ostatecznie przypada na tę warstwę. Dopóki ta warstwa nie jest szczelna, im mocniejszy model, tym łatwiej jest systemowi dalej rozprzestrzeniać niestabilność.

Patrząc teraz na tego typu fragmenty, najcenniejszą częścią nie jest pojedynczy wniosek, ale to, że jasno określa cel projektu: agentem nie jest już tylko to, „czy może coś zrobić”, ale „czy system zewnętrzny zebrał uwagę i sygnały”. Ten krok nie jest stabilny, a dalsze ulepszanie możliwości modelu tylko szybciej pogłębia chaos.