System Agent najpierw zacieśnia budżet kontekstowy i sensory

Patrząc na artykuł Martina Fowlera Fragmenty: 13 lipca, pierwszym słowem, które się pojawia, nie jest ocena modelu, ale Harness Engineering. Podczas odosobnienia niektórzy ludzie już osadzili dyskusję w kontekście i czujnikach. Sprawa ta bardzo przypomina wyłaniającą się dyscyplinę inżynierską: agent musi najpierw zawęzić dane wejściowe, a następnie porozmawiać o rozszerzeniu działania.

Im większe okno kontekstowe, tym krótsze wiązania.

W artykule jest bardzo prosty szczegół: ktoś kontrolował agents.md z dokładnością do 200 linii. Liczba ta wygląda na mizofobię, ale tak naprawdę jest to budżet projektu. Okno kontekstowe rzeczywiście jest coraz większe, ale większe okno oznacza tylko, że można w nim upchnąć więcej treści, ale nie oznacza, że ​​model mocniej chwyci część, którą należy chwycić. Model zwykle skupia się tylko na niewielkiej części kontekstu i nawet jeśli zawiera resztę treści, może po prostu działać.

Jest to najczęstszy problem w przypadku długich dokumentów. Im więcej jest zasad, tym łatwiej jest zasłonić szumem naprawdę ważne ograniczenia; im dłuższy opis, tym łatwiej zapisać granicę jako tło, a tło jako granicę. Utrzymywanie krótkich plików nie ma na celu oszczędzania czasu na pisaniu, ale wymuszenie, aby ograniczenia stały się widoczne, czytelne i wykonalne. Agent nie ma do czynienia ze stosem materiałów, ale z ograniczoną umową operacyjną.

Czujnik powinien zostać skompresowany do małej ilości użytecznego sygnału

Kolejną zmianą jest to, że dyskusja zaczęła przesuwać się w stronę czujników obliczeniowych. Czujniki nie służą tutaj po prostu do zakopywania punktów ani ponownego podawania kłód do modelu, ale kompresują stan czasu pracy do niewielkiej liczby stabilnych sygnałów. Gdy czujnik stanie się oryginalnym odtwarzaniem wyjściowym, wejście ponownie się rozszerzy; naprawdę wartościowym podejściem jest podzielenie sceny na kilka wyraźnych stanów, a następnie podjęcie decyzji, które szczegóły należy przekazać ludziom, a które narzędziom.

W artykule wspomniano, że przejście z Pythona na bardziej kontrolowalny język, taki jak Rust, ma sens tylko w tym kontekście. Nie skupiamy się na preferencjach językowych, ale na kontroli. Czujnik nie potrzebuje „działania”, ale wyraźnych granic, jasnej semantyki wyjątków i wyraźnego zużycia zasobów. Dopóki sygnał jest niestabilny, niezależnie od tego, jak silny jest model, można dokonać oceny jedynie na podstawie sygnału wejściowego jitter.

Uprząż najpierw zamyka łańcuch akcji

Kiedy dyskusja zajdzie tak daleko, uprząż przestaje przypominać muszlę, a bardziej ustnik. Odpowiada za decydowanie, co wchodzi w kontekst, a co pozostaje poza nim; na jakich stanach można polegać w modelu, a które należy ponownie potwierdzić za pomocą narzędzi. Budżet kontekstowy, projekt czujnika, granice uprawnień i ścieżki awaryjne – wszystko to w końcu trafi do tej warstwy.

Na tym poziomie przypada również najłatwiejszy do przecenienia koszt w systemie Agent. Wymiana modelu jest szybka, ale wiązka przewodów jest znacznie wolniejsza, ponieważ jest powiązana z łańcuchem działań, łańcuchem sygnałów i łańcuchem awarii. Dopóki ta warstwa nie zostanie uszczelniona, a możliwości modelu posuną się do przodu, system będzie tylko szybciej wzmacniał chaos.

Czyste żądania odczytu, jednorazowe skrypty analityczne, lekkie agenty bez działań zewnętrznych i możliwości modeli są nadal głównymi bohaterami. Gdy tylko zaczniesz łączyć dane prywatne, stany długoterminowe i rzeczywiste działania, pierwszą rzeczą do utwardzenia nie są już parametry modelu, ale granice wejściowe i granice sygnału. Moment, w którym Agent naprawdę przypomina system, często następuje wtedy, gdy te dwie warstwy łączą się w pierwszej kolejności.