Back home

Agent Engineering strafft zunächst den Kontext und die Sensoren

Von Fragments: 13. Juli: Was wir sehen, sind keine neuen Modellfunktionen, sondern zunächst die Nutzung der in die tägliche Technik eintretenden Funktionen.

Wenn man sich heutzutage eine Reihe von Diskussionen über Harness Engineering ansieht, ist das intuitivste Gefühl nicht, dass „der Agent eine neue Ebene von Fähigkeiten hinzugefügt hat“, sondern dass sich der Schwerpunkt der technischen Diskussionen geändert hat. Wir haben in der Vergangenheit oft gefragt, ob das Modell stark genug sei. Jetzt konzentrieren wir uns zunächst darauf, wie viel Kontext eingefügt werden muss, wie lange die Regeldatei eingefügt werden soll und welches Signal der Sensor liefert. Das Modell liegt noch in der Mitte, aber was die Stabilität wirklich bestimmt, ist der äußere Gurt.

Je größer das Kontextfenster, desto stabiler ist die Aufmerksamkeit.

Jemand im Retreat erwähnte, dass agents.md auf weniger als 200 Zeilen kontrolliert werden sollte. Bei dieser Zahl handelt es sich nicht um eine Anmaßung oder Anbetung von Zeilennummern, sondern eher um eine Erinnerung an das Budget. Je größer das Kontextfenster ist, desto mehr Inhalt kann hineingepfercht werden, es bedeutet jedoch nicht, dass das Modell den Teil, der erfasst werden soll, stabiler erfasst. Modelle konzentrieren sich oft nur auf einen kleinen Teil des Kontexts, und selbst wenn der Rest des Inhalts im Fenster angezeigt wird, ist möglicherweise nicht alles im Fokus.

This is very annoying in engineering. Je mehr Regeln es gibt, desto einfacher ist es, „Einschränkungen“ als „Rauschen“ zu schreiben; Je länger die Anleitung, desto leichter lässt sich das, was wirklich beachtet werden muss, in einer Ecke vergraben. Wenn Sie die Datei sehr kurz halten, geht es nicht darum, das Dokument ordentlich aussehen zu lassen, sondern darum, Einschränkungen sichtbar zu machen. Was das Modell erwartet, ist keine Enzyklopädie, sondern ein befristeter Betriebsvertrag.

The sensor does not feed the log again

Eine weitere offensichtliche Änderung besteht darin, dass die Diskussion begonnen hat, sich auf rechnergestützte Sensoren zu konzentrieren. Dabei werden weder die Sensoren einfach vergraben, noch werden Systemprotokolle unversehrt in das Modell eingefügt, sondern der Laufzeitstatus wird auf eine kleine Anzahl verwertbarer Signale komprimiert. Es filtert das Rauschen heraus und schafft keine neuen kontextuellen Belastungen.

Aus diesem Grund heißt es „auf Rust statt auf Python umsteigen“. Dabei steht nicht die Parteinahme der Sprache im Vordergrund, sondern die Kontrolle. Sobald ein Sensor auf Laufzeitgrenzen, Ressourcenbeschränkungen, Ausnahmepfade und deterministische Ausgabe angewiesen ist, um die Qualität sicherzustellen, sind die Sprache und die Ausführungsumgebung nicht mehr nur Implementierungsdetails, sondern Teil des Sensors selbst. Wenn das Signal instabil ist, werden unabhängig von der Stärke des Modells nur Vermutungen über den instabilen Eingang vorgenommen.

Das direkte Senden von Rohdaten an das Modell mag auf kurze Sicht informativer erscheinen, macht die Szene aber auf lange Sicht oft nur verrauschter. Ein wirklich nützlicher Sensor sollte zunächst „was passiert ist“ in ein paar klare Zustände komprimieren und dann entscheiden, welche Details dem Menschen und welche den Werkzeugen überlassen bleiben.

Die Aufgabe des Geschirrs besteht darin, die Welt in Stücke zu schneiden, die dem Modell zugeführt werden können

Sobald diese Art der Diskussion ausgereift ist, sieht sie eher nach Systemdesign als nach Prompt-Techniken aus. Das Geschirr ist für Grenzen verantwortlich: Was geht in den Kontext, was bleibt außerhalb des Kontexts, auf welchen Zustand kann sich das Modell verlassen und welcher Zustand muss durch Tools erneut bestätigt werden. Es handelt sich nicht um eine Hülle, sondern um eine Schicht aus Filter und Verschluss.

Dies ist auch der am meisten unterschätzte Kostenfaktor im Agentensystem. Der Modellaustausch erfolgt schnell, der Kabelbaum ist jedoch viel langsamer, da er die Aktionskette, die Signalkette und die Fehlerkette direkt miteinander verbindet. Kontextbudget, Sensordesign, Berechtigungsgrenzen, Fallback-Pfade – alles fällt letztendlich auf diese Ebene. Solange diese Schicht nicht dicht ist, ist es für das System umso einfacher, die Instabilität weiter zu verbreiten, je stärker das Modell ist.

Wenn man sich diese Art von Fragmenten jetzt ansieht, ist der wertvollste Teil nicht eine einzelne Schlussfolgerung, sondern dass er den Fokus des Projekts klar zum Ausdruck bringt: Der Agent ist nicht mehr nur „ob er Dinge tun kann“, sondern „ob das externe System Aufmerksamkeit und Signale gesammelt hat.“ Dieser Schritt ist nicht stabil und eine weitere Verbesserung der Modellfähigkeiten wird das Chaos nur noch schneller verstärken.