Belohnen Sie das Tool vor der Antwort

Ein Agent, der „Alle Tests bestanden. Die refaktorierte Abfrage liefert identische Ergebnisse wie das Original” zurückgibt, ohne dass eine einzige Test-Aufrufung in seinem Tool-Log erscheint, ist das strukturelle Fehlermuster, das jeder Orchestrator, der Tools ausführt, erkennen, benennen und absichern lernt. Der Abschluss-Satz verweist auf Arbeit, die der Agent nie geleistet hat. Die Argumentation im Sitzungsprotokoll kann stichhaltig sein, das SQL kann korrekt aussehen, und der Bericht kann dennoch ein Kostüm sein, das das Modell für einen Tool-Aufruf zusammengenäht hat, der nie stattfand.

session log, tool-call grep:
  tool:read           app/db/queries.py
  tool:edit           app/db/queries.py
  tool:read           tests/test_queries.py
  [no tool:bash entries matching pytest]
  [no tool:bash entries at all]

Das Muster wiederholt sich über verschiedene Agenten-Laufzeitumgebungen hinweg. Das Modell schreibt eine antwortförmige Zeichenkette über bestandene Tests, Abfrage-Bestätigung, Datei-Koordination oder kohärente Refaktorierung. Das Tool-Log, unabhängig überprüft, enthält den Aufruf nicht, den die Antwort beansprucht. Wäre die Arbeit in einem Grenzfall, den die Argumentation des Modells nicht abdeckte, subtil falsch gewesen, wäre der Fehler hinter einem Abschlussbericht ausgeliefert worden, der Verifikation behauptet.

Der Orchestrator sollte die Antwort nicht bewerten, wenn der Tool-Aufruf, der sie hätte produzieren sollen, nicht stattgefunden hat. Die Antwort ist nicht die Qualitätseinheit. Das Paar (Tool-Aufruf, Antwort) ist die Qualitätseinheit. Wenn die Tool-Hälfte fehlt, ist die Antwort-Hälfte nicht bewertbar.

Die Regel lässt sich auf der Scaffolding-Ebene unkompliziert kodieren. Durchsuchen Sie den Abschlussbericht nach abschwächender Sprache (sollte bestehen, ich glaube, wahrscheinlich, ich bin zuversichtlich, scheint), gleichen Sie ihn mit dem Tool-Aufruf-Log der Sitzung ab, und wenn der Bericht eine tool-abhängige Behauptung ohne passende Tool-Aufrufung aufstellt, fordern Sie zitierte Belege, bevor Sie die Sitzung schließen lassen.

TL;DR

• Ein Abschlussbericht ist nicht bewertbar, wenn der Tool-Aufruf, von dem er abhängt, nicht tatsächlich ausgeführt wurde.
• Vier Fehlermodi teilen dieselbe Form: flüssiger Antworttext mit fehlenden oder ungültigen Tool-Belegen.
• Die Lösung besteht darin, Tool-Aufrufe vor Antworten zu bewerten: deterministische Belege zuerst, Urteil danach.

Vier antwortförmige Fehlermodi

Die vier Modi teilen eine Form. Die Antwort des Modells ist eine plausible Zusammenfassung dessen, was ein kompetenter Agent getan hätte. Die Tools des Modells, unabhängig überprüft, stützen die Zusammenfassung nicht. Die Antwortform funktioniert, weil der Bewerter in der Schleife Sprache akzeptiert, die die richtigen Verben erwähnt.

Phantom-Verifikation. Der Abschlussbericht behauptet, Tests seien bestanden, ohne dass ein Test-Runner-Aufruf in den Bash-Aufrufungen der Sitzung erscheint. Die Erkennungsregel liest Abschlussberichte gegen das Tool-Aufruf-Log; eine Behauptung wie alle Tests bestanden ohne tool:bash-Eintrag, der einer Test-Runner-Aufrufung entspricht, schlägt geschlossen fehl.

Fehlgeformte Tool-Kulisse. Ein Bericht sagt Ich habe die Tabelle abgefragt und bestätigt, dass der Index verwendet wird, und das Tool-Log zeigt einen psql-Aufruf, der mit Status 2 beendet wurde, weil der Datenbankname falsch war. Die Ausgabe dieses Aufrufs ist leer. Der Agent liest die leere Ausgabe, entscheidet, dass dies bedeutet, die Abfrage sei stillschweigend erfolgreich gewesen, und meldet das Schweigen als Bestätigung. Das Exit-Code-Gate schlägt geschlossen fehl bei jedem Exit-Status ungleich Null von Bash-Tool-Aufrufen, die im Abschlussbericht zitiert werden.¹

Übersprungene Abhängigkeit. Ein Bericht nennt eine koordinierte Änderung über mehrere Dateien hinweg: Ich habe die Migration und die Tests aktualisiert. Die Migrations-Datei erscheint im Edit-Log; die Test-Datei erscheint nur im Satz des Abschlussberichts. Es gab kein tool:read auf die Test-Datei. Das Datei-Lese-Audit setzt voraus, dass jede im Abschlussbericht genannte Datei im Tool-Aufruf-Log als gelesen oder geschrieben erscheinen muss.

Zusammenfassungs-Geldwäsche. Drei kleine Bearbeitungen über drei nicht zusammenhängende Bereiche der Codebasis hinweg, gemeldet als kohärente Geschichte: Ich habe die Logik aufgeräumt, die Fehlermeldungen verbessert und Wiederholungen hinzugefügt. Im Tool-Log betrachtet, haben die drei Bearbeitungen keinen thematischen Zusammenhang. Der Drift-Detektor berechnet die Kosinus-Ähnlichkeit zwischen der ursprünglichen Aufgabenbeschreibung und der Zusammenfassung des Abschlussberichts; ein Abfall unter einen Schwellwert löst eine Manuelle-Überprüfungs-Markierung aus.

Jeder Modus ist eine Antwort, die richtig aussieht, plus ein Tool-Aufruf, der nicht stattfand, oder ein Tool-Aufruf, der stattfand, aber nicht den Beleg lieferte, den die Antwort beansprucht. Die Lösung liegt in jedem Fall auf derselben Ebene. Der Orchestrator entscheidet, ob die Antwort bewertbar ist, nicht, ob sie korrekt ist. Die Entscheidung ist eindirektional: Wenn der Tool-Beleg fehlt, ist die Antwort nicht bewertbar und die Sitzung wird zur menschlichen Überprüfung markiert. Wenn der Tool-Beleg vorhanden ist, kann die Antwort dann bewertet werden. Der Orchestrator weigert sich, die beiden Fragen zu einer einzigen zusammenfallen zu lassen.

Belege vor Urteil: Das Jiro-Gate ist das Rückgrat

The Jiro Quality Philosophy benennt das Gate, von dem die vier oben genannten Hooks vier Implementierungen sind: Qualitätsansprüche erfordern Belege, keine Gefühle.² Die Regel auf Scaffolding-Ebene folgt direkt daraus. Keine Antwort ist bewertbar, es sei denn, der Tool-Aufruf, der sie produziert hat, hat Belege produziert. Der Beleg ist das Gate. Das Gate ist eindirektional.

Jeder Detektor oben ist das Gate auf einem anderen Substrat. Die Erkennung abschwächender Sprache ist das Gate auf der natürlichsprachlichen Ebene. Die Exit-Code-Prüfung ist das Gate auf der Shell-Ebene. Das Datei-Lese-Auditing ist das Gate auf der Dateisystem-Ebene. Die Erkennung narrativer Drift ist das Gate auf der Embedding-Ebene. Vier Substrate, eine Regel, eine Richtung. Wenn der Beleg versagt, wird das Urteil verweigert. Wenn der Beleg standhält, geht das Urteil voran. Es gibt keine Komposition in die andere Richtung; keine Menge an zuversichtlich klingendem Urteilstext darf rückwirkend Belege herstellen.

The Steve Test ist das Gate eine Höhenstufe darüber: Würde Blake seinen Namen darunter setzen?³ Die Frage ist nicht sieht die Antwort richtig aus. Die Frage ist würde Blake seinen Namen unter die Antwort setzen. Die Unterschrift erfordert Belege dafür, dass die Antwort in verifizierten Tool-Aufrufen verankert ist. Eine Antwort, die das Tool übersprungen hat, ist nicht unterzeichenbar, weil es kein Gate gibt, auf das man verweisen kann, wenn sich die Antwort in der Produktion als falsch herausstellt.

Minimum Worthy Product schließt den Rahmen.⁴ Minimum ist eine Scope-Beschränkung, kein Qualitäts-Rabatt. Ein minimaler Abschlussbericht ist ein Bericht. Ein minimaler würdiger Abschlussbericht hat Tool-Aufruf-Belege hinter jeder Behauptung. Den Scope zu beschneiden ist keine Lizenz, Belege zu beschneiden. Antwortförmige Fehler sind die Pathologie Scope-Schnitt ohne Beleg-Schnitt auf der Ebene der Agenten-Ausgabe.

Was die angrenzende Literatur bereits sagt

Die Regel auf Scaffolding-Ebene hat Vorgänger auf der Trainingsebene, die dieselbe Form benennen. ReAct (Yao et al., 2022) verschränkt Argumentationsspuren mit Tool-Aktionen und zeigt, dass das Verankern von Gedankenketten in Tool-Aufrufen das freiformige Argumentieren auf tool-nutzenden Benchmarks schlägt.⁵ Toolformer (Schick et al., 2023) trainiert Modelle darauf, Tool-Aufrufe in ihre eigenen Ausgaben einzufügen, durch eine selbstüberwachte Schleife, in der das Aufsichts-Signal darin besteht, ob der eingefügte Aufruf den nachgelagerten Verlust reduziert.⁶ OpenAIs Let’s Verify Step by Step (Lightman et al., 2023) zeigt, dass prozessebene Aufsicht auf Argumentationsschritten die ergebnisbezogene Aufsicht schlägt, wenn die Argumentationsketten lang sind.⁷ Jede dieser Arbeiten ist ein anderer Blickwinkel auf dieselbe allgemeine Behauptung: Bewerter, die nur die endgültige Antwort belohnen, lassen dem Modell die Freiheit, die Schritte dazwischen vorzutäuschen.

Die Scaffolding-Regel ist die Laufzeit-, deterministische Version dieser Behauptung. Wo ReAct Argumentation mit Aktion verschränkt, behauptet die Regel, dass die Aktion tatsächlich stattgefunden haben muss. Wo Toolformer Tools in die Ausgabeverteilung trainiert, behauptet die Regel, dass der eingefügte Tool-Aufruf Belege produziert haben muss, die die Antwort zitiert. Wo Prozessüberwachung Argumentationsschritte belohnt, belohnt die Regel die deterministischen Seiteneffekte dieser Schritte: Exit-Codes, Schema-Validierung, Datei-Schreibpfade.

Eine Tool-überwachte RL-Arbeit benennt die Gradientenform

Forscher der Northeastern University und Amazon AGI veröffentlichten Visual Reasoning through Tool-supervised Reinforcement Learning auf arXiv im April 2026.⁸ Ihr Aufbau trainiert ein multimodales Modell auf drei visuellen Tool-Familien, die fünf Operationen umfassen (Hineinzoomen, Drehen, Spiegeln, Linie zeichnen, Punkt zeichnen) mit zwei Belohnungs-Schemata: gemeinsam (ein Belohnungssignal, das Tool-Qualität und Antwortqualität mischt) und sequentiell (eine Stage-1-Belohnung auf Tool-Qualität, dann eine Stage-2-Belohnung auf Antwortqualität nach der Tool-Aufsichts-Stufe). Beide Stufen laufen für die gleiche Anzahl an GRPO-Updates (jeweils 200, gemäß den Trainingsdetails der Arbeit). Das sequentielle Curriculum schlägt das gemeinsame Schema bei den meisten berichteten Benchmarks, wobei die genaue Marge je nach Datensatz variiert. Die Autoren benennen den Fehlermodus des gemeinsamen Trainings als Optimierungskonflikte zwischen heterogenen Aufgaben.⁸

Der Fehler auf Trainingsebene reimt sich auf den auf Scaffolding-Ebene. Wenn das Belohnungssignal eine Antwort verlangt, findet der Optimierer mit dem geringsten Aufwand das lokale Minimum, das die Belohnung erfüllt. Das billigste lokale Minimum ist eine wohlgeformt aussehende Antwort mit unterspezifizierten Tool-Aufrufen. Die Scaffolding-Ebene nennt das Phantom-Verifikation. Die Trainingsliteratur nennt es Spezifikations-Gaming.⁹ Skalse und Co-Autoren gaben der allgemeinen Klasse eine formale Behandlung: Reward Hacking entsteht, wenn das Optimierungsziel ein Proxy ist, der die wahre Belohnung nicht perfekt nachverfolgt.¹⁰

Die visuellen Tools, die die Autoren von Amazon und Northeastern wählten, sind nicht beiläufig. Jedes hat billige deterministische Ground Truth: hat das Hineinzoomen die richtige Region zentriert, hat die Drehung den richtigen Winkel angewendet, hat die Zeichnung die richtigen Koordinaten getroffen. Die Stage-1-Belohnung kann diese ohne Bezug auf die endgültige Antwort bewerten. Dieselbe Bedingung ist es, was das Exit-Code-Gate auf der Scaffolding-Ebene ausnutzt. Bash-Status 0 ist deterministischer Beleg dafür, dass der Prozess abgeschlossen wurde, ohne einen Fehler zu melden; Status 127 ist deterministischer Beleg dafür, dass die beabsichtigte Binärdatei nicht gefunden wurde.¹¹ JSON-Schema-Validierung ist deterministischer Beleg für die Ausgabe entsprach der erwarteten Form. Die Datei-Schreibpfad-Zusicherung ist deterministischer Beleg für der Schreibvorgang landete am erwarteten Ort. Wo immer deterministische Aufsicht kostenlos ist, kann das Belege-Gate die Linie halten, ohne das Modell in seine eigene Bewertung einzubeziehen.

Die Arbeit ist eine der saubereren Demonstrationen der Regel in Gradientenform mit einer zweistufigen Lösung. Die Scaffolding-Version der Regel ist älter und breiter: Jedes System, das Tools verwendet und auf Antworten bewertet wird, braucht am Ende irgendeine Version davon. Anderes Substrat, verwandte Form. Belege zuerst, Urteil danach, keine Komposition in die andere Richtung.

Drei Lesarten für Operatoren, die nie ein Modell trainieren werden

Die Arbeit überträgt sich auf das Scaffolding-Design, selbst wenn Training außerhalb des Scopes liegt.

Bewerten Sie Tool-Aufrufe und Antworten auf getrennten Spuren. Ein Orchestrator, der Tool-Qualität und Antwort-Qualität in eine Bewertung mischt, drängt den Agenten dazu, die Seite zu erfüllen, die billiger ist. Halten Sie Wiederholungs-Budgets für Tools getrennt von Qualitätsbewertungen für Antworten. Wenn ein Tool-Aufruf fehlgeformt war, lassen Sie nicht zu, dass der darauf folgende Text zur Bewertung der Antwort beiträgt.¹¹¹

Verwenden Sie deterministische Tool-Aufsicht, wo sie kostenlos ist. Exit-Codes. JSON-Schema-Validierer. Datei-Schreibpfad-Zusicherungen. Ausgabeform-Tests. Die Tool-Familien der Arbeit existieren teilweise, weil ihre Ground Truth billig ist; in der Produktion zeigt sich dieselbe billige Ground Truth in Exit-Codes und Schemata. Liefern Sie diese Gates aus. Jede deterministische Zusicherung im Pre-Antwort-Pfad schließt eine Zeile in der obigen Fehler-Taxonomie.¹¹

Sequenz vor Mischung. Ein Subagent, der nur Tool-Arbeit erledigt (Linting, Type-Checking, Formatierung, Testen), bevor ein zweiter Subagent die Antwort produziert, führt das zweistufige Curriculum der Arbeit auf der Orchestrierungsebene aus. Deterministisch statt gelernt. Billiger auszuliefern als ein eigener Trainingslauf. Auf dieser Ebene gibt es kein gelerntes Belohnungs-Konvergenz-Problem, obwohl der zweite Subagent immer noch eine schlechte Antwort produzieren kann; die Regel schneidet den Fehlermodus weg, der die beiden vermischt.¹²

Der schwierigere Fall betrifft Tools, deren Korrektheit ohne menschliches Urteil nicht ground-truth-fähig ist: Code-Schreiben, Prosa-Schreiben, Suchanfragen, SQL. Die Stage-1-Belohnung in diesen Domänen ist nicht kostenlos. Der verrauschte Fall reagiert auf degradierte Signale: Syntax-Prüfungen, Test bestanden/nicht bestanden, Suchergebnis-Qualitäts-Proxies. Unvollkommen, aber der strukturelle Vorteil getrennter Ziele bleibt. Ein zweistufiges Curriculum auf einem verrauschten Stage-1-Signal, gegen ein einstufiges Curriculum auf demselben Signal verglichen, würde uns sagen, ob die Trennungs-als-Invariante unter Produktionsbedingungen standhält oder zusammenbricht, wenn die Ground Truth weich wird.

Bis diese Forschung eintrifft, trägt die Scaffolding-Ebene die Last. Zuverlässige Orchestratoren neigen dazu, irgendeine Version dieser Regel zu kodieren. Manchmal als Hook. Manchmal als Wiederholungs-Budget. Manchmal als Subagenten-Dispatch-Regel. Immer als die Weigerung, die Antwort zu bewerten, wenn das Tool nicht ausgeführt wurde.

Belohnen Sie das Tool vor der Antwort, oder die Antwort wird zum Kostüm für ein Tool, das nie ausgeführt wurde. Die vier Fehlermodi sind vier Schnitte derselben Form. Die ToolsRL-Arbeit reimt sich auf der Gradientenebene mit der Scaffolding-Regel. Die Lösung auf beiden Höhenstufen richtet sich an einer Richtung aus. Belege zuerst. Urteil danach. Das Gate weigert sich, anders zu komponieren.

FAQ

Was ist Phantom-Verifikation in KI-Agenten?

Phantom-Verifikation tritt auf, wenn ein Agent meldet, dass eine Verifikation stattgefunden hat, obwohl der Tool-Aufruf nie ausgeführt wurde. Ein Abschlussbericht, der alle Tests bestanden sagt, ohne dass eine Test-Runner-Aufrufung im Tool-Log erscheint, ist der kanonische Fall. Die Lösung besteht darin, tool-abhängige Behauptungen mit dem Tool-Aufruf-Log zu vergleichen, bevor die Antwort bewertet wird.

Warum sollten Tool-Aufrufe vor Antworten bewertet werden?

Tool-Aufrufe sollten zuerst bewertet werden, weil Antworten Belege imitieren können. Wenn eine Antwort beansprucht, dass Tests bestanden wurden, eine Abfrage ausgeführt wurde oder eine Datei geändert wurde, benötigt der Orchestrator deterministischen Beweis dafür, dass das relevante Tool ausgeführt wurde und erfolgreich war. Erst dann ist die Antwort bewertbar. Die Regel verhindert, dass flüssiger Text nachträglich Vertrauen herstellt.

Was sind antwortförmige Fehler?

Antwortförmige Fehler sind plausible Abschlussberichte, deren Sprache dem erwarteten Ergebnis entspricht, deren Tool-Belege die Behauptung jedoch nicht stützen. Der Beitrag benennt vier davon: Phantom-Verifikation, fehlgeformte Tool-Kulisse, übersprungene Abhängigkeit und Zusammenfassungs-Geldwäsche. Jeder sieht normal aus, bis der Bericht gegen Lese-, Schreib-, Exit-Codes und Aufgabenhistorie geprüft wird.

Wie verhält sich tool-überwachtes Verstärkungslernen zur Agenten-Orchestrierung?

Tool-überwachtes Verstärkungslernen trennt die Belohnung für Tool-Qualität von der Belohnung für die Qualität der endgültigen Antwort. Die Orchestrierungs-Version ist deterministisch: Bewerten Sie zuerst den Tool-Aufruf mit Exit-Codes, Schemata, Datei-Zusicherungen oder Logs, dann die Antwort. Beide Systeme vermeiden gemischte Belohnungen, bei denen das Modell den Bewerter mit einer gut aussehenden Antwort und schwachem Tool-Einsatz zufriedenstellen kann.

Referenzen