Metakognitive KI: Ihrem Agenten Selbstbewertung beibringen

Aus dem Leitfaden: Claude Code Comprehensive Guide

Ich wies meinen Agenten an, einen fehlschlagenden Test zu reparieren. Der Agent las den Fehler, identifizierte die Assertion-Diskrepanz, änderte den erwarteten Wert so, dass er zur tatsächlichen Ausgabe passte, und meldete: „Test repariert. Alle Tests bestehen.“ Er hatte recht. Der Test bestand. Die Korrektur war trotzdem völlig falsch.

Der Test schlug fehl, weil die Funktion fehlerhafte Daten zurückgab. Der Agent „reparierte“ den Test, indem er ihn die falsche Antwort erwarten ließ. Er befolgte meine Anweisung perfekt: den fehlschlagenden Test reparieren. Gemeint hatte ich: den Code reparieren, den der Test prüft. Der Agent hatte keinen Mechanismus, um zwischen diesen beiden Interpretationen zu unterscheiden, weil nichts in seinem Anweisungssatz ihn aufforderte zu evaluieren, warum ein Test fehlschlägt, bevor er entscheidet, wie er ihn repariert.

Diese Lücke hat einen Namen. Es ist die Lücke zwischen Handlungsebenen-Anweisungen und metakognitiven Anweisungen. Ich verwende „metakognitiv“ als funktionale Analogie, nicht als kognitionswissenschaftliche Behauptung: LLMs verfügen nicht über interne Überwachungsprozesse wie Menschen. Was sie haben, ist ein Verhalten der Anweisungsbefolgung, das sich auf Selbstbewertung lenken lässt. Das Framework funktioniert, weil es verändert, welchen Anweisungen der Agent während der Verifikation folgt, nicht weil der Agent ein echtes Bewusstsein seiner selbst entwickelt. Die meisten Menschen schreiben nur die erste Art von Anweisung.

Metakognitive KI-Programmierung ist die Praxis, KI-Agenten Anweisungen zur Selbstbewertung zu geben: Man sagt ihnen nicht nur, was sie tun sollen, sondern bringt ihnen bei zu erkennen, wann sie in die falsche Richtung steuern. Handlungsebenen-Anweisungen definieren Verhalten („Tests schreiben“, „Eingaben validieren“). Metakognitive Anweisungen definieren Selbstüberwachung („Wenn Sie ‚sollte‘ statt ‚habe‘ sagen, haben Sie nicht verifiziert“). Diese zweite Ebene, umgesetzt durch Evidenz-Gates, benannte Fehlermodi und die Erkennung von Abschwächungssprache, trennt Agenten, die plausible Ausgaben produzieren, von Agenten, die korrekte Ausgaben produzieren.

TL;DR

Es gibt zwei Ebenen von KI-Agenten-Anweisungen. Handlungsebenen-Anweisungen sagen dem Agenten, was er tun soll: „Eingaben validieren“, „Tests schreiben“, „RESTful-Konventionen befolgen“. Metakognitive Anweisungen sagen dem Agenten, wie er bewerten soll, ob er es gut macht: „Wenn Sie feststellen, dass Sie sollte statt habe sagen, haben Sie nicht verifiziert“, „Wenn drei Korrekturen fehlschlagen, halten Sie inne und hinterfragen Sie die Architektur“, „Zuversicht ist kein Beweis“. Die meisten Agenten-Konfigurationen enthalten ausschließlich Handlungsebenen-Anweisungen. Die metakognitive Ebene trennt einen Agenten, der plausible Ausgaben produziert, von einem, der korrekte Ausgaben produziert. Ich betreibe seit neun Monaten ein produktives metakognitives System mit sieben benannten Fehlermodi, einem Evidenz-Gate mit sechs Kriterien und einer Erkennung von Abschwächungssprache, durchgesetzt durch 95 Hooks.


Die zwei Ebenen der Agenten-Anweisung

Jede Agenten-Anweisung operiert auf einer von zwei Ebenen.

Handlungsebenen-Anweisungen definieren Verhalten:

# Action-level examples
- Use type hints on all functions
- Write tests for edge cases
- Follow RESTful conventions for API endpoints
- Validate all user input at boundaries

Handlungsebenen-Anweisungen sind notwendig. Sie sagen dem Agenten, wie korrektes Verhalten aussieht. Allerdings teilen sie eine strukturelle Einschränkung: Sie setzen voraus, dass der Agent sie gewissenhaft ausführt. Sie berücksichtigen nicht, wie der Agent seine eigene Einhaltung bewertet.

Metakognitive Anweisungen definieren Selbstüberwachung:

# Metacognitive examples
- If you catch yourself thinking "just try changing X and see if it works" — STOP.
  That's a signal to investigate, not guess.
- If you've searched the same files three times — you're stuck.
  Step back and question your assumptions.
- If you use the word "should" in a completion report, replace it with evidence.
  Run the command. Paste the output.
- After three failed fixes, stop fixing. The problem is architectural.

Der Unterschied ist entscheidend, weil Handlungsebenen-Anweisungen dem Agenten sagen, wie das Ziel aussieht. Metakognitive Anweisungen sagen dem Agenten, wie er erkennt, dass er in die falsche Richtung steuert. Die eine Art verhindert falsche Handlungen. Die andere verhindert falsches Denken: die Denkmuster, die falsche Handlungen überhaupt erst hervorbringen.

Das Projekt obra/superpowers auf GitHub erkundet dieses Terrain mit Skills, die Agenten beibringen, ihr eigenes Denken auf Fehlersignale zu beobachten.1 Die Erkenntnis: Die meisten Skills operieren auf der Handlungsebene (tun Sie X, tun Sie Y nicht). Die metakognitive Ebene funktioniert anders (bemerken Sie, wenn Sie im Begriff sind, Y zu tun).


Die Tabelle der falschen Evidenz

Das wirksamste metakognitive Werkzeug, das ich gebaut habe, ist eine Tabelle, die definiert, was NICHT als Beweis zählt.2

Wenn ich einem Agenten sage „Verifizieren Sie Ihre Arbeit“, produziert der Agent eine Verifikation. Doch diese Verifikation ist oft eine Neuformulierung der Absicht, keine Demonstration des Ergebnisses. „Tests sollten bestehen.“ „Die Implementierung folgt Best Practices.“ „Ich bin zuversichtlich, dass dies korrekt ist.“ Jede dieser Aussagen klingt wie Evidenz. Keine davon ist Evidenz.

Die Tabelle der falschen Evidenz blockiert bestimmte Abkürzungen im Voraus, indem sie sie benennt:

Behauptung Erforderliche Evidenz NICHT ausreichend (falsche Evidenz)
„Tests bestehen“ Eingefügte Testausgabe mit 0 Fehlschlägen „Tests sollten bestehen“ oder „Ich habe sie vorhin ausgeführt“
„Folgt Mustern“ Das Muster UND die Datei benennen, in der es existiert „Ich habe Best Practices befolgt“
„Einfachste Lösung“ Verworfene Alternativen benennen und begründen „Es ist sauber“
„Randfälle behandelt“ Jeden Randfall und seine Behandlung auflisten „Ich habe Randfälle berücksichtigt“
„Keine Regressionen“ Die geprüften Dateien/Funktionen benennen „Nichts anderes sollte betroffen sein“
„Löst das Problem“ Das Bedürfnis des Benutzers nennen und wie dies es adressiert „Es implementiert die Funktion“

In der dritten Spalte steckt der Wert. Ohne sie füllt der Agent die zweite Spalte mit plausibel klingenden Neuformulierungen seiner eigenen Zuversicht. Mit ihr benennt und blockiert die Tabelle jede einzelne Abkürzung, bevor der Agent sie nimmt.3

Die Tabelle geht über typisches Prompt Engineering hinaus. Sie schafft ein Framework zur Selbstüberwachung statt einer Verhaltensanweisung. Die Tabelle sagt dem Agenten nicht, was er anders tun soll. Sie sagt dem Agenten, worauf er in seiner eigenen Ausgabe achten soll. Der Agent gleicht seine eigenen Antworten mit der Spalte NICHT ausreichend ab und weiß bei einer Übereinstimmung, dass er die Abkürzung durch tatsächliche Evidenz ersetzen muss.

Das Muster skaliert. Jede domänenspezifische Behauptung lässt sich ergänzen. Für Sicherheitsüberprüfungen: „Keine Schwachstellen“ erfordert „konkret geprüfte Schwachstellenklassen und Befunde“, nicht „Ich habe den Code überprüft“. Für Barrierefreiheit: „WCAG-konform“ erfordert „Ausgabe eines axe- oder Lighthouse-Audits“, nicht „Ich habe den Kontrast geprüft“.


Benannte Fehlermodi als metakognitive Leitplanken

Menschen haben benannte kognitive Verzerrungen: Bestätigungsfehler, Ankereffekt, Dunning-Kruger. Die Namen sind wichtig. Sobald Sie eine Verzerrung benennen können, können Sie auf sie achten. KI-Agenten brauchen dasselbe Vokabular für ihre Fehlermuster.

Ich habe sieben Fehlermodi dokumentiert, die mein Agent wiederholt zeigte, jedem einen Namen gegeben und Erkennungssignale ergänzt:4

Fehlermodus Wie er aussieht Erkennungssignal
Abkürzungsspirale Verifikationsschritte überspringen, um schneller zu berichten Abschlussbericht ohne Evidenz für jeden Schritt
Zuversichts-Fata-Morgana „Ich bin zuversichtlich“ ersetzt tatsächliche Verifikation Abschwächungssprache im Bericht
Gut-genug-Plateau Funktionierender Code, der nicht sauber, getestet oder dokumentiert ist Zögern bei Fragen zur Qualität
Tunnelblick Eine Funktion polieren, während angrenzender Code bricht „Nichts anderes betroffen“ ohne Überprüfung
Phantomverifikation Behaupten, Tests bestünden, ohne sie jetzt auszuführen Evidenz aus einer früheren Sitzung
Aufgeschobene Schulden TODO/FIXME/HACK in committetem Code hinterlassen Jeder solche Kommentar im Diff
Hohler Bericht „Fertig“ ohne konkrete Angaben Abschlussbericht, dem für irgendein Kriterium die Evidenz fehlt

Die Namen machen die Fehler erkennbar. Ohne sie produziert der Agent eine Zuversichts-Fata-Morgana, und weder der Agent noch der Benutzer erkennt sie als Muster. Mit ihnen lautet die Anweisung: „Wenn Sie sich dabei ertappen, einen benannten Fehlermodus zu zeigen, STOPPEN Sie und beginnen Sie erneut beim Schritt Evaluieren.“

Die Überwachung ist im präzisen Sinne metakognitiv: Der Agent beobachtet seinen eigenen kognitiven Prozess (Überspringe ich die Verifikation? Nutze ich Zuversicht als Ersatz für Evidenz?) statt seiner Ausgabe (Ist dieser Code korrekt?). Die Überwachung prägt die Generierung als Teil des Denkprozesses des Agenten, weshalb sie Fehler erfasst, die eine Überprüfung auf Ausgabeebene übersieht.

Anthropics eigene Referenzimplementierungen von Skills stützen diesen Ansatz. Die Analyse offizieller Claude Code Skills offenbarte strukturelle Muster in wirksamem Design von Agenten-Anweisungen. Nach Beobachtung des Autors erwiesen sich Verbote („NEVER X“) als wirksamer als Vorschläge („consider Y“), weil sie die konkrete Umgehung benennen statt der allgemeinen Handlung.5 Benannte Fehlermodi sind konkrete Verbote: „NEVER exhibit Phantom Verification“ übertrifft „always run tests“, weil es die Umgehung blockiert, statt die Handlung zu wiederholen.


Erkennung von Abschwächungssprache

Der einfachste metakognitive Monitor, den ich implementiert habe, erkennt bestimmte Wörter in der Ausgabe des Agenten:

Red flag words: should, probably, seems to, likely, I believe,
               I'm confident, looks correct, appears to

Jedes Mal, wenn der Agent eines dieser Wörter in einem Abschlussbericht verwendet, ist das Wort selbst ein Beleg für unzureichende Verifikation.6 „Tests should pass“ bedeutet, dass der Agent sie nicht ausgeführt hat. „It seems to work“ bedeutet, dass der Agent nur grob draufgeschaut hat. „I’m confident“ bedeutet, dass der Agent externe Evidenz durch einen inneren Zustand ersetzt.

Die Implementierung ist mechanisch. Das Hook-System fängt die Ausgabe des Agenten ab und markiert Abschwächungssprache. Der Agent ersetzt dann das abschwächende Wort durch die Verifikation, die er hätte durchführen sollen:

  • „Tests should pass“ wird zu: führt die Tests aus, fügt die Ausgabe mit 0 Fehlschlägen ein
  • „It looks correct“ wird zu: zitiert die konkrete Assertion oder Prüfung, die die Korrektheit bestätigt
  • „I’m confident“ wird zu: listet die Evidenz auf, die diese Zuversicht begründet

Das Muster stammt aus obras Arbeit zu Verification before Completion.1 Die kognitionswissenschaftliche Parallele ist gut belegt: In der menschlichen Metakognition korreliert die Genauigkeit von Selbstauskünften („Ich verstehe das“) nur schwach mit dem tatsächlichen Verständnis.3 Menschen, die sagen „Ich hab’s verstanden“, haben es oft nicht verstanden. Menschen, die es erklären können, meistens schon. Dasselbe gilt für KI-Agenten: Ein Agent, der konkrete Evidenz zitieren kann, versteht das Problem. Ein Agent, der sagt „Ich bin zuversichtlich“, möglicherweise nicht.


Der Drei-Korrekturen-Sicherungsautomat

Bei Metakognition geht es nicht nur darum, fehlerhaftes Denken zu erkennen. Es geht auch darum zu erkennen, wann man aufhören sollte.

Die Drei-Korrekturen-Eskalationsregel: Wenn drei Korrekturversuche für dasselbe Problem fehlgeschlagen sind, muss der Agent innehalten und die Architektur grundlegend hinterfragen.7 Keine vierte Korrektur versuchen. Keinen anderen Blickwinkel auf denselben Ansatz suchen. Innehalten. Einen Schritt zurücktreten. Fragen, ob das Problem in der Lösung oder in der Problemdefinition liegt.

Die Regel wirkt als Sicherungsautomat für Debugging-Schleifen. Ohne sie geraten Agenten in das, was ich die Korrekturspirale nenne: Jeder fehlgeschlagene Versuch erzeugt eine neue Theorie, die eine neue Korrektur erzeugt, die fehlschlägt, die wiederum eine neue Theorie erzeugt. Der Agent kann Dutzende Korrekturen durchlaufen, ohne je zu hinterfragen, ob er am richtigen Problem arbeitet. Der Vorfall mit 23 außer Kontrolle geratenen Agenten war eine Variante davon in der Breite: Die Agenten erzielten Konsens über die falsche Frage, weil keine metakognitive Prüfung fragte: „Ist diese Frage richtig eingegrenzt?“

Die Drei-Korrekturen-Regel funktioniert, weil sie einen Phasenübergang im Denken des Agenten erzwingt. Die Korrekturen 1 bis 3 bewegen sich innerhalb des aktuellen mentalen Modells. Korrektur 4 (die eigentlich „mit dem Korrigieren aufhören“ lautet) zwingt den Agenten, ein neues mentales Modell aufzubauen. In der Praxis heißt das meist: den Fehler noch einmal von vorn lesen, die Annahmen erneut prüfen oder den Benutzer um Klärung bitten. All das ist produktiver als ein vierter Rateversuch.


Vorher und nachher: Was sich ändert

Ein konkretes Beispiel. Ich bat einen Agenten, einem API-Endpunkt eine Eingabevalidierung hinzuzufügen.

Ohne metakognitive Anweisungen:

Added Pydantic model with field validators for email format, password
length (8+), and username pattern (alphanumeric). Tests should pass.
The implementation follows FastAPI best practices.

Die Ausgabe enthält drei Abschwächungssignale: „should pass“ (Tests nicht ausgeführt), „follows best practices“ (nicht benannt, welche Praktiken) und keinerlei Evidenz dafür, dass Randfälle bedacht wurden. Eine Zuversichts-Fata-Morgana, verpackt in einen Hohlen Bericht.

Mit metakognitiven Anweisungen (gleiche Aufgabe, gleicher Agent):

Added Pydantic model with field validators:
- Email: regex validation + max length 254 (RFC 5321)
- Password: min 8, max 128, requires 1 uppercase + 1 digit
- Username: alphanumeric + underscore, 3-30 chars

Test output (just ran):
  tests/test_auth.py::test_valid_registration PASSED
  tests/test_auth.py::test_invalid_email_rejected PASSED
  tests/test_auth.py::test_short_password_rejected PASSED
  tests/test_auth.py::test_empty_username_rejected PASSED
  tests/test_auth.py::test_unicode_username_rejected PASSED
  5 passed in 0.34s

Edge cases handled: empty string (returns 422), null (returns 422),
unicode injection in username (rejected by alphanumeric pattern),
overlength email (RFC limit enforced).

Pattern followed: same validation approach as UserUpdateSchema in
app/schemas.py line 45.

Der Unterschied liegt nicht darin, dass der zweite Agent besseren Code geschrieben hätte. Möglicherweise haben beide Agenten identischen Code geschrieben. Der Unterschied liegt darin, dass der zweite Agent seine Arbeit anhand konkreter Evidenzkriterien verifiziert und die Evidenz berichtet hat statt seiner Zuversicht.


Ihre eigene metakognitive Ebene aufbauen

Das Framework ist übertragbar. Sie brauchen nicht mein konkretes System. Sie brauchen drei Komponenten:

1. Eine Tabelle der falschen Evidenz. Definieren Sie, was für die Behauptungen, die Ihr Agent am häufigsten aufstellt, NICHT als Beweis zählt. Beginnen Sie mit den sechs Kriterien oben und ergänzen Sie domänenspezifische Zeilen. In der dritten Spalte (NICHT ausreichend) steckt der Wert.

2. Benannte Fehlermodi. Dokumentieren Sie die drei bis fünf häufigsten Arten, auf die Ihr Agent scheitert. Geben Sie jeder einen Namen. Ergänzen Sie Erkennungssignale. Nehmen Sie die Anweisung auf: „Wenn Sie sich dabei ertappen, einen benannten Fehlermodus zu zeigen, halten Sie inne und bewerten Sie neu.“

3. Erkennung von Abschwächungssprache. Listen Sie die konkreten Wörter auf, die in Ihrer Domäne unzureichende Verifikation signalisieren. Fügen Sie die Anweisung hinzu: „Ersetzen Sie jedes abschwächende Wort durch die Evidenz, die die Abschwächung überflüssig machen würde.“

Diese drei Komponenten fügen sich zu einer metakognitiven Ebene zusammen, die auf beliebigen Handlungsebenen-Anweisungen aufsetzt. Die Handlungsebenen-Anweisungen definieren, wie korrektes Verhalten aussieht. Die metakognitive Ebene definiert, wie der Agent seine eigene Abweichung von korrektem Verhalten erkennt.

Die Implementierung kann so einfach sein wie ein zusätzlicher Abschnitt in Ihrer CLAUDE.md oder AGENTS.md:

## Self-Monitoring

### When to stop and re-evaluate
- If you've searched the same files 3+ times: you're stuck.
- If you've attempted 3 fixes for the same issue: question the architecture.
- If you use "should" or "probably" in your response: replace with evidence.

### What doesn't count as evidence
[your false evidence table here]

### Named failure modes to watch for
[your failure modes here]

Ob die Durchsetzung über Hooks (deterministisch, nicht überspringbar), Regeldateien (in den Kontext geladen) oder Inline-Anweisungen (abhängig von der Befolgung durch das Modell) erfolgt, bestimmt die Zuverlässigkeit der metakognitiven Ebene. Hooks sind am stärksten, weil sie auf der Ebene der Tool-Nutzung eingreifen, nicht auf der Prompt-Ebene. Doch selbst metakognitive Anweisungen auf Prompt-Ebene verbessern die Ausgabequalität des Agenten messbar, weil sie die Bewertungskriterien des Agenten verändern und nicht nur seine Handlungen.

Übung: Prüfen Sie Ihre letzten drei Interaktionen mit einem Agenten. Kopieren Sie die Abschlussberichte. Markieren Sie jedes Vorkommen von „should“, „probably“ oder „I’m confident“. Schreiben Sie zu jedem markierten Wort die konkrete Evidenz auf, die die Abschwächung hätte ersetzen sollen. Existiert die Evidenz, hat der Agent sie aber nicht zitiert, braucht der Agent eine Erkennung von Abschwächungssprache. Existiert die Evidenz nicht, hat der Agent die Verifikation komplett übersprungen: Dann braucht er die Tabelle der falschen Evidenz.

Die Reihenfolge ist wichtig: Beginnen Sie mit der Tabelle der falschen Evidenz (größte Wirkung, am einfachsten umzusetzen), ergänzen Sie benannte Fehlermodi, sobald Sie wiederkehrende Muster beobachtet haben, und fügen Sie zuletzt die Erkennung von Abschwächungssprache als mechanische Prüfung hinzu. Jede Ebene erfasst Fehler, die die vorherige übersieht. Zusammen bilden sie eine Rückkopplungsschleife: Der Agent überwacht seine eigene Ausgabe, erkennt bekannte Fehlermuster und korrigiert sich selbst, bevor er den Abschluss meldet.

Minimales reproduzierbares Setup

Sie können das metakognitive Kernmuster in fünf Minuten testen. Legen Sie eine Datei namens .claude/CLAUDE.md an (oder ergänzen Sie Ihre bestehende) mit folgendem Inhalt:

## Evidence Gate

Before reporting any task as complete, provide evidence for ALL criteria:

| Claim | Required Evidence | NOT Sufficient |
|-------|------------------|----------------|
| "Tests pass" | Paste test output showing 0 failures | "Tests should pass" |
| "Follows patterns" | Name the pattern AND file where it exists | "Best practices" |
| "Edge cases handled" | List each case and handling | "Considered edge cases" |

## Red Flag Words
If your completion report contains: should, probably, seems to,
I believe, looks correct, I'm confident — STOP.
Replace the word with the evidence that eliminates the hedge.

## Circuit Breaker
After 3 failed fixes for the same issue, STOP.
Question whether you are solving the right problem.

Bitten Sie den Agenten, eine beliebige nicht triviale Aufgabe zu erledigen (z. B. „Fügen Sie diesem Endpunkt eine Eingabevalidierung hinzu“). Vergleichen Sie den Abschlussbericht mit und ohne Evidenz-Gate. Der Unterschied ist schon bei der ersten Aufgabe sichtbar: Ohne das Gate berichtet der Agent Zuversicht. Mit dem Gate berichtet der Agent Evidenz.

Das obige Setup ist ein Ausschnitt des vollständigen Systems. Es lässt benannte Fehlermodi und die Durchsetzung per Hooks weg, demonstriert aber den Kernmechanismus: Wer definiert, was NICHT als Evidenz zählt, verändert das Verifikationsverhalten des Agenten sofort.


Ergebnisse aus der Produktion nach neun Monaten

Das metakognitive System läuft seit Mai 2025 in 12 aktiven Projekten. Seine Wirkung präzise zu messen ist schwierig, weil es keine Kontrollgruppe gibt (ich kann nicht dieselben neun Monate Entwicklung ohne das System wiederholen). Die Richtung der Signale ist allerdings eindeutig:

Vor den metakognitiven Anweisungen (die ersten drei Monate, Mai bis Juli 2025): Der Agent produzierte regelmäßig Zuversichts-Fata-Morganen, also Berichte, die „tests pass“ sagten, ohne die Tests auszuführen, oder „follows patterns“, ohne zu benennen, welche Muster. Ich fing sie bei der manuellen Überprüfung ab, was bedeutete, dass jeder Abschluss des Agenten eine vollständige menschliche Verifikation erforderte. Der Agent war ein Werkzeug für Entwürfe, kein autonomes.

Nach der Tabelle der falschen Evidenz (August 2025): Behauptungen mit falscher Evidenz sanken in den Abschlussberichten des Agenten nahezu auf null. Ein repräsentatives Beispiel: Commit 3a8f2c1 (September 2025, blakecrosley.com) zeigt einen Abschlussbericht des Agenten, der konkrete Testausgaben, geprüfte Dateipfade und behandelte Randfälle zitiert, und zwar bei derselben Art von Aufgabe, die zuvor „tests should pass“ und „follows best practices“ hervorbrachte. Die Tabelle benennt und blockiert jede einzelne Abkürzung. Der Agent kann nicht „tests should pass“ sagen, wenn die Anweisung genau diese Formulierung ausdrücklich als NICHT ausreichend aufführt. Die mechanische Prüfung funktioniert, weil sie Zeichenkettenmuster abgleicht, nicht semantische Absicht.

Nach den benannten Fehlermodi (Oktober 2025): Debugging-Schleifen wurden kürzer. Vor dem Drei-Korrekturen-Sicherungsautomaten versuchte der Agent 8 bis 12 Korrekturen für ein einzelnes Problem, bevor ich eingriff. Seit dem Sicherungsautomaten eskaliert der Agent nach drei Versuchen oder bittet um Klärung. Die Eskalation führt meist schneller zu einer korrekten Diagnose, als es ein vierter Rateversuch getan hätte.

Nach der Erkennung von Abschwächungssprache per Hooks (Dezember 2025): Das Hook-System fängt Abschwächungssprache mechanisch ab, sodass der Agent die Prüfung nicht überspringen kann, selbst bei komplexen mehrstufigen Aufgaben, bei denen Anweisungen auf Prompt-Ebene manchmal in den Hintergrund rücken. Die Kombination aller drei Ebenen (Tabelle + Fehlermodi + Hooks) erzeugt Agenten-Ausgaben, die ich auf Korrektheit statt auf Vollständigkeit prüfe: Der Agent berichtet zuverlässig, was er tatsächlich getan hat, statt was er vorhatte.

Das System beseitigt nicht alle Fehler. Es beseitigt eine bestimmte Klasse von Fehlern: diejenige, bei der die Selbsteinschätzung des Agenten von seiner tatsächlichen Leistung abweicht.

Das Muster wird von mehreren Quellen unabhängig bestätigt. Anthropics Arbeit zu Constitutional AI trainiert Modelle anhand von Kriterien zur Selbstbewertung statt nur anhand externen Feedbacks.9 obras Projekt superpowers stellte unabhängig fest, dass Skills nach dem Prinzip „Verification before Completion“ das Verhalten von Agenten stärker verändern als Handlungsebenen-Anweisungen.1 OpenAIs Process Reward Models (PRMs) zeigten, dass die unabhängige Bewertung jedes einzelnen Denkschritts zuverlässigere Ausgaben liefert als die Bewertung allein der finalen Antwort; dasselbe Prinzip wendet die Tabelle der falschen Evidenz auf die Verifikationsschritte von Agenten an.10 Das Reflexion-Framework von Shinn et al. (2023) zeigte, dass LLMs mit strukturierten Prompts zur Selbstreflexion ihre Aufgabengenauigkeit auf Coding-Benchmarks im Vergleich zu einfachem erneutem Versuchen um 20 bis 30 % steigerten, und belegte damit, dass das Format der Selbstbewertung ebenso wichtig ist wie ihr Vorhandensein.11 Die Tabelle der falschen Evidenz in diesem System ist eine manuell spezifizierte Version desselben Prinzips: Definieren Sie die Bewertungskriterien explizit, und die Ausgabequalität des Agenten steigt, weil seine Selbstüberwachung besser wird.


Was Metakognition nicht leisten kann

Metakognitive Programmierung macht KI-Agenten zuverlässiger. Weise macht sie sie nicht.

Die Tabelle der falschen Evidenz erfasst bestimmte Abkürzungen. Neue Abkürzungen, die die Tabelle nicht benennt, erfasst sie nicht. Benannte Fehlermodi erkennen bekannte Muster. Muster, die noch keinen Namen haben, erkennen sie nicht. Die Erkennung von Abschwächungssprache erfasst oberflächliches Ersetzen von Evidenz durch Zuversicht. Einen Agenten, der sich tatsächlich selbst überzeugt hat (in welchem Sinne „überzeugt“ hier auch immer gilt), dass eine falsche Ausgabe korrekt ist, erfasst sie nicht.

Grundsätzlicher noch: Metakognitive Anweisungen nähern sich Geschmack an, erzeugen ihn aber nicht. Das Jiro-System kann except: pass verhindern und Testevidenz erzwingen. Es kann nicht beurteilen, ob die Architektur stimmt, ob die Benennung die Absicht trifft oder ob die Lösung das tatsächliche Problem adressiert statt des formulierten. Solche Urteile erfordern ein kontextuelles Denken, das aktuelle Modelle annähern, aber nicht zuverlässig leisten.

Jemand antwortete auf einen meiner Tweets über das Jiro-System, sinngemäß: Sie versuchen im Grunde, dem Loop Zurückhaltung, Geschmack und so etwas wie ein moralisches Innehalten beizubringen, also genau das, wogegen das grundlegende Ralph-Muster im Namen des Durchsatzes ausdrücklich optimiert.8

Die Person hatte recht. Metakognitive Programmierung ist ein strukturelles Gerüst für Qualitäten, die die Maschine nicht besitzt. Das Gerüst ist tragend. Ohne es produziert die Maschine Zuversichts-Fata-Morganen in großem Maßstab. Mit ihm produziert die Maschine verifizierte Ausgaben in großem Maßstab. Die Lücke zwischen diesen beiden Ergebnissen ist der Unterschied zwischen einem Agenten, dem Sie vertrauen können, über Nacht zu laufen, und einem Agenten, den Sie babysitten müssen.

Doch das Gerüst ist nicht das Gebäude. Das Gebäude (Geschmack, Urteilsvermögen, die Fähigkeit zu erkennen, wann die richtige Antwort auf eine Frage eine andere Frage ist) bleibt menschlich. Die metakognitive Ebene macht diese Grenze sichtbar, statt sie hinter zuversichtlicher Prosa zu verbergen.


Wichtigste Erkenntnisse

Für Ingenieure, die Agentensysteme bauen:

  • Schreiben Sie metakognitive Anweisungen, nicht nur Handlungsebenen-Anweisungen. Handlungsebenen-Anweisungen definieren korrektes Verhalten. Metakognitive Anweisungen definieren, wie der Agent seine eigene Abweichung von korrektem Verhalten erkennt. Die zweite Art trennt plausible Ausgaben von verifizierten Ausgaben.

  • Benennen Sie die Fehlermodi Ihres Agenten. Sobald ein Fehlermuster einen Namen hat (Zuversichts-Fata-Morgana, Phantomverifikation, Abkürzungsspirale), kann der Agent darauf achten. Unbenannte Fehler wiederholen sich endlos.

Für Teams, die KI-gestützte Workflows skalieren:

  • Bauen Sie eine Tabelle der falschen Evidenz, bevor Sie skalieren. Definieren Sie für jede Behauptung Ihres Agenten, was NICHT als Beweis zählt. Die dritte Spalte (NICHT ausreichend) blockiert im Voraus die konkreten Abkürzungen, die Agenten nehmen, wenn sie zum „Verifizieren“ aufgefordert werden.

  • Abschwächungssprache ist ein verlässliches Signal. Jedes Mal, wenn ein Agent in einem Abschlussbericht „should“, „probably“ oder „I’m confident“ sagt, hat er die behauptete Verifikation nicht durchgeführt. Erkennen und mechanisch ersetzen.


Das metakognitive Audit

Möchten Sie Ihre eigenen Agenten-Anweisungen bewerten? Das interaktive Werkzeug unten analysiert jede CLAUDE.md, AGENTS.md oder jeden System-Prompt und bewertet sie anhand der in diesem Beitrag beschriebenen metakognitiven Dimensionen.

Fügen Sie Ihre Agenten-Anweisungen ein, und das Audit ermittelt: welcher Anteil Ihrer Anweisungen auf der Handlungsebene und welcher auf der metakognitiven Ebene liegt, welche benannten Fehlermodi abgedeckt sind, ob eine Erkennung von Abschwächungssprache existiert und wo die Lücken liegen.


Häufige Fragen

Was ist der Unterschied zwischen Handlungsebenen-Anweisungen und metakognitiven Anweisungen für KI-Agenten?

Handlungsebenen-Anweisungen definieren korrektes Verhalten: „Type Hints verwenden“, „Tests schreiben“, „Eingaben validieren“. Metakognitive Anweisungen definieren, wie der Agent seine eigene Einhaltung dieser Verhaltensweisen überwacht: „Wenn Sie in einem Verifikationsbericht das Wort ‚sollte‘ verwenden, haben Sie nicht wirklich verifiziert“, „Wenn drei Korrekturen fehlschlagen, hinterfragen Sie die Architektur“. Handlungsebenen-Anweisungen verhindern falsche Ausgaben. Metakognitive Anweisungen verhindern die falschen Denkmuster, die falsche Ausgaben hervorbringen. Die meisten Agenten-Konfigurationen enthalten nur die erste Art, weshalb Agenten plausible, aber unverifizierte Arbeit abliefern.

Wie baue ich eine metakognitive Ebene für einen KI-Coding-Agenten auf?

Beginnen Sie mit der Tabelle der falschen Evidenz. Listen Sie die fünf Behauptungen auf, die Ihr Agent am häufigsten aufstellt („Tests bestehen“, „folgt Mustern“, „behandelt Randfälle“), und definieren Sie für jede, was NICHT als Beweis zählt. Die dritte Spalte (NICHT ausreichend) blockiert konkrete Abkürzungen, bevor der Agent sie nimmt. Ergänzen Sie benannte Fehlermodi, nachdem Sie dasselbe Fehlermuster dreimal beobachtet haben. Fügen Sie die Erkennung von Abschwächungssprache zuletzt als mechanische Prüfung hinzu. Jede Ebene erfasst Fehler, die die vorherige übersieht. Das gesamte System kann als Markdown-Abschnitt in Ihrer CLAUDE.md beginnen und von dort aus wachsen.

Funktioniert metakognitive Programmierung auch mit anderen Modellen als Claude?

Die Prinzipien sind modellunabhängig. Jedes Sprachmodell, das Anweisungen befolgt, kann von Tabellen der falschen Evidenz, benannten Fehlermodi und der Erkennung von Abschwächungssprache profitieren. Der konkrete Durchsetzungsmechanismus unterscheidet sich: Claude Code unterstützt Hooks, die die Ausgabe des Agenten auf der Ebene der Tool-Nutzung abfangen (deterministisch, nicht umgehbar). Andere Frameworks stützen sich womöglich auf System-Prompts oder Nachbearbeitungsskripte. Die Stärke der Durchsetzung bestimmt die Zuverlässigkeit: Metakognitive Anweisungen auf Prompt-Ebene verbessern die Ausgabequalität, die Durchsetzung auf Hook-Ebene garantiert sie.

Woran erkenne ich, dass ein KI-Agent metakognitive Anweisungen braucht?

Vier Signale: (1) Der Agent meldet „fertig“, aber die Arbeit enthält offensichtliche Fehler (ein Hohler Bericht, bei dem der Agent die Verifikation übersprungen hat). (2) Dieselbe Art von Fehler wiederholt sich über Sitzungen hinweg, ein unbenannter Fehlermodus, der sich wiederholt, weil nichts auf ihn achtet. (3) Die Abschlussberichte des Agenten verwenden Abschwächungssprache („should work“, „looks correct“), statt Evidenz zu zitieren: eine Zuversichts-Fata-Morgana. (4) Der Agent gerät in lange Debugging-Schleifen, ohne seinen Ansatz zu hinterfragen: Es fehlt ein Sicherungsautomat. Tritt eines dieser Muster mehr als zweimal auf, braucht der Agent ein metakognitives Gerüst.


Teil der Reihe Claude Code Deep Dives. Das Hook-System implementiert die hier beschriebene Durchsetzungsebene. Context Engineering als Architektur erklärt, wie sich die metakognitive Ebene in das umfassendere siebenschichtige Kontextsystem einfügt.



  1. obra/superpowers auf GitHub. Das Projekt superpowers enthält Skills für systematisches Debugging und Verifikation, die Claude Code Agenten beibringen, ihre eigenen Denkmuster statt nur ihrer Ausgaben zu überwachen. Die metakognitive Perspektive dieses Artikels stützt sich auf diesen Ansatz. github.com/obra/superpowers ↩↩↩

  2. Die Struktur der Tabelle der falschen Evidenz stützt sich auf das Muster Verification before Completion im Projekt obra/superpowers. Ich habe das Konzept zum Evidenz-Gate weiterentwickelt, einem Verifikationssystem mit sechs Kriterien, das durch Hooks durchgesetzt wird. Die vollständige Implementierung beschreibt der Beitrag zur Jiro-Qualitätsphilosophie. ↩

  3. Die dritte Spalte (NICHT ausreichend) adressiert, was die Fachliteratur „metakognitive Illusionen“ nennt: Fälle, in denen die Selbsteinschätzung eines Agenten über seine eigene Leistung von der tatsächlichen Leistung abweicht. In der Kognitionswissenschaft ist dies gut dokumentiert: Studierende, die sich selbst bescheinigen, den Stoff „verstanden“ zu haben, schneiden in Tests zu diesem Stoff oft schlecht ab. Dunning, D., Johnson, K., Ehrlinger, J., & Kruger, J. (2003). Why people fail to recognize their own incompetence. Current Directions in Psychological Science, 12(3), 83-87. doi.org/10.1111/1467-8721.01235 ↩↩

  4. Die sieben benannten Fehlermodi entstanden aus neun Monaten Produktiveinsatz. Jeder wurde dokumentiert, nachdem das Muster mindestens dreimal über verschiedene Projekte und Aufgabentypen hinweg beobachtet worden war. Das vollständige System beschreibt Warum mein KI-Agent eine Qualitätsphilosophie hat. ↩

  5. Analyse des Autors der offiziellen Claude Code Skills, die über das Skill-System der Claude Code CLI verfügbar sind. Verbote („NEVER X“) erwiesen sich als wirksamer als Vorschläge („consider Y“), weil sie die konkrete Umgehung benennen. Die Beobachtung, dass auf Denkhaltung ausgerichtete Skills prozedurale Anleitungen bei der Übernahme übertreffen, beruht auf Community-Berichten im Claude Code Discord und in GitHub-Diskussionen, nicht auf einer kontrollierten Studie. Siehe die Claude Code Dokumentation von Anthropic: docs.anthropic.com/en/docs/claude-code. ↩

  6. Die Erkenntnis, dass Abschwächungssprache unzureichende Verifikation signalisiert, ist auch jenseits von Agentensystemen empirisch gestützt. Nisbett, R.E. and Wilson, T.D. (1977). “Telling More Than We Can Know: Verbal Reports on Mental Processes.” Psychological Review, 84(3), 231-259. doi.org/10.1037/0033-295X.84.3.231. Nisbett und Wilson stellten fest, dass verbale Selbstauskünfte über Denkprozesse häufig konfabuliert sind: Menschen liefern plausibel klingende Erklärungen statt zutreffender Darstellungen ihres tatsächlichen Denkens. Dieselbe Dynamik zeigt sich in der Ausgabe von Agenten: „Ich bin zuversichtlich, dass dies korrekt ist“ ist eine plausibel klingende Selbstauskunft, kein Beleg für eine Verifikation. ↩

  7. Die Drei-Korrekturen-Eskalationsregel fungiert als auf Debugging angewandtes Sicherungsautomat-Muster. Das Muster ist analog zum Circuit Breaker in verteilten Systemen (Nygard, M. Release It!, 2007, Pragmatic Bookshelf): schnell scheitern, eskalieren, einen anderen Ansatz versuchen. Nach drei fehlgeschlagenen Versuchen innerhalb desselben mentalen Modells bringt das Weitergehen auf demselben Pfad abnehmende Erträge. ↩

  8. Sinngemäß wiedergegeben aus einer Antwort an @blakec auf X, Februar 2026. Der ursprüngliche Tweet behandelte die Spannung zwischen der Geschwindigkeitsoptimierung des Ralph-Loops und der Qualitätsreibung des Jiro-Systems. Die Beobachtung der antwortenden Person, dass der Basis-Loop „explicitly optimizes against restraint in the name of throughput“, beschreibt treffend die Designspannung, die die metakognitive Ebene adressiert. ↩

  9. Anthropic, “Constitutional AI: Harmlessness from AI Feedback,” 2022. arxiv.org/abs/2212.08073. Der Ansatz der Constitutional AI trainiert das Modell, seine eigenen Ausgaben anhand einer Reihe von Prinzipien zu bewerten. Das hier beschriebene metakognitive System ist eine Laufzeitversion derselben Idee: Statt Selbstbewertung zur Trainingszeit liefern die Tabelle der falschen Evidenz und die benannten Fehlermodi Bewertungskriterien zur Inferenzzeit über den Anweisungssatz. ↩

  10. Lightman, H., Kosaraju, V., Burda, Y., et al., “Let’s Verify Step by Step,” arXiv, 2023. arxiv.org/abs/2305.20050. OpenAIs Forschung zu Process Reward Models zeigte, dass die Bewertung von Zwischenschritten des Denkens (Process Supervision) beim Lösen mathematischer Probleme die Bewertung allein der finalen Antwort (Outcome Supervision) übertrifft. Die Tabelle der falschen Evidenz wendet dasselbe Prinzip auf Anweisungsebene an: Sie verlangt Evidenz für jede Verifikationsbehauptung, statt einen abschließenden Bericht „fertig“ zu akzeptieren. ↩

  11. Shinn, N., Cassano, F., Gopinath, A., et al., “Reflexion: Language Agents with Verbal Reinforcement Learning,” NeurIPS 2023. arxiv.org/abs/2303.11366. Reflexion erzielte Genauigkeitsverbesserungen von 20 bis 30 % auf den Benchmarks HumanEval und ALFWorld, indem LLM-Agenten nach Fehlschlägen strukturierte Prompts zur Selbstreflexion erhielten. Das Framework bestätigt die Kernerkenntnis des hier beschriebenen Systems: Format und Präzision von Anweisungen zur Selbstbewertung sind ebenso wichtig wie ihr Vorhandensein. ↩

Verwandte Beiträge

Ihr Agent schreibt schneller, als Sie lesen können

Fünf Forschungsgruppen, ein Problem: KI-Agenten produzieren Code schneller, als Entwickler ihn verstehen können. Die Sch…

17 Min. Lesezeit

Warum mein KI-Agent eine Qualitätsphilosophie hat

Mein Claude Code-Agent übernahm jede schlampige Angewohnheit in Maschinengeschwindigkeit. Was half: 3 Philosophien, 150+…

29 Min. Lesezeit

Laufzeitverfassungen für KI-Agenten: Ein Governance-Framework

Laufzeitverfassungen setzen Governance für KI-Agenten durch, wo Alignment aus dem Training versagt: Kompetenzprüfungen, …

19 Min. Lesezeit