Anthropic hat gemessen, was funktioniert. Meine Hooks setzen es durch.

Anthropic analysierte 9.830 Gespräche auf Claude.ai während einer einzigen Woche im Januar 2026.¹ Die Analyse verwendete CLIO, ein datenschutzkonformes Werkzeug, das Gesprächsmuster klassifiziert, ohne einzelne Nachrichten zu lesen. Die Forscher verfolgten 11 beobachtbare Verhaltensweisen aus einem 24 Verhaltensweisen umfassenden AI Fluency Framework, das von den Professoren Rick Dakan und Joseph Feller entwickelt wurde.²

Die zentrale Erkenntnis: 85,7 % der Gespräche beinhalten Iteration und Verfeinerung. Iterative Gespräche zeigen durchschnittlich 2,67 Fluency-Verhaltensweisen — etwa doppelt so viele wie die 1,33 in nicht-iterativen Gesprächen. Nutzer in iterativen Gesprächen hinterfragen mit 5,6-facher Wahrscheinlichkeit die Argumentation des Modells und identifizieren mit 4-facher Wahrscheinlichkeit fehlenden Kontext.¹

Iteration ist die Variable, die effektive KI-Nutzung von mittelmäßiger KI-Nutzung trennt. Anthropic hat sie gemessen. Die Frage ist, ob Iteration konsistent stattfindet oder nur dann, wenn Menschen daran denken.

Zusammenfassung

Der AI Fluency Index von Anthropic ergab, dass iterative Verfeinerung Fluency-Marker über 9.830 Gespräche hinweg verdoppelt. Das „Artefakt-Paradoxon” erklärt, warum Iteration nicht standardmäßig stattfindet: Wenn das Modell polierten Output produziert, werden Nutzer direktiver, aber weniger evaluierend. Faktenprüfung sinkt um 3,7 Prozentpunkte. Die Identifizierung fehlenden Kontexts sinkt um 5,2 Prozentpunkte. Das Hinterfragen der Argumentation sinkt um 3,1 Prozentpunkte. Der kognitive Mechanismus ist Verarbeitungsflüssigkeit: Polierter Output löst automatisches Vertrauen aus (Kahnemans System 1) und unterdrückt kritische Bewertung (System 2). Eine Qualitätsschleife erzwingt die Iteration, die ein einzelner Durchlauf überspringt: verpflichtende Überprüfung, Evidenz-Gate, Integrationsprüfung und Wiederholung, bis alle Kriterien durch Belege gestützt sind. Die Hooks setzen durch, was Anthropic gemessen hat. Das Modell kann die Iteration nicht überspringen, weil die Infrastruktur sie verlangt.

Was Anthropic gemessen hat

Der AI Fluency Index verfolgt beobachtbare Verhaltensweisen, keine subjektiven Qualitätsbewertungen. Das Framework definiert KI-Fluency als „die Fähigkeit, effektiv, effizient, ethisch und sicher innerhalb emergierender Modalitäten der Mensch-KI-Interaktion zu arbeiten.”² Die 24 Verhaltensweisen erstrecken sich über vier Dimensionen: Delegation, Beschreibung, Urteilsvermögen und Sorgfalt. Elf davon sind direkt im Gespräch beobachtbar. Die übrigen dreizehn finden außerhalb der Chat-Oberfläche statt (Bewertung der Ausgabe in der Produktion, Teilen von Ergebnissen mit Kollegen, Verifizierung anhand externer Quellen).

Die 11 beobachtbaren Verhaltensweisen umfassen Iteration und Verfeinerung, Hinterfragen der Argumentation, Identifizierung fehlenden Kontexts, Klärung von Zielen, Spezifizierung von Formaten, Bereitstellung von Beispielen und Faktenprüfung. Die Forscher klassifizierten jedes Gespräch anhand dieser Taxonomie unter Verwendung von Claude Sonnet als Analysemodell.

Drei Erkenntnisse sind für die Engineering-Infrastruktur relevant.

Erkenntnis 1: Iteration ist das stärkste Signal. 85,7 % der Gespräche beinhalten zumindest eine gewisse Iteration. Gespräche mit Iteration zeigen etwa doppelt so viele Fluency-Verhaltensweisen (2,67 vs. 1,33). Nutzer, die iterieren, hinterfragen mit 5,6-facher Wahrscheinlichkeit die Argumentation und identifizieren mit 4-facher Wahrscheinlichkeit Lücken.¹ Iteration ist kein Nice-to-have. Sie ist das Verhalten, das am stärksten mit effektiver KI-Nutzung assoziiert ist.

Erkenntnis 2: Polierter Output unterdrückt die Bewertung. 12,3 % der Gespräche beinhalteten Artefakt-Generierung (Code, Dokumente, interaktive Werkzeuge). Wenn das Modell Artefakte produziert, werden Nutzer direktiver: Zielklärung stieg um 14,7 Prozentpunkte, Formatspezifikation stieg um 14,5 Punkte, Bereitstellung von Beispielen stieg um 13,4 Punkte. Aber die Bewertung sank: Identifizierung fehlenden Kontexts fiel um 5,2 Punkte, Faktenprüfung fiel um 3,7 Punkte, Hinterfragen der Argumentation fiel um 3,1 Punkte.¹ Nutzer dirigierten besser, bewerteten aber weniger.

Erkenntnis 3: Wenige Nutzer richten eine Zusammenarbeit ein. Nur 30 % der Gespräche enthielten explizite Zusammenarbeitsanweisungen wie „Widersprechen Sie, wenn meine Annahmen falsch sind” oder „Sagen Sie mir, was mir fehlt.”¹ Der Standardmodus ist Delegation, nicht Dialog. Die meisten Nutzer behandeln das Modell als Ausführenden statt als Kollaborationspartner.

Das Artefakt-Paradoxon

Anthropic benannte das Muster, aber nicht den Mechanismus. Die Kognitionswissenschaft hat einen präzisen Begriff dafür: Verarbeitungsflüssigkeit.

Verarbeitungsflüssigkeit ist die subjektive Erfahrung von Leichtigkeit oder Schwierigkeit bei einer mentalen Aufgabe. Alter und Oppenheimer dokumentierten, dass Stimuli, die semantisch geprimt, visuell klar oder leicht zu verarbeiten sind, als wahrer, zuverlässiger und vertrauenswürdiger beurteilt werden — unabhängig von der tatsächlichen Genauigkeit.³ Oppenheimer zeigte, dass die Fluency-Heuristik automatisch funktioniert: Menschen nutzen Verarbeitungsleichtigkeit als Proxy für Qualität, ohne sich dessen bewusst zu sein.⁴

Kahnemans System-1/System-2-Rahmenwerk erklärt warum. System 1 verarbeitet Informationen automatisch und assoziiert kognitive Leichtigkeit mit Wahrheit. System 2 betreibt bewusste Analyse, erfordert aber Anstrengung und Motivation. Polierter KI-Output hat eine hohe Verarbeitungsflüssigkeit. Der Code kompiliert. Die Formatierung ist sauber. Die Erklärung ist kohärent. System 1 stuft ihn als „gut” ein, bevor System 2 die Chance hat zu bewerten, ob er korrekt ist.⁵

Kahneman identifizierte den spezifischen Fehlermodus: „Es ist ein Fehler, Vertrauen in ein Urteil zu haben, weil es eine gute Geschichte ergab, wenn das Vertrauen tatsächlich auf der Qualität und Quantität der Belege basieren sollte.”⁵ Ersetzen Sie „gute Geschichte” durch „sauberen Code”, und das Artefakt-Paradoxon ist WYSIATI (What You See Is All There Is), angewandt auf KI-generierten Output.

West et al. formalisierten die komplementäre Erkenntnis von der Modellseite. In zwei Arbeiten, die auf der ICLR 2024 präsentiert wurden, zeigten sie, dass generative Modelle Produktionsfähigkeiten erwerben, die ihre Bewertungsfähigkeiten übersteigen.⁶ Das Modell generiert in Sekunden Code auf Expertenniveau und macht dabei Fehler, die kein menschlicher Experte machen würde. Das Modell kann seinen eigenen Output nicht zuverlässig bewerten, weil Generierung und Bewertung separate Fähigkeiten sind, die unterschiedlich skalieren.

Das Paradoxon verstärkt sich: Das Modell produziert polierten Output, den es nicht richtig bewerten kann, und der Mensch, der auf diese Politur trifft, reduziert seine eigene Bewertung. Keine Seite verifiziert. Beide nehmen Korrektheit an. Jeff Gothelf erfasste die organisatorische Version: „Ein Teil der Produktivitätsgewinne stammt vom Anschein der Qualität in KI-produziertem Output. Er sieht gut aus, er sieht poliert aus, er sieht fertig aus.”⁷

Das Artefakt-Paradoxon ist kein Problem der Nutzerbildung. Bildung hilft, aber die Daten von Anthropic zeigen, dass selbst Nutzer, die iterieren (85,7 % der Gespräche), weniger bewerten, wenn Artefakte vorhanden sind. Der Rückgang bei Faktenprüfung und Identifizierung fehlenden Kontexts tritt über die gesamte Population auf, nicht nur bei unerfahrenen Nutzern. Der Mechanismus ist kognitiv, nicht informationell. Das Wissen über die Verzerrung eliminiert sie nicht.

Infrastruktur eliminiert sie.

Zuordnung der Erkenntnisse zur Infrastruktur

Jede Erkenntnis von Anthropic lässt sich einer spezifischen Infrastrukturkomponente zuordnen. Die folgende Tabelle zeigt die Kette von gemessenem Verhalten bis zum Durchsetzungsmechanismus.

Die Hooks setzen durch, was Anthropic gemessen hat. Das Modell muss sich nicht daran erinnern zu iterieren, weil die Infrastruktur es verlangt. Der Nutzer muss sich nicht daran erinnern, Zusammenarbeitsanweisungen einzufügen, weil Hooks sie bei jedem Prompt injizieren. Faktenprüfung hängt nicht von der Verarbeitungsflüssigkeit des Nutzers ab, weil ein unabhängiger Test-Runner Ergebnisse meldet — unabhängig davon, wie poliert der Code aussieht.

Warum ein einzelner Durchlauf scheitert

Die Qualitätsschleife, beschrieben in Jiro Quality Philosophy, umfasst sieben Schritte: Implementieren, Überprüfen, Bewerten, Verfeinern, Herauszoomen, Wiederholen, Berichten. Ein Agent mit einzelnem Durchlauf führt Schritt 1 und Schritt 7 aus und überspringt fünf Schritte dazwischen. Die Daten von Anthropic quantifizieren, was jeder übersprungene Schritt kostet.

Überprüfung überspringen bedeutet, dass der Agent seinen eigenen Output nicht erneut liest. Der Überprüfungsschritt fängt die Klasse von Fehlern ab, die der Agent bemerken würde, wenn er noch einmal hinschaut: Tippfehler, unklare Benennung, Off-by-one-Fehler. Ohne Überprüfung gelangen diese Fehler in den Abschlussbericht, als ob sie nicht existierten.

Bewertung überspringen bedeutet, dass das Evidenz-Gate nie ausgeführt wird. Die sechs Kriterien (folgt Codebase-Mustern, einfachste Lösung, Randfälle behandelt, Tests bestanden, keine Regressionen, löst das eigentliche Problem) erhalten nie Belege. Der Abschlussbericht enthält Behauptungen, keine Beweise. Die Erkenntnis von Anthropic, dass Iteration Fluency-Marker verdoppelt, zeigt sich hier direkt: Das Evidenz-Gate erzwingt Iteration, indem es Berichte blockiert, denen Belege fehlen.

Verfeinerung überspringen bedeutet, dass entdeckte Probleme aufgeschoben statt behoben werden. Ein TODO-Kommentar ersetzt eine Lösung. Deferred Debt akkumuliert. GitClear maß den Folgeeffekt: Refactoring-assoziierte Änderungen fielen von 25 % auf unter 10 % aller Änderungen in KI-unterstützten Codebases, während Code-Duplikation von 8,3 % auf 12,3 % stieg.⁸

Herauszoomen überspringen bedeutet, dass der Agent nie die Integration prüft. Die Funktion funktioniert. Die Aufrufer brechen. Tunnelblick bleibt unentdeckt. Der Rückgang von Anthropic um -5,2 Prozentpunkte bei „Identifizierung fehlenden Kontexts” bei vorhandenen Artefakten beschreibt denselben Fehler von der menschlichen Seite: Polierter Output macht Kontextlücken unsichtbar.

Wiederholung überspringen bedeutet, dass ein einzelner Durchlauf durch das Evidenz-Gate als ausreichend behandelt wird. Der erste Durchlauf findet Probleme. Das Beheben dieser Probleme kann neue einführen. Ohne einen zweiten Durchlauf ist die Qualität der Korrektur nicht verifiziert. Die Qualitätsschleife iteriert, bis alle sechs Kriterien im selben Durchlauf Belege zitieren. Ein einzelner Durchlauf erreicht diesen Standard nie.

Aus den Harness-Daten: Die durchschnittliche Qualitätsschleife findet 3,2 Probleme pro nicht-trivialer Änderung. Davon werden 1,1 während der Überprüfung (Schritt 2) entdeckt, 0,8 während der Bewertung (Schritt 3) und 1,3 während des Herauszoomen (Schritt 5). Ein Agent mit einzelnem Durchlauf würde alle 3,2 Probleme ausliefern. Die Sequenz Überprüfung-Bewertung-Herauszoomen eliminiert sie vor dem Abschlussbericht.

Das Problem der abschwächenden Sprache

Anthropic stellte fest, dass iterative Nutzer mit 5,6-facher Wahrscheinlichkeit die Argumentation des Modells hinterfragen.¹ Abschwächende Sprache ist das inverse Signal: Das Modell drückt Gewissheit aus, ohne hinterfragt zu werden.

Abschwächende Formulierungen umfassen „sollte funktionieren”, „ich bin zuversichtlich”, „sieht korrekt aus”, „wahrscheinlich in Ordnung” und „ich glaube”. Jede Formulierung ersetzt eine Vorhersage durch eine Beobachtung. „Tests sollten bestehen” bedeutet, dass der Agent das Ergebnis vorhersagt. „14 Tests bestanden, 0 fehlgeschlagen” bedeutet, dass der Agent das Ergebnis beobachtet hat. Der Unterschied ist die Differenz zwischen Phantom-Verifizierung und tatsächlicher Verifizierung.

Xiong et al. stellten fest, dass LLMs Konfidenz im Bereich von 80-100 % ausdrücken, unabhängig von der tatsächlichen Genauigkeit, wobei die Fehlervorhersage von GPT-4 kaum über dem Zufallsniveau liegt (AUROC 62,7 %).⁹ Kadavath et al. bei Anthropic stellten fest, dass Modelle bei vertrauten Aufgaben gut kalibriert sind, aber bei neuartigen Aufgaben Schwierigkeiten haben, wobei der Zusatz „meistens” systematische blinde Flecken verbirgt.¹⁰ Verbalisierte Konfidenz korreliert nicht mit Korrektheit. Wenn ein Modell sagt „Ich bin zuversichtlich”, liefert das null Information darüber, ob der Code funktioniert.

Der Hedge-Detektor fängt dieses Muster ab. Ein Grep-Hook feuert bei jedem Abschlussbericht und sucht nach konfigurierbaren Abschwächungsmustern. Das Vorhandensein abschwächender Sprache ohne angrenzende Testausgabe oder Dateipfad-Zitate löst eine Blockierung aus. Das Modell muss die Abschwächung durch Belege ersetzen. Der Hook setzt das hinterfragende Verhalten durch, das Anthropic in iterativen Gesprächen fand, mit dem Unterschied, dass er deterministisch bei jedem Gespräch arbeitet, nicht probabilistisch bei 85,7 %.

#!/bin/bash
# hedge-detector.sh — block hedging without evidence
INPUT=$(cat)
HEDGES=$(echo "$INPUT" | grep -ciE '\bshould (work|pass|be fine)\b|\bprobably\b|\blooks correct\b|\bI.m confident\b')
if [ "$HEDGES" -gt 0 ]; then
  echo '{"decision":"block","reason":"Hedging language detected. Replace with test output or file paths."}'
else
  echo '{"decision":"allow"}'
fi

Was Sie heute implementieren können

Die Daten von Anthropic weisen auf drei Mindestinterventionen hin, die die wertvollsten Fluency-Verhaltensweisen abdecken.

Ein Zusammenarbeits-Hook. Injizieren Sie bei jedem Prompt Anweisungen, die das Modell auffordern, Annahmen zu hinterfragen, fehlenden Kontext zu identifizieren und seine eigene Argumentation in Frage zu stellen. Anthropic stellte fest, dass nur 30 % der Nutzer dies manuell tun. Ein Hook tut es bei 100 % der Prompts. Fünf Zeilen Bash.

#!/bin/bash
# inject-collaboration.sh — force evaluative behavior
echo "INSTRUCTIONS: Push back if assumptions are wrong."
echo "Identify missing context before proceeding."
echo "Question your own reasoning at each step."

Ein Evidenz-Gate. Blockieren Sie Abschlussberichte, die abschwächende Sprache verwenden, statt Belege zu zitieren. Das Gate operationalisiert die Erkenntnis von Anthropic, dass Iteration Fluency-Marker verdoppelt, indem es Iteration verpflichtend macht. Das Modell kann nicht „fertig” melden, ohne Belege für jedes Qualitätskriterium vorzulegen.

Ein unabhängiger Verifizierer. Führen Sie die Testsuite nach jeder Code-Änderung aus und injizieren Sie die Ergebnisse in das Gespräch. Der Verifizierer adressiert das Artefakt-Paradoxon direkt: Unabhängig davon, wie poliert der Output aussieht, melden die Testergebnisse, was tatsächlich funktioniert. Faktenprüfung hängt nicht von der menschlichen Verarbeitungsflüssigkeit ab, weil der Hook sie automatisiert.

Die drei Hooks zusammen setzen die drei Verhaltensweisen durch, die Anthropic als am stärksten mit effektiver KI-Nutzung assoziiert identifizierte: Iteration, Hinterfragen der Argumentation und Identifizierung fehlenden Kontexts. Jeder Hook ist deterministisch. Jeder feuert bei jeder Interaktion. Keiner hängt davon ab, dass der Nutzer sich daran erinnert, ihn zu aktivieren.

Anthropic hat gemessen, was funktioniert. Die Hooks machen es verbindlich.

Quellen