Anthropic hat gemessen, was funktioniert. Meine Hooks setzen es durch.

Anthropic analysierte 9.830 Konversationen auf Claude.ai während einer einzigen Woche im Januar 2026.¹ Die Analyse verwendete CLIO, ein datenschutzkonformes Tool, das Konversationsmuster klassifiziert, ohne einzelne Nachrichten zu lesen. Die Forscher verfolgten 11 beobachtbare Verhaltensweisen aus einem 24-Verhaltens-AI-Fluency-Framework, das von den Professoren Rick Dakan und Joseph Feller entwickelt wurde.²

Das zentrale Ergebnis: 85,7 % der Konversationen beinhalten Iteration und Verfeinerung. Iterative Konversationen weisen durchschnittlich 2,67 Fluency-Verhaltensweisen auf, ungefähr das Doppelte der 1,33 in nicht-iterativen Konversationen. Nutzer in iterativen Konversationen hinterfragen 5,6-mal häufiger die Argumentation des Modells und identifizieren 4-mal häufiger fehlenden Kontext.¹

Iteration ist die Variable, die effektive KI-Nutzung von mittelmäßiger KI-Nutzung trennt. Anthropic hat sie gemessen. Die Umfrage von DX unter 135.000 Entwicklern ergab, dass KI trotz 91 % Akzeptanz den Entwicklern nur etwa vier Stunden pro Woche einsparte – eine Zahl, die in den letzten Quartalen stagnierte, obwohl die Akzeptanz stieg, was darauf hindeutet, dass Akzeptanz ohne Iterations-Infrastruktur an eine Grenze stößt.¹² Die Frage ist, ob Iteration konsistent stattfindet oder nur dann, wenn Menschen daran denken.

TL;DR

Anthropics AI Fluency Index ergab, dass iterative Verfeinerung Fluency-Marker über 9.830 Konversationen hinweg verdoppelt. Das Artefakt-Paradoxon erklärt, warum Iteration standardmäßig scheitert: Polierte Ausgaben unterdrücken die Evaluation (Faktenprüfung sinkt um 3,7 Prozentpunkte, Identifikation fehlenden Kontexts sinkt um 5,2 Prozentpunkte, Hinterfragen der Argumentation sinkt um 3,1 Prozentpunkte). Der Mechanismus ist Processing Fluency: System 1 markiert sauberen Code als korrekt, bevor System 2 bewertet, ob er tatsächlich funktioniert. Ein Quality Loop erzwingt die Iteration, die ein Single-Pass überspringt: obligatorische Überprüfung, Evidence Gate, Integrationsprüfung und Wiederholung, bis alle Kriterien Belege anführen. Die Hooks setzen durch, was Anthropic gemessen hat.

Was Anthropic gemessen hat

Der AI Fluency Index verfolgt beobachtbare Verhaltensweisen, keine subjektiven Qualitätsbewertungen. Das Framework definiert AI Fluency als „die Fähigkeit, effektiv, effizient, ethisch und sicher innerhalb aufkommender Modalitäten der Mensch-KI-Interaktion zu arbeiten”.² Die 24 Verhaltensweisen umfassen vier Dimensionen: Delegation, Description, Discernment und Diligence. Elf sind direkt in Konversationen beobachtbar. Die verbleibenden dreizehn finden außerhalb der Chat-Oberfläche statt (Bewertung der Ausgabe in Produktion, Teilen von Ergebnissen mit Kollegen, Verifizierung anhand externer Quellen).

Die 11 beobachtbaren Verhaltensweisen umfassen Iteration und Verfeinerung, Hinterfragen der Argumentation, Identifizieren fehlenden Kontexts, Klären von Zielen, Spezifizieren von Formaten, Bereitstellen von Beispielen und Faktenprüfung. Die Forscher klassifizierten jede Konversation anhand dieser Taxonomie unter Verwendung von Claude Sonnet als Analysemodell.

Drei Ergebnisse sind für Engineering-Infrastruktur relevant.

Ergebnis 1: Iteration ist das stärkste Signal. 85,7 % der Konversationen beinhalten mindestens etwas Iteration. Konversationen mit Iteration zeigen ungefähr doppelt so viele Fluency-Verhaltensweisen (2,67 vs. 1,33). Nutzer, die iterieren, hinterfragen 5,6-mal häufiger die Argumentation und identifizieren 4-mal häufiger Lücken.¹ Iteration ist kein Nice-to-have. Sie ist das Verhalten, das am stärksten mit effektiver KI-Nutzung assoziiert ist.

Ergebnis 2: Polierte Ausgaben unterdrücken die Evaluation. 12,3 % der Konversationen beinhalteten die Erstellung von Artefakten (Code, Dokumente, interaktive Tools). Wenn das Modell Artefakte produziert, werden Nutzer direktiver: Klärung von Zielen stieg um 14,7 Prozentpunkte, Formatspezifikation stieg um 14,5 Punkte, Bereitstellung von Beispielen stieg um 13,4 Punkte. Aber die Evaluation sank: Identifikation fehlenden Kontexts fiel um 5,2 Punkte, Faktenprüfung fiel um 3,7 Punkte, Hinterfragen der Argumentation fiel um 3,1 Punkte.¹ Nutzer gaben bessere Anweisungen, bewerteten aber weniger.

Ergebnis 3: Wenige Nutzer richten Zusammenarbeit ein. Nur 30 % der Konversationen enthielten explizite Zusammenarbeitsanweisungen wie „widersprich mir, wenn meine Annahmen falsch sind” oder „sag mir, was mir fehlt”.¹ Der Standardmodus ist Delegation, nicht Dialog. Die meisten Nutzer behandeln das Modell als Ausführenden und nicht als Kollaborateur.

Das Artefakt-Paradoxon

Anthropic benannte das Muster, aber nicht den Mechanismus. Die Kognitionswissenschaft hat einen präzisen Begriff dafür: Processing Fluency.

Processing Fluency ist das subjektive Erleben von Leichtigkeit oder Schwierigkeit bei einer mentalen Aufgabe. Alter und Oppenheimer dokumentierten, dass Stimuli, die semantisch geprimt, visuell klar oder leicht zu verarbeiten sind, als wahrer, zuverlässiger und vertrauenswürdiger bewertet werden – unabhängig von der tatsächlichen Genauigkeit.³ Oppenheimer zeigte, dass die Fluency-Heuristik automatisch operiert: Menschen nutzen Verarbeitungsleichtigkeit als Stellvertreter für Qualität, ohne sich dessen bewusst zu sein.⁴

Kahnemans System-1/System-2-Framework erklärt, warum. System 1 verarbeitet Informationen automatisch und assoziiert kognitive Leichtigkeit mit Wahrheit. System 2 aktiviert bewusste Analyse, erfordert aber Anstrengung und Motivation. Polierte KI-Ausgaben haben eine hohe Processing Fluency. Der Code kompiliert. Die Formatierung ist sauber. Die Erklärung ist kohärent. System 1 markiert es als „gut”, bevor System 2 die Chance hat zu bewerten, ob es korrekt ist.⁵

Kahneman identifizierte den spezifischen Fehlermodus: „Es ist ein Fehler, wenn Menschen Vertrauen in ein Urteil haben, weil es eine gute Geschichte ergab, obwohl das Vertrauen tatsächlich auf der Qualität und Menge der Belege basieren sollte.”⁵ Ersetzen Sie „gute Geschichte” durch „sauberen Code”, und das Artefakt-Paradoxon ist WYSIATI (What You See Is All There Is), angewandt auf KI-generierte Ausgaben.

West et al. formalisierten den komplementären Befund von der Seite des Modells. In einem Paper auf der ICLR 2024 und einem begleitenden Preprint zeigten sie, dass generative Modelle Produktionsfähigkeiten erwerben, die ihre Evaluationsfähigkeiten übersteigen.⁶ Das Modell generiert Code auf Expertenniveau in Sekunden, während es Fehler macht, die kein menschlicher Experte machen würde. Das Modell kann seine eigene Ausgabe nicht zuverlässig bewerten, weil Generierung und Evaluation separate Fähigkeiten sind, die unterschiedlich skalieren.

Das Paradoxon verstärkt sich: Das Modell produziert polierte Ausgaben, die es nicht richtig bewerten kann, und der Mensch reduziert angesichts dieser Politur seine eigene Evaluation. Keine Seite verifiziert. Beide nehmen Korrektheit an. Die Analyse von CodeRabbit über 470 Pull Requests ergab, dass von KI verfasster Code 1,7-mal mehr Probleme und 1,75-mal mehr Logikfehler aufwies, obwohl er im Review poliert aussah.¹¹ Jeff Gothelf erfasste die organisatorische Version: „Ein Teil der Produktivitätsgewinne kommt vom Anschein der Qualität in KI-produzierter Ausgabe. Es sieht gut aus, es sieht poliert aus, es sieht fertig aus.”⁷

Das Artefakt-Paradoxon ist kein Problem der Nutzerbildung. Bildung hilft, aber Anthropics Daten zeigen, dass selbst Nutzer, die iterieren (85,7 % der Konversationen), weniger evaluieren, wenn Artefakte vorhanden sind. Der Rückgang bei Faktenprüfung und Identifikation fehlenden Kontexts tritt in der gesamten Population auf, nicht nur bei unerfahrenen Nutzern. Der Mechanismus ist kognitiv, nicht informationell. Das Wissen um den Bias beseitigt ihn nicht.

Infrastruktur beseitigt ihn.

Abbildung der Ergebnisse auf Infrastruktur

Jedes Ergebnis von Anthropic lässt sich einer spezifischen Infrastrukturkomponente zuordnen. Die folgende Tabelle zeigt die Kette vom gemessenen Verhalten bis zum Durchsetzungsmechanismus.

Die Hooks setzen durch, was Anthropic gemessen hat. Das Modell muss sich nicht an Iteration erinnern, weil die Infrastruktur sie verlangt. Der Nutzer muss keine Zusammenarbeitsanweisungen einfügen, weil Hooks sie bei jedem Prompt injizieren. Faktenprüfung hängt nicht von der Processing Fluency des Nutzers ab, weil ein unabhängiger Test-Runner die Ergebnisse berichtet, unabhängig davon, wie poliert der Code aussieht.

Warum Single-Pass scheitert

Der Quality Loop, beschrieben in Jiro Quality Philosophy, umfasst sieben Schritte: Implementieren, Überprüfen, Evaluieren, Verfeinern, Herauszoomen, Wiederholen, Berichten. Ein Single-Pass-Agent führt Schritt 1 und Schritt 7 aus und überspringt fünf Schritte dazwischen. Anthropics Daten quantifizieren, was jeder übersprungene Schritt kostet.

Überprüfung überspringen bedeutet, dass der Agent seine eigene Ausgabe nicht erneut liest. Der Überprüfungsschritt fängt die Klasse von Fehlern ab, die der Agent bemerken würde, wenn er noch einmal hinschaute: Tippfehler, unklare Benennung, Off-by-One-Fehler. Ohne Überprüfung gelangen diese Fehler in den Abschlussbericht, als würden sie nicht existieren.

Evaluation überspringen bedeutet, dass das Evidence Gate nie ausgeführt wird. Die sechs Kriterien (folgt Codebase-Mustern, einfachste Lösung, Randfälle behandelt, Tests bestanden, keine Regressionen, löst das tatsächliche Problem) erhalten nie Belege. Der Abschlussbericht enthält Behauptungen, keine Beweise. Anthropics Ergebnis, dass Iteration Fluency-Marker verdoppelt, bildet sich hier direkt ab: Das Evidence Gate erzwingt Iteration, indem es Berichte blockiert, denen Belege fehlen.

Verfeinerung überspringen bedeutet, dass entdeckte Probleme aufgeschoben, nicht behoben werden. Ein TODO-Kommentar ersetzt eine Lösung. Deferred Debt häuft sich an. GitClear maß den nachgelagerten Effekt: Refactoring-bezogene Änderungen fielen von 25 % auf unter 10 % aller Änderungen in KI-unterstützten Codebasen, während Code-Duplikation von 8,3 % auf 12,3 % stieg.⁸

Herauszoomen überspringen bedeutet, dass der Agent nie die Integration prüft. Die Funktion funktioniert. Die Aufrufer brechen. Tunnel Vision bleibt unentdeckt. Anthropics Rückgang von -5,2 Prozentpunkten bei „Identifizieren fehlenden Kontexts” bei vorhandenen Artefakten beschreibt dasselbe Versagen aus der menschlichen Perspektive: Polierte Ausgaben machen Kontextlücken unsichtbar.

Wiederholung überspringen bedeutet, dass ein einziger Durchlauf durch das Evidence Gate als ausreichend betrachtet wird. Der erste Durchlauf findet Probleme. Das Beheben dieser Probleme kann neue einführen. Ohne einen zweiten Durchlauf ist die Qualität der Korrektur nicht verifiziert. Der Quality Loop iteriert, bis alle sechs Kriterien im selben Durchlauf Belege anführen. Single-Pass erreicht diesen Standard nie.

Aus den Quality-Loop-Daten über 500+ Sitzungen (jeweils protokolliert mit Hook-Telemetrie und strukturierten Metadaten):¹³ Der durchschnittliche Quality Loop findet 3,2 Probleme pro nicht-trivialer Änderung. Davon werden 1,1 während der Überprüfung (Schritt 2), 0,8 während der Evaluation (Schritt 3) und 1,3 beim Herauszoomen (Schritt 5) gefunden. Ein Single-Pass-Agent würde alle 3,2 Probleme ausliefern. Die Sequenz aus Überprüfung-Evaluation-Herauszoomen eliminiert sie vor dem Abschlussbericht.

Das Problem der ausweichenden Sprache

Anthropic stellte fest, dass iterative Nutzer 5,6-mal häufiger die Argumentation des Modells hinterfragen.¹ Ausweichende Sprache ist das inverse Signal: Das Modell drückt Gewissheit aus, ohne hinterfragt zu werden.

Ausweichende Formulierungen umfassen „sollte funktionieren”, „ich bin zuversichtlich”, „sieht korrekt aus”, „wahrscheinlich in Ordnung” und „ich glaube”. Jede Formulierung ersetzt eine Vorhersage durch eine Beobachtung. „Tests sollten bestehen” bedeutet, dass der Agent das Ergebnis vorhersagt. „14 Tests bestanden, 0 fehlgeschlagen” bedeutet, dass der Agent das Ergebnis beobachtet hat. Der Unterschied ist der zwischen Phantom Verification und tatsächlicher Verifikation.

Xiong et al. fanden heraus, dass LLMs Konfidenz im Bereich von 80-100 % ausdrücken, unabhängig von der tatsächlichen Genauigkeit, wobei die AUROC für Fehlervorhersage über Modelle hinweg im Bereich von 0,5-0,6 liegt, kaum über dem Zufallsniveau.⁹ Kadavath et al. bei Anthropic fanden, dass Modelle bei vertrauten Aufgaben gut kalibriert sind, aber bei neuen Aufgaben Schwierigkeiten haben, wobei das Wort „meistens” systematische blinde Flecken verbirgt.¹⁰ Verbalisierte Konfidenz korreliert nicht mit Korrektheit. Ein Modell, das sagt „Ich bin zuversichtlich”, liefert null Informationen darüber, ob der Code funktioniert.

Der Hedge-Detektor fängt dieses Muster ab. Ein Grep-Hook feuert bei jedem Abschlussbericht und sucht nach konfigurierbaren Hedging-Mustern. Das Vorhandensein ausweichender Sprache ohne angrenzende Testausgabe oder Dateipfad-Verweise löst eine Blockierung aus. Das Modell muss die ausweichende Formulierung durch Belege ersetzen. Der Hook setzt das hinterfragende Verhalten durch, das Anthropic in iterativen Konversationen fand, nur operiert er deterministisch bei jeder Konversation, nicht probabilistisch bei 85,7 %.

#!/bin/bash
# hedge-detector.sh — block hedging without evidence
INPUT=$(cat)
HEDGES=$(echo "$INPUT" | grep -ciE '\bshould (work|pass|be fine)\b|\bprobably\b|\blooks correct\b|\bI.m confident\b')
if [ "$HEDGES" -gt 0 ]; then
  echo '{"decision":"block","reason":"Hedging language detected. Replace with test output or file paths."}'
else
  echo '{"decision":"allow"}'
fi

Was Sie heute implementieren können

Anthropics Daten weisen auf drei minimale Interventionen hin, die die wertvollsten Fluency-Verhaltensweisen erfassen.

Ein Collaboration-Hook. Injizieren Sie bei jedem Prompt Anweisungen, die dem Modell sagen, Annahmen zu hinterfragen, fehlenden Kontext zu identifizieren und die eigene Argumentation in Frage zu stellen. Anthropic stellte fest, dass nur 30 % der Nutzer dies manuell tun. Ein Hook tut es bei 100 % der Prompts. Fünf Zeilen Bash.

#!/bin/bash
# inject-collaboration.sh — force evaluative behavior
echo "INSTRUCTIONS: Push back if assumptions are wrong."
echo "Identify missing context before proceeding."
echo "Question your own reasoning at each step."

Ein Evidence Gate. Blockieren Sie Abschlussberichte, die ausweichende Sprache verwenden, anstatt Belege anzuführen. Das Gate operationalisiert Anthropics Ergebnis, dass Iteration Fluency-Marker verdoppelt, indem es Iteration obligatorisch macht. Das Modell kann nicht „fertig” berichten, ohne Belege für jedes Qualitätskriterium vorzulegen.

Ein unabhängiger Verifier. Führen Sie die Testsuite nach jeder Codeänderung aus und injizieren Sie die Ergebnisse in die Konversation. Der Verifier adressiert das Artefakt-Paradoxon direkt: Unabhängig davon, wie poliert die Ausgabe aussieht, berichten die Testergebnisse, was tatsächlich funktioniert. Faktenprüfung hängt nicht von der Processing Fluency des Menschen ab, weil der Hook sie automatisiert.

Die drei Hooks zusammen setzen die drei Verhaltensweisen durch, die Anthropic am stärksten mit effektiver KI-Nutzung assoziiert fand: Iteration, Hinterfragen der Argumentation und Identifizieren fehlenden Kontexts. Jeder Hook ist deterministisch. Jeder feuert bei jeder Interaktion. Keiner hängt davon ab, dass der Nutzer daran denkt, ihn zu aktivieren.

Anthropic hat gemessen, was funktioniert. Die Hooks machen es verpflichtend.

Wichtigste Erkenntnisse

Für einzelne Entwickler. Fügen Sie einen Collaboration-Hook hinzu, der bei jedem Prompt „widersprich, wenn Annahmen falsch sind” und „identifiziere fehlenden Kontext” injiziert. Anthropic stellte fest, dass nur 30 % der Nutzer manuell Zusammenarbeitsanweisungen einrichten.¹ Der Hook macht evaluatives Verhalten bei 100 % der Interaktionen automatisch.

Für Teamleiter. Iteration ist das Signal, nicht Akzeptanz. Anthropic maß 2x Fluency-Marker in iterativen Konversationen gegenüber nicht-iterativen.¹ Bauen Sie Infrastruktur, die Iteration erzwingt (Evidence Gates, obligatorische Überprüfungsschritte), anstatt First-Pass-Ausgaben zu belohnen. Die Daten von DX bestätigen: Trotz 91 % Akzeptanz stagnierten die Produktivitätsgewinne in den letzten Quartalen.¹²

Für Plattform-Ingenieure. Adressieren Sie das Artefakt-Paradoxon mit einem unabhängigen Test-Runner. Polierte KI-Ausgaben lösen automatisches Vertrauen durch Processing Fluency aus, wodurch die Faktenprüfung um 3,7 Prozentpunkte sinkt, wenn Artefakte vorhanden sind.¹ Ein unabhängiger Verifier, der die Testsuite nach jeder Codeänderung ausführt, umgeht die Processing Fluency vollständig, indem er berichtet, was tatsächlich funktioniert, unabhängig davon, wie der Code aussieht.

Quellen