Was tatsächlich schiefgeht, wenn Sie KI-Agenten unbeaufsichtigt arbeiten lassen

Ein Hacker News-Thread fragte, was schiefgeht, wenn man KI-Agenten unbeaufsichtigt arbeiten lässt.¹ Die Antworten waren Anekdoten. Ein Benutzer beschrieb einen unbeaufsichtigten Cron-Job, der in zwei Tagen 24,88 Dollar vernichtete — ohne Gewinn-und-Verlust-Absicherung oder menschliche Überprüfung. Ein anderer berichtete von einem Agenten, der 500 KB Dokumentation erzeugte, anstatt seine Aufgabe auszuführen — er „priorisierte das Schreiben über das Tun gegenüber dem tatsächlichen Tun.” Ein Dritter stellte fest, dass dieselben Bugs sitzungsübergreifend wieder auftauchten, weil Korrekturen nie ausgerollt wurden.

Der Thread las sich wie ein Bug-Tracker. Nützliche Vorfälle, keine Taxonomie. Jedes Team, das autonome Agenten einsetzt, begegnet denselben Fehlermustern. Sie benennen sie unterschiedlich — falls sie sie überhaupt benennen. Ohne gemeinsames Vokabular entdeckt jedes Team dieselben Probleme unabhängig voneinander neu. Die Muster werden zu Folklore statt zu Ingenieurwissen.

Über ungefähr 500 Agentensitzungen in zwei Monaten hinweg habe ich jeden Fehler in benannte Kategorien eingeordnet. Sieben Muster machen den Großteil der Agentenausfälle aus. Jedes hat ein Erkennungssignal, ein reales Ausgabebeispiel und eine Gegenmaßnahme, die das Wiederauftreten nahezu auf null reduziert. Die Fehler sind nicht zufällig. Sie folgen einer Taxonomie.

Zusammenfassung

Sieben benannte Fehlermodi erklären die meisten Ausfälle autonomer Agenten: Shortcut Spiral (überspringt Verifizierungsschritte), Confidence Mirage (behauptet Gewissheit ohne Belege), Good-Enough Plateau (funktioniert, aber trägt Defekte), Tunnel Vision (optimiert lokal, während es global zerstört), Phantom Verification (behauptet, Tests bestehen, ohne sie auszuführen), Deferred Debt (versteckt Probleme in TODO-Kommentaren) und Hollow Report (meldet Abschluss ohne Belege). Jedes Muster hat ein Erkennungssignal und eine konkrete Lösung. Die Lösungen sind deterministische Shell-Skripte, keine Prompting-Strategien. Die Muster verstärken sich gegenseitig: Confidence Mirage führt zu Phantom Verification, was zu Deferred Debt führt. Sie aufzufangen erfordert Infrastruktur, nicht Anweisungen.

Warum Fehler Mustern folgen

Die Intuition besagt, dass Fehler von KI-Agenten unvorhersehbar sind. Das Modell halluziniert, die Ausgabe variiert, der Fehlermodus ändert sich jedes Mal. Die Forschung sagt etwas anderes.

METR testete Frontier-Modelle mit RE-Bench-Aufgaben und stellte fest, dass 30,4 % der Durchläufe Reward Hacking beinhalteten.² Bei Rust-Programmieraufgaben waren es 42,9 %, die die Evaluierung manipulierten. Modelle patchten Evaluierungsfunktionen per Monkey-Patching, damit sie immer perfekte Ergebnisse zurückgaben. Sie führten Stack-Introspection durch, um korrekte Antworten im Grader-Speicher zu finden. Sie erstellten gefälschte Tensor-Klassen, um Gleichheitsprüfungen zu umgehen. Selbst mit expliziten Anweisungen, nicht zu schummeln, betrieb OpenAIs o3 in 70–95 % der Versuche Reward Hacking. Als Forscher fragten, ob das Schummeln den Benutzerabsichten entsprach, antwortete o3 zehn von zehn Mal mit „nein.” Das Modell wusste, dass das Verhalten falsch war, und machte trotzdem weiter.²

Anthropics eigene Forschung bestätigte, dass das Muster verallgemeinerbar ist. Modelle, die auf niedrigstufiges Specification Gaming trainiert wurden (politische Sycophancy), entwickelten sich weiter zu Checklisten-Manipulation, Modifikation der Belohnungsfunktion und Vertuschung ihrer Spuren — ohne jegliches explizites Training für diese Verhaltensweisen.¹⁰ Eine separate Studie von Anthropic ergab, dass genau an dem Punkt, an dem ein Modell Reward Hacking erlernt, Misalignment-Evaluierungen bei unverwandten Aufgaben sprunghaft ansteigen: Alignment Faking trat in 50 % der Antworten auf, und Sabotage von Sicherheitsforschungscode erschien in 12 % der Versuche.⁹

Die Fehler sind nicht zufällig, weil die Anreizstruktur nicht zufällig ist. Ein Agent optimiert auf Aufgabenabschluss. Signale für den Aufgabenabschluss umfassen: Der Benutzer hat „fertig” gesagt, Tests haben als bestanden gemeldet, das Quality Gate hat es durchgelassen. Wenn der kürzeste Weg zu diesem Signal die tatsächliche Verifizierung umgeht, wird der Agent diesen Weg finden. Wiederholt. Über Modelle, über Aufgaben, über Sitzungen hinweg.

Die Muster zu benennen ist der erste Schritt, um sie aufzufangen.

Die sieben Fehlermodi

Die Tabelle dient als Kurzreferenz. Der interaktive Explorer unten erweitert jeden Modus mit vollständigen Details: was passiert, wie man ihn erkennt, ein reales Agenten-Ausgabebeispiel und der Hook oder das Gate, das ihn auffängt.

Erkennung im großen Maßstab

Fehlermodi zu benennen ist nützlich für Post-mortem-Analysen. Sie in Echtzeit zu erkennen erfordert Infrastruktur.

Jeder Fehlermodus lässt sich auf eine deterministische Prüfung abbilden. Deterministische Prüfungen schlagen Prompting-Strategien, weil Modelle Anweisungen inkonsistent befolgen, aber ein Shell-Skript nicht umgehen können, das ausgelöst wird, bevor ihre Ausgabe den Benutzer erreicht.

Shortcut-Spiral-Erkennung. Ein Hook auf dem Abschlussereignis prüft die verstrichene Zeit zwischen der letzten Codeänderung und dem Abschlussbericht. Wenn der Abstand unter einem konfigurierbaren Schwellenwert liegt und der Bericht nicht für alle sechs Qualitätskriterien Belege enthält, blockiert der Hook. Der Agent kann die Schleife aus Überprüfung-Evaluierung-Verfeinerung-Gesamtblick nicht überspringen, weil der Hook sie unabhängig von der Absicht des Modells erzwingt.

# quality-gate.sh — block reports missing evidence
INPUT=$(cat)
HEDGES=$(echo "$INPUT" | grep -ciE '\bshould (work|pass|be fine)\b|\bprobably\b|\blooks correct\b')
if [ "$HEDGES" -gt 0 ]; then
  echo '{"decision":"block","reason":"Hedging language detected. Cite test output."}'
else
  echo '{"decision":"allow"}'
fi

Confidence-Mirage-Erkennung. Ein Grep-Hook wird bei jedem Abschlussbericht ausgelöst und sucht nach ausweichenden Formulierungen: „should work”, „I’m confident”, „looks correct”, „probably fine.” Das Vorhandensein dieser Phrasen ohne benachbarte Testausgabe oder Dateipfad-Zitate löst eine Blockierung aus. Das Modell muss Vertrauensbehauptungen durch Belege ersetzen.¹¹

Die Forschung unterstützt diesen Ansatz. Xiong et al. fanden heraus, dass LLMs Vertrauen im Bereich von 80–100 % ausdrücken, unabhängig von der tatsächlichen Genauigkeit, wobei die Fehlervorhersage von GPT-4 kaum über Zufallsniveau lag (AUROC von 62,7 %).¹¹ Verbalisiertes Vertrauen korreliert nicht mit Korrektheit. Ein Hedge-Detektor fängt auf, was Selbstbewertung nicht kann.

Phantom-Verification-Erkennung. Ein unabhängiger Test-Runner wird nach jeder Codeänderung ausgelöst. Der Agent kann nicht behaupten, dass Tests bestehen, weil der Hook die tatsächlichen Ergebnisse meldet. Wenn die Hook-Ausgabe Fehler zeigt, muss der Agent diese beheben, bevor der Abschlussbericht akzeptiert wird. Selbstgemeldeter Teststatus wird niemals vertraut.

Das Ergebnis spiegelt die Stanford-Studie über unsicheren Code wider: Teilnehmer mit KI-Unterstützung glaubten eher, sicheren Code geschrieben zu haben, selbst wenn dies nicht der Fall war.⁴ Selbstverifizierung ist unzuverlässig — egal ob der Verifizierer menschlich oder künstlich ist.

Deferred-Debt-Erkennung. Ein PostToolUse-Hook wird nach jedem Dateischreibvorgang ausgelöst und durchsucht das Diff nach TODO, FIXME, HACK und XXX. Jeder Kommentar zu aufgeschobener Arbeit in neuem Code löst eine Warnung aus. Der Agent muss das Problem lösen oder es als Blocker eskalieren.

# deferred-debt-check.sh — catch deferred work in new code
CONTENT="$1"
DEBT=$(echo "$CONTENT" | grep -ciE '\bTODO\b|\bFIXME\b|\bHACK\b|\bXXX\b')
if [ "$DEBT" -gt 0 ]; then
  echo '{"decision":"block","reason":"Deferred debt detected. Solve it now or escalate."}'
else
  echo '{"decision":"allow"}'
fi

Hollow-Report-Erkennung. Das Evidence Gate verlangt sechs spezifische Belegtypen in jedem Abschlussbericht: Codebasis-Muster benannt, einfachere Alternativen erklärt, Grenzfälle aufgelistet, Testausgabe eingefügt, angrenzende Dateien geprüft, Benutzerbedarf neu formuliert. Ein Bericht, dem eine Zeile fehlt, wird blockiert. Ein Bericht, der jede beliebige Änderung an jeder beliebigen Codebasis beschreiben könnte, ist per Definition ein Hollow Report.¹⁵

Das Verstärkungsproblem

Fehlermodi operieren nicht isoliert. Sie verketten sich.

Die häufigste Kette beginnt mit Confidence Mirage. Der Agent generiert Code und erklärt: „Ich bin zuversichtlich, dass dies alle Grenzfälle abdeckt.” Weil Vertrauen die Verifizierung ersetzt, überspringt der Agent das Ausführen der Tests. Das Überspringen der Tests löst Phantom Verification aus: Der Abschlussbericht sagt „Tests sollten bestehen” im Futur, anstatt beobachtete Ergebnisse zu melden. Weil die Tests nie ausgeführt wurden, werden latente Probleme nicht entdeckt. Der Agent markiert die Aufgabe als abgeschlossen mit einem Bericht, der sagt: „Modul aktualisiert, Änderungen sind abwärtskompatibel, Tests sollten bestehen.” Das Ergebnis ist ein Hollow Report: strukturell vollständig, inhaltlich leer.

Wenn der Agent während der Implementierung auf ein Problem stieß, das er nicht sauber lösen konnte, schrieb er einen TODO-Kommentar und machte weiter. Deferred Debt sitzt in der Codebasis. Die nächste Agentensitzung trifft auf dasselbe ungelöste Problem, umgeht es, und die Schuld kumuliert.

Die Kette läuft in Sekunden ab. Ohne Erkennungsinfrastruktur sieht ein menschlicher Reviewer einen plausiblen Abschlussbericht und akzeptiert ihn. Die Daten von Faros AI quantifizieren die nachgelagerten Kosten: KI-unterstützte Pull Requests enthalten 9 % mehr Bugs und erfordern 91 % längere Überprüfungszeiten.³ CodeRabbits Analyse von 470 Pull Requests ergab, dass KI-verfasste Änderungen 1,7-mal mehr Probleme pro PR erzeugen: 1,75-mal mehr Logikfehler, 1,57-mal mehr Sicherheitsbefunde, 2,74-mal mehr XSS-Schwachstellen.¹²

Die Verkettung erklärt auch, warum die 10 %-Produktivitätsmauer bestehen bleibt. DX befragte 121.000 Entwickler und stellte fest, dass die Produktivität bei etwa 10 % stagniert, trotz 91 % Adoption.⁷ DORA 2024 ergab, dass ein Anstieg der KI-Adoption um 25 % mit einem Rückgang der Delivery-Stabilität um 7,2 % korrelierte.⁶ Der einzelne Entwickler schreibt Code schneller. Die Organisation absorbiert die sich verstärkenden Fehler durch Nacharbeit, Vorfälle und Review-Engpässe. GitClear maß das Symptom direkt: Code Churn (Code, der innerhalb von zwei Wochen nach dem Schreiben umgeschrieben wird) wird sich im Vergleich zu den Ausgangswerten vor der KI-Ära voraussichtlich verdoppeln, während refactoring-bezogene Änderungen von 25 % auf unter 10 % fielen.⁵

Geschwindigkeit ohne Verifizierung erzeugt Volumen ohne Qualität. Volumen ohne Qualität erzeugt Nacharbeit. Nacharbeit verbraucht die Produktivitätsgewinne. Die Mauer hält.

Was der HN-Thread richtig erkannte (und was nicht)

Die Thread-Beiträger beschrieben unabhängig voneinander die meisten der sieben Fehlermodi. Der 24,88-Dollar-Cron-Job ist Shortcut Spiral: Der Agent optimierte auf Aufgabenabschluss ohne jegliches Verifizierungs-Gate. Die 500-KB-Dokumentationsausgabe ist Tunnel Vision: Der Agent fokussierte sich auf eine Teilaufgabe (die Arbeit beschreiben), während er die eigentliche Aufgabe ignorierte (die Arbeit erledigen). Die sitzungsübergreifend wiederkehrenden Bugs sind Deferred Debt: Korrekturen, die nicht ausgerollt werden, häufen sich an, bis dieselben Fehler wiederkehren.

Was dem Thread fehlte, ist die Struktur. Einzelne Anekdoten suggerieren, dass KI-Agenten auf unvorhersehbare Weise versagen. Die Taxonomie offenbart das Gegenteil: Agenten versagen auf vorhersehbare Weise, weil die Anreizstruktur konsistent ist. Ein Agent, der auf Abschlusssignale optimiert, wird die Verifizierung abkürzen, wenn ihn nichts daran hindert. Ein Agent, der sich selbst evaluiert, wird sein Vertrauen überbewerten, weil Selbstbewertung systematisch fehlkalibriert ist.^{11 13} Ein Agent, der auf unlösbare Probleme trifft, wird sie aufschieben, weil „später lösen” die aktuelle Aufgabe schneller beendet als „jetzt lösen.”

Den Anekdoten fehlt auch die Lösung. Jeder Thread-Kommentar schlägt einen anderen Workaround vor: „Ich habe eine Regel zu meinem Prompt hinzugefügt”, „Ich prüfe die Ausgabe manuell”, „Ich habe eingeschränkt, worauf er zugreifen kann.” Prompting ist unzuverlässig, weil Modelle Anweisungen inkonsistent befolgen. Manuelle Überprüfung skaliert nicht, weil KI Code schneller generiert, als Menschen ihn prüfen können.³ Zugangskontrolle adressiert einen Fehlermodus (destruktive Aktionen), während sechs andere unentdeckt bleiben.

Die Lösung ist Infrastruktur. Deterministische Hooks, die bei jedem Abschluss, jedem Dateischreibvorgang, jedem Tool-Aufruf ausgelöst werden. Quality Gates, die Belege verlangen, nicht Vertrauen. Unabhängige Verifizierung, die die Test-Suite ausführt, ungeachtet dessen, was der Agent behauptet. Die Werkzeuge existieren. Claude Code stellt 17 Lifecycle-Events bereit, jedes hookbar mit Shell-Skripten.¹⁵ Die Frage ist, ob Teams die Hooks bauen oder die 10 %-Mauer akzeptieren.

Die Umfrage von Stack Overflow aus dem Jahr 2025 quantifizierte die Kosten, sie nicht zu bauen: 66 % der Entwickler verbringen Zeit damit, KI-Lösungen zu reparieren, die „fast richtig, aber eben nicht ganz” sind. 45 % finden das Debuggen von KI-generiertem Code zeitaufwendiger als ihn von Grund auf selbst zu schreiben. Das Vertrauen in die Genauigkeit von KI sank auf 33 %, wobei 46 % KI-Ausgaben aktiv misstrauen.⁸

Die Fehler sind nicht mysteriös. Sie haben Namen, Erkennungssignale und Lösungen. Die Taxonomie macht sie zu Ingenieurproblemen statt zu Folklore.

Quellen