Kontext-Kompaktierung wird zum Trainingsziel
Jede lange Agent-Session endet auf dieselbe Weise. Der Kontext füllt sich, eine Zusammenfassung wird ausgelöst, und der Lauf setzt sich mit einem komprimierten Gedächtnis dessen fort, was zuvor geschah. In Claude Code ist der Auslöser /compact oder der automatische Durchlauf, der startet, sobald Sie sich der Fenstergrenze nähern. Operatoren behandeln diesen Moment als zu bewältigende Reibung: schützen Sie den Zustand, der zählt, hoffen Sie, dass die Zusammenfassung ihn bewahrt, machen Sie weiter. Eine Reihe aktueller Forschungsarbeiten legt nahe, dass dieser Instinkt bald überholt sein wird. Die Kompaktierung wandelt sich von einem Inferenz-Patch, um den herum Sie konstruieren, zu einem Trainingsziel, das das Modell direkt optimiert. Wenn ein Modell dafür belohnt wird, Trajektorien zu erzeugen, die ihre eigene Komprimierung überstehen, ist die Kontextverwaltung nicht länger Ihre Aufsichtsaufgabe, sondern wird zu einer Eigenschaft, auf die Sie hin selektieren.
{.answer-block}
TL;DR
- Heute lebt die Kontext-Kompaktierung zur Inferenzzeit. Anthropic selbst rahmt sie als Technik des Context-Engineering: eine Konversation, die sich der Fenstergrenze nähert, zusammenfassen und mit der Zusammenfassung neu initialisieren.2 Das Laufzeit-Toolkit darum herum —
/compact, Auto-Compaction, Context Editing, das Memory-Tool — umhüllt allesamt ein Modell, das nicht weiß, dass es kompaktiert wird.34 - CompactionRL trainiert das Modell darauf, Kompaktierung zu erwarten. Es optimiert Aufgabenausführung und Zusammenfassungserzeugung gemeinsam mittels Reinforcement Learning, sodass der Agent aus kompaktierten Trajektorien lernt, statt von ihnen unterbrochen zu werden.1
- Die Zahlen sind real. Auf GLM-4.5-Air erreicht es 66,8 % Pass@1 auf SWE-bench Verified, ein Zuwachs von 7,0 Punkten, und 24,5 % auf Terminal-Bench 2.0.1 Die Benchmarks sind umstritten und aktuell, keine Spielzeuge.89
- Es ist nicht nur eine Arbeit. Memory-R1 trainiert ADD/UPDATE/DELETE-Speicheroperationen mit RL; MemAct behandelt die Kontextkuratierung als Aktionen, die die Policy ausführt, und optimiert sie durchgängig.67 Drei unabhängige Gruppen griffen zu demselben Schachzug.
- Die Erkenntnis für Operatoren gilt in beiden Fällen. Behandeln Sie die Kompaktierungsnaht als Gestaltungsfläche, nicht als Zufall: entscheiden Sie, was im dauerhaften Speicher gegenüber dem flüchtigen Kontext liegt, sichern Sie die Grenze mit einem
PreCompact-Hook ab, und beginnen Sie, die antrainierte Kompaktierungskompetenz eines Modells als Spezifikationszeile zu lesen, nicht als Fußnote.5
Der Patch, den ohnehin schon alle verwalten
Kontext ist eine endliche Ressource, und jeder Operator, der lange Sessions betreibt, hat gelernt, sie zu rationieren. Anthropics eigene Engineering-Texte benennen den Fehlermodus präzise: Mit steigender Token-Zahl verschlechtert sich der Abruf — ein Verfall, den sie Context Rot nennen.2 Derselbe Beitrag definiert die Gegenmaßnahme in klaren Worten. Kompaktierung ist die Praxis, eine Konversation, die sich der Kontextfenstergrenze nähert, in ihren Inhalten zusammenzufassen und ein neues Kontextfenster mit der Zusammenfassung neu zu initialisieren.2
Lesen Sie diese Definition noch einmal und achten Sie darauf, wo die Arbeit geschieht. Sie geschieht rund um das Modell, zur Inferenzzeit, durch Maschinerie, an der das Modell nicht beteiligt ist. Claude Code macht diese Maschinerie greifbar. Der Befehl /compact gibt Kontext frei, indem er die bisherige Konversation zusammenfasst, und Sie können Fokus-Anweisungen übergeben, um zu steuern, was die Zusammenfassung bewahrt.4 Auto-Compaction führt denselben Durchlauf automatisch aus, sobald sich der Kontext der Grenze nähert; sie ist über die Einstellung autoCompactEnabled standardmäßig aktiviert, und Sie legen das effektive Fenster, gegen das sie auslöst, mit CLAUDE_CODE_AUTO_COMPACT_WINDOW fest oder schalten sie mit DISABLE_AUTO_COMPACT ab.4 Auf Plattformseite entfernt Context Editing automatisch veraltete Tool-Aufrufe und -Ergebnisse, während Sie sich den Token-Grenzen nähern, und ein dateibasiertes Memory-Tool lässt das Modell Informationen vollständig außerhalb des Fensters speichern.3
Das sind gute Werkzeuge. Anthropic berichtet, dass Context Editing allein eine Evaluation von Long-Horizon-Agenten um 29 % verbesserte und dass die Kombination mit dem Memory-Tool den Token-Verbrauch über einen Lauf mit hundert Runden um 84 % senkte.3 Der Punkt ist nicht, dass der Laufzeit-Ansatz schwach ist. Der Punkt ist, was er voraussetzt. Jede dieser Techniken verwaltet Kontext als externe Eigenschaft einer Session, angewandt auf ein Modell, das auf unkompaktierten Trajektorien trainiert wurde und der Kompaktierung erst beim Deployment begegnet. Das Modell erzeugt eine lange Trajektorie so, wie es das immer getan hat. Etwas anderes entscheidet, wann zusammengefasst wird, was behalten wird und wie fortgefahren wird. Das Modell erwacht dann in einem komprimierten Kontext, den es nicht selbst verfasst hat und auf den es nie trainiert wurde.
Genau diese Lücke — zwischen der Art, wie das Modell trainiert wurde, und der Art, wie es betrieben wird — ist die Naht, die die neue Forschung schließt.
Was CompactionRL tatsächlich verändert
CompactionRL vom GLM-Team bei Zhipu geht von derselben Problemstellung aus und kehrt die Lösung um. Statt Kompaktierung nachträglich an die Inferenz anzuflanschen, macht es die Kompaktierung zu einem Teil dessen, worauf das Modell trainiert wird. Die Methode optimiert Aufgabenausführung und Zusammenfassungserzeugung gemeinsam und nutzt dabei Loss-Normalisierung auf Token-Ebene sowie trajektorienübergreifende Generalized Advantage Estimation, damit der Agent aus kompaktierten Long-Horizon-Trajektorien lernen kann, statt von ihnen entgleist zu werden.1
Nimmt man die Maschinerie weg, lässt sich die Verschiebung leicht formulieren. Im Laufzeit-Ansatz sitzt ein Summarizer außerhalb der Policy, und das Modell erträgt, was auch immer dieser produziert. Bei CompactionRL wird die Zusammenfassung von derselben Policy erzeugt, die auch die Aufgabe erledigt, und beide werden gemeinsam belohnt. Das Modell wird darauf trainiert, Zusammenfassungen zu schreiben, auf deren Grundlage es handeln kann, und auf Zusammenfassungen, die es selbst geschrieben hat, gut zu handeln. Kompaktierung ist keine Unterbrechung mehr, sondern wird zu einem Zug, den der Agent geübt hat.
Die Ergebnisse schlagen sich auf aktuellen Benchmarks nieder. Aufgebaut auf dem offenen Modell GLM-4.5-Air erreicht CompactionRL 66,8 % Pass@1 auf SWE-bench Verified, ein absoluter Zuwachs von 7,0 Punkten, und 24,5 % auf Terminal-Bench 2.0.1 Auf dem kleineren GLM-4.7-Flash legt es auf den beiden Benchmarks 5,5 und 6,8 Punkte zu.1 Beide Benchmarks sind real und schwer: SWE-bench Verified ist eine menschlich validierte Teilmenge von 500 Issues zum Lösen echter GitHub-Issues, und Terminal-Bench 2.0 umfasst 89 menschlich verifizierte Kommandozeilen-Aufgaben, bei denen führende Agenten noch immer unter zwei Dritteln liegen.89 Bei SWE-bench Verified ist ein Vorbehalt angebracht, denn OpenAI hat sich Anfang 2026 wegen Testmängeln und Kontamination öffentlich davon distanziert; behandeln Sie es also als den meistzitierten Benchmark für agentisches Coding und nicht als einen unantastbaren.8 Die Zuwächse überstehen diesen Vorbehalt, weil es sich um Deltas innerhalb desselben Modells handelt: dasselbe Basismodell, auf Kompaktierung trainiert, schlägt sich selbst.
Die aufschlussreichste Zeile der Arbeit ist kein Benchmark. CompactionRL wird in der Reinforcement-Learning-Pipeline zum Training des nächsten offenen GLM-Modells eingesetzt.1 Kompaktierung hat sich von etwas, das man einem Modell antut, zu etwas gewandelt, mit dem ein Modell gebaut wird.
Kein Einzelfall
Eine Arbeit ist ein Ergebnis. Drei unabhängige Gruppen, die zu demselben Schachzug greifen, sind eine Richtung. Neben CompactionRL behandeln zwei weitere Arbeiten aus dem Jahr 2025 die Kontextverwaltung als etwas, das man trainiert, statt als etwas, das man umhüllt.
Memory-R1 stattet einen Agenten mit einem Memory Manager aus, der strukturierte Operationen — ADD, UPDATE, DELETE und NOOP — durch Reinforcement Learning erlernt, sodass die Entscheidung, was zu merken und was zu verwerfen ist, zu einer erlernten Policy statt einer festen Heuristik wird.6 Es erreicht seine Ergebnisse mit nur 152 Trainingsbeispielen, was nahelegt, dass die Fähigkeit eher latent als teuer ist.6 MemAct treibt genau den Rahmen weiter, um den es in diesem Essay geht. Es formuliert die Kontextverwaltung als In-Place-Bearbeitungsoperationen — Löschung und Einfügung — und optimiert Informationserhalt und Aufgabenleistung gemeinsam mittels durchgängigem Reinforcement Learning.7 Memory as Action, in ihren Worten: Die Kuratierung des Arbeitskontexts ist kein Vorverarbeitungsschritt, sondern Teil der Policy.
Zusammen gelesen beschreiben die drei Arbeiten eine einzige Migration. Das Laufzeit-Toolkit — Context Editing, externer Speicher, geplante Zusammenfassung — ist die derzeitige Antwort auf ein endliches Fenster. Der Ansatz zur Trainingszeit macht dieselben Verhaltensweisen dem Modell intrinsisch, erlernt gegen die Belohnung, auf die es wirklich ankommt, nämlich das Erledigen der Aufgabe. Wenn dieselbe Idee innerhalb eines einzigen Jahres in Speicheroperationen, im Context Editing und in der Trajektorien-Kompaktierung auftaucht, zählen die einzelnen Arbeiten weniger als der Vektor, den sie teilen.
Was das für Ihre heutige Arbeitsweise bedeutet
Nichts davon landet morgen in Ihrem Harness, und die ehrliche Operator-Frage lautet, was zu tun ist, während es eintrifft. Die Antwort ist nicht, zu warten. Die Migration bewertet die Arbeit neu, die Sie ohnehin schon rund um den Kontext leisten, und ein paar Schritte positionieren Sie für die Version, die im Kommen ist.
Behandeln Sie die Kompaktierungsgrenze als Gestaltungsfläche. Derzeit entdecken die meisten Operatoren ihr Kompaktierungsverhalten durch Zufall und bemerken erst im Nachhinein, dass eine Zusammenfassung eine Entscheidung aus Runde drei fallen gelassen hat. Machen Sie es bewusst. Entscheiden Sie im Voraus, was in den dauerhaften Speicher gehört, der jeden Reset übersteht — Ihre Regeln, Ihre Projektkonventionen, der Aufgabenvertrag —, und was flüchtiger Kontext ist, den eine Zusammenfassung komprimieren darf. In Claude Code ist die dauerhafte Schicht Ihre CLAUDE.md samt Regel-Dateien, die nach der Kompaktierung über das Ereignis InstructionsLoaded neu geladen werden, sowie ein dateibasierter Memory-Speicher für Zustand, der das Fenster überdauern muss.35 Alles Übrige ist Freiwild für den Summarizer.
Sichern Sie die Naht mit einem Hook ab, nicht mit Hoffnung. Claude Code stellt einen PreCompact-Hook bereit, der vor der Kompaktierung feuert und sie steuern oder blockieren kann, sowie einen PostCompact-Hook zum Aufräumen danach.5 Wenn eine Zustandsklasse niemals wegzusammengefasst werden darf, ist ein PreCompact-Hook der Ort, an dem Sie das deterministisch erzwingen, statt darauf zu vertrauen, dass eine Fokus-Anweisung befolgt wird. Die Disziplin ist dieselbe, die Hooks zum richtigen Werkzeug für alles macht, was stets ausgeführt werden muss: Sie verlagern eine Garantie aus dem Prompt in den Code.
Beginnen Sie, antrainierte Kompaktierungskompetenz als Spezifikationszeile zu lesen. Während die CompactionRL-Richtung reift, werden sich Modelle nicht nur in der Größe des Kontextfensters unterscheiden, sondern auch darin, wie gut sie darauf trainiert wurden, komprimiert zu arbeiten. Die Fenstergröße war zwei Jahre lang die Schlagzeilen-Kennzahl, der Vergleich von 200K gegen 1M, der jede Modellkarte verankert. Diese Zahl wird sich die Bühne bald mit einer leiseren teilen: wie anmutig ein Modell nachlässt, wenn es sich selbst zusammenfassen muss. Wenn Sie ein Modell für Long-Horizon-Arbeit evaluieren, legen Sie ihm eine wirklich lange Aufgabe vor — eine, die mindestens eine Kompaktierung erzwingt — und beobachten Sie, was überlebt. Dieses Verhalten wird zu einer Eigenschaft, auf die zu selektieren sich lohnt.
Strukturieren Sie lange Arbeit so, dass die Nähte an sauberen Stellen fallen. Ein auf Kompaktierung trainiertes Modell kompaktiert über eine abgeschlossene Teilaufgabe hinweg noch immer besser als über eine halb geschriebene. Bis das Training überall aufgeholt hat, erhalten Sie den größten Teil des Nutzens umsonst, indem Sie die Arbeit so formen, dass natürliche Checkpoints — ein bestandener Test, eine committete Änderung, eine abgeschlossene Teilaufgabe — mit der Stelle zusammenfallen, an der die Kompaktierung wahrscheinlich feuert. Das ist ohnehin gutes Harness-Design, und es ist genau die Struktur, die die trainierten Modelle zu erwarten lernen.
Der Standpunkt
Die Größe des Kontextfensters ist nicht länger die Beschränkung, die die Harness-Architektur definiert. Zwei Jahre lang begann das Design-Gespräch bei einem Token-Budget: wie viel hineinpasst, was zu verdrängen ist, wann zusammengefasst wird. Dieser Rahmen behandelt das Modell als festes Gefäß und den Kontext als eine Ressource, die man sorgfältig eingießt. Die CompactionRL-Richtung löst das Gefäß auf. Wenn das Modell darauf trainiert ist, seine eigene Komprimierung zu verwalten, ist das Fenster keine harte Wand mehr, gegen die man konstruiert, sondern wird zu einem sanften Gefälle, das hinabzugehen dem Modell beigebracht wurde.
Das Laufzeit-Toolkit verschwindet nicht. Context Editing, Memory-Tools und das manuelle /compact bleiben die richtigen Steuerungen für die Teile der Kontextverwaltung, die wirklich Ihnen gehören: welche Fakten maßgeblich sind, welche Dateien die Quelle der Wahrheit sind, was die Aufgabe eigentlich ist. Die Migration ist enger und interessanter als vollständige Automatisierung. Sie verlagert die mechanische Hälfte der Kontextverwaltung — die Zusammenfassen-und-Fortsetzen-Mechanik — in das Modell und belässt die redaktionelle Hälfte — die Entscheidung, was zählt — bei Ihnen. Context-Engineering spaltet sich auf in das, was das Modell übernimmt, und das, was weiterhin Ihnen gehört, und die Grenze zwischen beiden ist der neue Ort, an dem gutes Harness-Design lebt.
Das verräterische Zeichen steht bereits in der CompactionRL-Arbeit. Kompaktierung hat sich einen Platz in der Trainings-Pipeline eines Frontier-Modells verdient, neben den Belohnungssignalen für Coding und Reasoning. Fähigkeiten, die die Trainingsschleife erreichen, verlassen sie gewöhnlich nicht mehr. Die Operatoren, die das nächste Jahr gewinnen, sind jene, die aufhören, Kompaktierung als zu überstehenden Zufall zu behandeln, und beginnen, sie als einen zu gestaltenden Vertrag zu behandeln.
Wichtigste Erkenntnisse
- Kompaktierung wandert von der Inferenzzeit zur Trainingszeit. CompactionRL, Memory-R1 und MemAct nutzen unabhängig voneinander Reinforcement Learning, um die Kontextverwaltung zu einem erlernten Verhalten statt zu einer externen Hülle zu machen.167
- Die Laufzeit-Werkzeuge sind die derzeitige Antwort, nicht die endgültige.
/compact, Auto-Compaction, Context Editing und das Memory-Tool verwalten Kontext rund um ein Modell, das nicht darauf trainiert wurde, Komprimierung zu erwarten.34 - Trennen Sie dauerhaften Speicher bewusst vom flüchtigen Kontext. Legen Sie Regeln, Konventionen und den Aufgabenvertrag in die Schicht, die einen Reset übersteht; lassen Sie alles Übrige komprimierbar sein.35
- Erzwingen Sie die Grenze mit einem
PreCompact-Hook. Verlagern Sie jede Nicht-zusammenfassen-Garantie aus einer Fokus-Anweisung in deterministischen Code.5 - Lesen Sie Kompaktierungskompetenz als Spezifikationszeile. Testen Sie ein Kandidatenmodell an einer Aufgabe, die lang genug ist, um eine Kompaktierung zu erzwingen, und beobachten Sie, was überlebt. Die Fenstergröße ist nicht länger die einzige Zahl, die zählt.
FAQ
Was ist Kontext-Kompaktierung?
Kompaktierung bedeutet, eine Konversation, die sich der Kontextfenstergrenze nähert, zusammenzufassen und aus der Zusammenfassung ein neues Fenster zu initialisieren, sodass ein langlaufender Agent über den Punkt hinaus fortfahren kann, an dem der Rohverlauf überlaufen würde.2 Es tauscht den wortgetreuen Verlauf gegen eine komprimierte Darstellung, die hineinpasst.
Kompaktiert Claude Code den Kontext automatisch?
Ja. Auto-Compaction ist standardmäßig aktiviert und läuft, sobald sich der Kontext der Grenze nähert. Sie können das effektive Fenster mit CLAUDE_CODE_AUTO_COMPACT_WINDOW steuern, es mit DISABLE_AUTO_COMPACT deaktivieren oder einen Durchlauf manuell mit /compact auslösen und dabei optional Fokus-Anweisungen für die Zusammenfassung übergeben.4
Was ist CompactionRL?
Eine Reinforcement-Learning-Methode des GLM-Teams, die Long-Horizon-Agenten darauf trainiert, mit Kompaktierung zu arbeiten, indem sie Aufgabenausführung und Zusammenfassungserzeugung gemeinsam optimiert, sodass das Modell aus kompaktierten Trajektorien lernt. Sie verbessert GLM-4.5-Air um 7,0 Punkte auf SWE-bench Verified und wird in der Trainings-Pipeline für das nächste GLM-Modell eingesetzt.1
Kann man ein Modell darauf trainieren, seinen eigenen Kontext zu verwalten?
Genau das zeigt die jüngste Forschung. Memory-R1 trainiert explizite Speicheroperationen mit RL, MemAct behandelt Context Editing als Policy-Aktionen, und CompactionRL trainiert die Trajektorien-Kompaktierung direkt. Alle drei machen die Kontextverwaltung dem Modell intrinsisch, statt sie als Laufzeit-Add-on zu behandeln.167
Macht das Training eines Modells auf Kompaktierung Kontextfenster irrelevant?
Nein, aber es verändert, was die Zahl bedeutet. Ein größeres Fenster hilft weiterhin, doch ein Modell, das auf gute Kompaktierung trainiert ist, kommt innerhalb jedes Fensters weiter als eines, das der Kompaktierung erst beim Deployment begegnet. Antrainierte Kompaktierungskompetenz wird zu einer zweiten Achse neben der reinen Fenstergröße.
Was sollte ich jetzt bezüglich der Kontext-Kompaktierung von Agenten tun?
Gestalten Sie die Kompaktierungsnaht, statt sie zu entdecken. Entscheiden Sie, was im dauerhaften Speicher gegenüber dem flüchtigen Kontext liegt, sichern Sie die Grenze mit einem PreCompact-Hook ab, strukturieren Sie lange Aufgaben so, dass die Kompaktierung über abgeschlossene Teilaufgaben fällt, und evaluieren Sie neue Modelle an Aufgaben, die lang genug sind, um eine Zusammenfassung zu erzwingen.5
Quellen
-
Yujiang Li, Zhenyu Hou, Yi Jing, Jie Tang, Yuxiao Dong. „CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents.” arXiv:2607.05378, Juli 2026. https://arxiv.org/abs/2607.05378. Berichtet Pass@1 von 66,8 % auf SWE-bench Verified (+7,0) und 24,5 % auf Terminal-Bench 2.0 für GLM-4.5-Air sowie +5,5 / +6,8 für GLM-4.7-Flash; gibt an, dass die Methode in der RL-Pipeline zum Training von GLM-5.2 eingesetzt wird. ↩↩↩↩↩↩↩↩↩
-
Prithvi Rajasekaran, Ethan Dixon, Carly Ryan, Jeremy Hadfield. „Effective context engineering for AI agents.” Anthropic Engineering, 29. September 2025. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents. Definiert Kompaktierung und den Verfall durch „Context Rot” und fasst Context-Engineering als das Kuratieren des optimalen Satzes von Token während der Inferenz auf. ↩↩↩↩
-
„Managing context on the Claude Developer Platform.” Anthropic, 29. September 2025. https://claude.com/blog/context-management. Context Editing „entfernt automatisch veraltete Tool-Aufrufe und -Ergebnisse” nahe den Token-Grenzen; das Memory-Tool speichert Informationen in einem dateibasierten System außerhalb des Kontextfensters. Berichtet eine Verbesserung von 29 % allein durch Context Editing, 39 % in Kombination mit dem Speicher und eine Token-Reduktion von 84 % bei einer Web-Search-Evaluation über 100 Runden. ↩↩↩↩↩↩
-
Claude Code-Dokumentation: Commands, Settings und Environment variables. https://code.claude.com/docs/en/commands, https://code.claude.com/docs/en/settings, https://code.claude.com/docs/en/env-vars.
/compact [instructions]fasst zusammen und fährt fort;autoCompactEnabled(Standard true) steuert die automatische Kompaktierung;CLAUDE_CODE_AUTO_COMPACT_WINDOWlegt das für den Auslöser verwendete Token-Fenster fest;DISABLE_AUTO_COMPACTschaltet sie ab. ↩↩↩↩↩ -
Claude Code Hooks-Referenz. https://code.claude.com/docs/en/hooks.
PreCompactfeuert vor der Kompaktierung und unterstützt eine blockierende Entscheidung;PostCompactfeuert danach;InstructionsLoadedfeuert, wennCLAUDE.md- oder Regel-Dateien geladen werden, auch nach der Kompaktierung (Matcher-Wertcompact). ↩↩↩↩↩↩ -
Sikuan Yan, Xiufeng Yang, Zuchao Huang, et al. „Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning.” arXiv:2508.19828, August 2025. https://arxiv.org/abs/2508.19828. Trainiert einen Memory Manager, der die Operationen ADD, UPDATE, DELETE und NOOP mittels RL erlernt, unter Verwendung von nur 152 Trainingsbeispielen. ↩↩↩↩↩
-
Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang. „Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks.” arXiv:2510.12635, Oktober 2025. https://arxiv.org/abs/2510.12635. Formuliert die Kontextverwaltung als In-Place-Bearbeitungsoperationen, die durchgängig mit Reinforcement Learning optimiert werden. ↩↩↩↩
-
„Introducing SWE-bench Verified.” OpenAI, 13. August 2024. https://openai.com/index/introducing-swe-bench-verified/. Eine menschlich validierte Teilmenge von 500 Instanzen aus SWE-bench zum Lösen echter GitHub-Issues. Hinweis: OpenAI hat sich im Februar 2026 wegen Testmängeln und Kontamination von dem Benchmark als Frontier-Metrik distanziert (https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/); er ist daher am besten als der meistzitierte Benchmark für agentisches Coding und nicht als ein endgültiger zu lesen. ↩↩↩
-
Terminal-Bench. Stanford und das Laude Institute. https://www.tbench.ai/. Terminal-Bench 2.0 umfasst 89 menschlich verifizierte Kommandozeilen-Aufgaben aus Software Engineering, ML, Sicherheit und Data Science; führende Agenten erreichen weniger als rund zwei Drittel. ↩↩