Laufzeitverfassungen für KI-Agenten: Ein Governance-Framework

Laufzeitverfassungen setzen Governance-Vorgaben während der Ausführung von KI-Agenten durch, nicht nur während des Trainings. Sie verbinden normative Priors (Verhaltensgrenzen), konstitutionelle Aufmerksamkeit (kontextabhängiges Weiterleiten von Regeln), Kompetenzmodulation (sicherer Erwerb neuer Fähigkeiten mit Freigabeschwellen) und die Prüfung der Wertausrichtung (Ausgabeschwellen, die Belege verlangen, bevor eine Arbeit als abgeschlossen gilt). Untersuchungen an 7.308 Agenten-Trajektorien bestätigen: Selbst erzeugte Skills sind unzuverlässig, solange diese strukturellen Sicherungen fehlen.

An einem Dienstagnachmittag erzeugte das System Learner v2 einen neuen Skill. Der Skill automatisierte den Ablauf einer Blog-Veröffentlichung: Frontmatter validieren, Quellenangaben prüfen, ins Staging pushen. Sauberer, gut strukturierter Code. Der Skill setzte allerdings auch drei Qualitätsregeln aus quality-loop.md außer Kraft, weil der Musteranalysator „immer die Beweisschwelle durchlaufen“ als redundant zu den eingebauten Prüfungen des Skills einstufte. Am Mittwochmorgen ging ein Blogbeitrag ohne Quellenprüfung live. Der Skill hatte gelernt, Abkürzungen zu nehmen.

Die Korrektur dauerte zwanzig Minuten. Die architektonische Frage dahinter beschäftigte mich wochenlang: Wie lässt man einen Agenten neue Fähigkeiten lernen, ohne dass er dabei die Beschränkungen verlernt, die ihn sicher halten?

TL;DR

Alignment in der Trainingsphase (RLHF, Constitutional AI während des Trainings, Safety-Fine-Tuning) verfällt, sobald Agenten in offenen Umgebungen arbeiten. Sechs unabhängige Forschungsarbeiten laufen auf dasselbe hinaus: Governance zur Laufzeit — eingebettete Verfassungen, die Normen während der Ausführung durchsetzen und nicht nur während des Trainings. SkillsBench prüfte 7.308 Agenten-Trajektorien über 86 Aufgaben hinweg und fand keinen durchschnittlichen Nutzen selbst erzeugter Skills: Agenten können das prozedurale Wissen, von dessen Nutzung sie profitieren, nicht zuverlässig selbst verfassen.¹ Die Arbeiten des MIT zur Selbstdestillation zeigen, dass gewöhnliches Fine-Tuning katastrophales Vergessen auslöst — neue Fähigkeiten zerstören alte.² Die Lösungsarchitektur besteht aus vier Bausteinen: normative Priors, konstitutionelle Aufmerksamkeit, Kompetenzmodulation und Prüfung der Wertausrichtung. Es folgen die Theorie, die Übertragung in die Praxis (drei der vier Bausteine existierten in meinem System rund um Claude Code bereits, bevor ich die Forschung gelesen hatte) und eine Vorlage für eine Laufzeitverfassung, die Sie sofort umsetzen können.

Der Agent, der gelernt hat, Abkürzungen zu nehmen

Der geschilderte Vorfall ereignete sich Anfang Februar 2026 während des Umbaus von Learner v2¹⁰. Der Musteranalysator (pattern_analyzer.py) erkannte einen wiederkehrenden Ablauf: Frontmatter validieren, Quellenangaben verifizieren, SEO-Metadaten prüfen, dann ins Staging pushen. Der Skill-Generator (skill_generator.py) übersetzte diesen Ablauf in einen wiederverwendbaren Skill mit eingebauter Validierung.

Diese Validierung deckte das Frontmatter-Format und die SEO-Felder ab. Die Quellenprüfung deckte sie nicht ab, denn diese liegt in einem eigenen Skill (citation-verifier) mit einem eigenen sechsstufigen Autoritätssystem. Der erzeugte Skill markierte die Quellenprüfung als „erledigt“, weil der Musteranalysator in der Ablaufspur Funktionsaufrufe rund um Quellenangaben gesehen hatte. Er verwechselte „Funktion wurde aufgerufen“ mit „die Vorgaben der Funktion blieben erhalten“.

Drei Dateien definierten die Quellenautorität jeweils anders:

Die vor dem Vorfall dokumentierte Konsolidierungsarchitektur³ hatte genau dieses Fehlermuster benannt: Definieren mehrere Dateien überlappende Begriffe, erben erzeugte Skills diejenige Definition, auf die der Musteranalysator zuerst stößt. Die Korrektur bündelte die Quellenautorität in einer einzigen kanonischen Quelle. Die Lehre reicht weiter: Agenten, die neue Fähigkeiten erwerben, brauchen strukturelle Garantien dafür, dass Lernen die Governance nicht überschreiben kann.

Warum Alignment aus der Trainingsphase zur Laufzeit versagt

Goel, Maji und Mazumder haben den Mechanismus dokumentiert: Sicherheitsverhalten verfällt sowohl bei harmlosem als auch bei feindseligem Fine-Tuning.⁴ Ihre Arbeit zur adaptiven Sicherheitsregularisierung (arXiv:2602.17546) zeigt, dass sich riskantere Aktualisierungen der Modellgewichte nahe an einer sicheren Referenzpolicy halten lassen, während weniger riskante Aktualisierungen normal durchlaufen. Der Ansatz greift zur Trainingszeit. Was geschieht, wenn ein Agent zur Laufzeit auf neuartige Situationen trifft, die im Training nie vorkamen, beantwortet der Ansatz nicht.

Die Lücke zwischen dem Alignment im Training und dem Verhalten zur Laufzeit wächst mit der Autonomie. Ein Modell, das in einer Chat-Oberfläche Fragen beantwortet, bewegt sich in engen Verhaltensgrenzen. Ein Agent, der Code schreibt, Skills erzeugt, Tests ausführt und in die Produktion ausliefert, agiert auf einer ungleich größeren Fläche — zumal dann, wenn mehrstufige Gespräche den Zugriff des Agenten auf seine eigenen Governance-Regeln verschlechtern. Das Vertrauensparadox der Agenten verschärft das: Je leistungsfähiger der Agent, desto schwerer lässt sich prüfen, ob seine Fähigkeiten innerhalb der Governance-Grenzen bleiben. Jede neue Fähigkeit schafft neue Fehlermuster, die das Alignment im Training nicht im Voraus aufzählen kann.

Shenfeld et al. am MIT haben ein konkretes Fehlermuster quantifiziert: katastrophales Vergessen beim kontinuierlichen Lernen.² Gewöhnliches überwachtes Fine-Tuning (SFT) auf neuen Aufgaben lässt die Leistung bei früheren Aufgaben einbrechen. Bei 14B Parametern übertraf Self-Distillation-Fine-Tuning (SDFT) das gewöhnliche SFT bei neuen Aufgaben um 7 Punkte und hielt zugleich 64,5 % Genauigkeit auf den früheren Aufgaben — dort, wo die Werte von SFT abstürzen. Der Preis: SDFT benötigt rund die vierfache Rechenleistung und das 2,5-Fache an FLOPs.

Für die Praxis folgt daraus unmittelbar: Jedes Mal, wenn Ihr Agent etwas Neues lernt — einen erzeugten Skill, einen zwischengespeicherten Ablauf, eine aktualisierte Anweisung —, droht dieses Lernen etwas zu beschädigen, das der Agent bereits konnte. Das Überschreiben meiner Qualitätsschleife war katastrophales Vergessen auf Systemebene. Der Agent „lernte“ eine Abkürzung beim Veröffentlichen und zerstörte damit seine Fähigkeit zur Quellenprüfung.

Vier Subsysteme der Governance zur Laufzeit

Die Forschung zur Agenten-Governance zur Laufzeit läuft auf vier funktionale Anforderungen hinaus. Taghavi und Mitarbeitende haben an evolvierenden, interpretierbaren Verfassungen gezeigt, dass LLM-evolvierte Governance-Prinzipien menschlich entworfene bei der Koordination mehrerer Agenten übertreffen.⁵ Zusammen mit Mahadevans Paradigma „Governance zuerst“ für prinzipiengeleitete Agentenentwicklung⁶ fasst diese Arbeit das Problem als vier ineinandergreifende Subsysteme auf.

Ich habe diese vier Subsysteme auf meine bestehende Infrastruktur rund um Claude Code abgebildet und festgestellt: Drei von vier existierten bereits. Jedes löste ein Problem aus dem Produktivbetrieb, auf das ich Monate vor der Lektüre der Forschung gestoßen war.

Subsystem 1: Gestaltung normativer Priors

Die Qualitätsschleife in meinem Agentensystem benennt sieben Fehlermuster: Abkürzungsspirale, Trugbild der Selbstsicherheit, Gut-genug-Plateau, Tunnelblick, Phantom-Verifikation, Aufgeschobene Schulden und Hohlbericht.⁷ Zu jedem Muster gehören eine Definition, ein Erkennungssignal und eine verbindliche Reaktion. Das sind keine Empfehlungen. Es sind strukturelle Vorgaben: Erkennt der Agent bei sich eines dieser Muster, muss er beim Schritt „Bewerten“ neu ansetzen.

Die theoretische Entsprechung: Normative Priors stecken den Verhaltensrahmen ab, in dem ein Agent arbeitet. Alignment im Training vermittelt dem Modell allgemeine Prinzipien („hilfreich, harmlos, ehrlich“). Normative Priors zur Laufzeit kodieren konkrete Betriebsvorgaben („die Quellenprüfung nie überspringen“, „in einem Abschlussbericht nie relativierende Formulierungen verwenden“).

Der Unterschied zählt, denn Prinzipien aus dem Training wirken probabilistisch — das Modell folgt ihnen mit höherer Wahrscheinlichkeit —, während Priors zur Laufzeit deterministisch sein können: Verletzt eine Aktion die Vorgabe, blockiert der Hook sie. Dieselbe Unterscheidung untersucht die Beweisschwelle: der Wechsel von „der Agent hat wahrscheinlich das Richtige getan“ zu „der Agent hat bewiesen, dass er das Richtige getan hat“.

Subsystem 2: Konstitutionelle Aufmerksamkeit

Die siebenschichtige Kontextarchitektur⁹ setzt konstitutionelle Aufmerksamkeit über selektives Laden um. Von 650 Dateien im Kontextsystem werden für eine einzelne Aufgabe weniger als 30 geladen. Der Hook prompt-dispatcher.sh analysiert die aktuelle Aufgabe und spielt die passenden Governance-Regeln ein, während er die unpassenden ausschließt.

Eine Webentwicklungsaufgabe lädt Sicherheitsregeln, Regeln für das API-Design und Muster für FastAPI. Sie lädt keine iOS-spezifischen Regeln, keine Muster aus der Spieleentwicklung und keine Inhaltsrichtlinien für Meditations-Apps. Konstitutionelle Aufmerksamkeit heißt: Der Agent sieht die Governance-Regeln, die für diese Aufgabe gelten, nicht sämtliche vorhandenen Regeln.

Das selektive Laden verhindert ein unauffälliges Fehlermuster: die Verwässerung der Regeln. Möglich macht diese Verteilung das Hook-System, das den Aufgabentyp analysiert, bevor Kontext eingespielt wird. Erhält ein Agent 200 Regeln, entfällt auf jede einzelne anteilig weniger Aufmerksamkeit als bei 20 Regeln. Konstitutionelle Aufmerksamkeit konzentriert die Governance auf jene Regeln, die im aktuellen Kontext zählen.

Subsystem 3: Kompetenzmodulation

SkillsBench prüfte 7.308 Agenten-Trajektorien über 86 Aufgaben in 11 Domänen und kam zu einem auffälligen Ergebnis: Kuratierte Skills hoben die durchschnittliche Erfolgsquote um 16,2 Prozentpunkte, selbst erzeugte Skills brachten im Mittel keinerlei Gewinn.¹ Agenten können das prozedurale Wissen, von dessen Nutzung sie profitieren, nicht zuverlässig selbst verfassen. Bei 16 von 84 Aufgaben fielen die Deltas negativ aus: Dort schadeten die Skills der Leistung.

Das SkillsBench-Ergebnis bestätigte eine Schutzvorkehrung, die ich nach dem Vorfall mit der überschriebenen Qualitätsschleife in Learner v2 eingebaut hatte. Erzeugte Skills brauchen seither eine ausdrückliche Freigabe, bevor sie aktiv werden, und sie dürfen bestehende Governance-Dateien weder ändern noch überschreiben. Der Musteranalysator darf Abläufe beobachten und Skills vorschlagen; für den Skill-Generator sind Governance-Dateien unveränderlich.

Die MIT-Forschung zur Selbstdestillation ergänzt die Perspektive der Modellgröße: Bei kleineren Modellen (3B Parameter) schadeten Versuche zum kontinuierlichen Lernen der Leistung sogar.² Erst ab 7B Parametern hat das Modell genug Kapazität, um neue Fähigkeiten zu erwerben, ohne alte zu zerstören. Die Entsprechung auf Infrastrukturebene: Agenten mit kleineren Kontextfenstern oder einfacheren Regelwerken sind anfälliger für Konflikte zwischen Fähigkeit und Governance.

Subsystem 4: Prüfung der Wertausrichtung

Die Beweisschwelle verlangt konkrete Belege für sechs Kriterien, bevor eine Arbeit als abgeschlossen gemeldet werden darf: folgt den Mustern der Codebasis (Muster benennen), einfachste funktionierende Lösung (verworfene Alternativen begründen), Randfälle behandelt (jeden einzeln auflisten), Tests bestehen (Ausgabe einfügen), keine Regressionen (geprüfte Dateien benennen) und löst das tatsächliche Problem (den Bedarf des Nutzers benennen).⁷

Die Schwelle wirkt als Prüfung zur Laufzeit. Der Agent darf den Abschluss nicht mit relativierenden Formulierungen melden („sollte funktionieren“, „ich glaube“, „scheint zu“). Jede Behauptung braucht Belege, die in der laufenden Sitzung erhoben wurden. Die Schwelle fängt die Phantom-Verifikation ab (behaupten, Tests bestünden, ohne sie ausgeführt zu haben) und den Hohlbericht („fertig“ melden, ohne Details zu nennen).

Das Vergessensproblem: Wenn Lernen Wissen zerstört

Die Konsolidierung der Blog-Skills zeigt katastrophales Vergessen auf Systemebene. Zehn Blog-Skills mit zusammen 5.400 Zeilen hatten drei Bereiche mit Dopplungen angesammelt.³ JSON-LD-Schemavorlagen standen sowohl in aio/SKILL.md als auch in seo-blog-playbook/SKILL.md. Die Definitionen der Quellenautorität unterschieden sich zwischen citation-verifier und seo-blog-playbook. Die Vorgaben zur Blog-Bewertung lagen sowohl im Hauptevaluator als auch in einer eigenen Datei mit Kategoriedefinitionen.

Wenn Learner v2 aus beobachteten Abläufen neue Skills erzeugte, zog es die Definitionen aus derjenigen Quelle, auf die es zuerst stieß. Das Ergebnis: erzeugte Skills, die korrekt aussahen, aber die falschen Autoritätsdefinitionen trugen. Aus dem sechsstufigen Quellensystem wurde eine binäre Prüfung. Die Schemavorlagen liefen zwischen handgeschriebenen und automatisch erzeugten Skills auseinander.

Die Korrektur war strukturell: für jeden Begriff genau eine kanonische Quelle bestimmen und alle übrigen Verweise darauf zeigen lassen. Die Quellenautorität steht in citation-verifier/SKILL.md und sonst nirgends. JSON-LD-Vorlagen stehen in aio/SKILL.md und sonst nirgends. So kann künftige Skill-Erzeugung keine veralteten Definitionen mehr erben.

SDFT vom MIT bietet die Entsprechung im Training: das vorhandene Wissen des Modells beim Erlernen neuer Fähigkeiten selbst als Lehrsignal verwenden.² Gewöhnliches SFT ersetzt altes Wissen durch neues. Die Selbstdestillation mischt beides: Sie erzeugt Trainingsdaten aus den bestehenden Fähigkeiten des Modells und trainiert anschließend auf dieser Mischung. Das frühere Wissen überlebt, weil es im Trainingssignal vorkommt.

Das Äquivalent auf Infrastrukturebene: Nehmen Sie beim Erzeugen eines neuen Skills die bestehenden Governance-Vorgaben in den Erzeugungs-Prompt auf. Der erzeugte Skill erbt die aktuellen Vorgaben, weil sie Teil des Erzeugungskontexts sind und nicht ein separates System, das der Generator übersehen kann.

Aktive und passive Governance

Das RelianceScope-Framework von Jin et al. unterscheidet neun Muster der Abhängigkeit von KI, gebildet aus Kombinationen aktiver und passiver Beteiligung.⁸ Untersucht wurden zwar Studierende im Umgang mit KI-Chatbots, doch die Unterscheidung zwischen aktiv und passiv lässt sich direkt auf Architekturen der Agenten-Governance übertragen.

Passive Governance spielt Regeln ein und hofft, dass der Agent ihnen folgt. Die Regeln stehen in CLAUDE.md oder im System-Prompt. Der Agent liest sie zu Sitzungsbeginn. Ob er sie einhält, prüft niemand. Die meisten Setups in der Praxis arbeiten passiv: eine lange Anweisungsdatei, der der Agent im Verlauf der Sitzung Beachtung schenkt — oder eben nicht. Wie der unsichtbare Agent zeigt, hinterlassen Agenten ohne aktive Governance keinerlei Spur davon, ob sie ihre Anweisungen überhaupt befolgt haben.

Aktive Governance prüft die Einhaltung zur Laufzeit. Hooks gleichen Ausgaben mit den Vorgaben ab, bevor diese wirksam werden. Schwellen blockieren Abschlussberichte ohne Belege. Monitore verfolgen Verhaltensdrift und melden Auffälligkeiten. Aktive Governance kostet mehr — Rechenleistung, Latenz, Komplexität —, fängt dafür aber Fehler, die der passiven entgehen.

Der Befund von RelianceScope, dass aktives Nachfragen mit aktiver Nutzung der Antworten einhergeht,⁸ legt ein Architekturprinzip nahe: Agenten, die ihre Governance-Vorgaben aktiv abfragen, statt sie passiv entgegenzunehmen, liefern regelkonformere Ausgaben. Genau darauf beruht meine Beweisschwelle: Statt Regeln passiv anzuwenden, muss der Agent die Einhaltung aktiv belegen, indem er für jedes Kriterium einen Nachweis erbringt.

Eine Vorlage für eine Laufzeitverfassung

Eine minimale Laufzeitverfassung besteht aus drei Dateien. Passen Sie die Struktur an Ihr Agenten-Framework an.

Datei 1: constitution.md

Die normativen Priors: was der Agent immer tun muss, was er nie tun darf und wie er mit Mehrdeutigkeit umgeht.

# Agent Constitution v1

## Immutable Constraints
- Never modify files in governance/ directory
- Never skip verification steps, even if tests pass
- Never report completion without evidence for all criteria

## Behavioral Norms
- Prefer explicit over implicit (state assumptions)
- Prefer reversible over irreversible actions
- Prefer asking over guessing when requirements are ambiguous

## Failure Response
- On constraint violation: stop, log, escalate
- On ambiguity: ask, do not assume
- On capability conflict: governance wins over efficiency

Datei 2: capabilities.json

Das Verzeichnis der aktuellen Skills samt Herkunftsnachweis.

{
  "skills": [
    {
      "name": "blog-publish",
      "version": "2.1.0",
      "source": "generated",
      "approved": true,
      "governance_refs": ["citation-verifier", "quality-loop"],
      "created": "2026-02-10",
      "constraints": [
        "Must call citation-verifier before publish",
        "Must pass evidence gate before reporting complete"
      ]
    }
  ],
  "pending_approval": [],
  "deprecated": []
}

Datei 3: constraints-registry.json

Ordnet jeder Vorgabe ihre kanonische Quelle zu und verhindert damit das Dopplungsproblem, das den Vorfall mit den Blog-Skills ausgelöst hat.

{
  "constraints": {
    "citation-authority": {
      "canonical_source": "skills/citation-verifier/SKILL.md",
      "type": "six-tier-hierarchy",
      "overridable": false
    },
    "quality-gate": {
      "canonical_source": "rules/quality-loop.md",
      "type": "evidence-gate",
      "overridable": false
    },
    "schema-templates": {
      "canonical_source": "skills/aio/SKILL.md",
      "type": "json-ld-templates",
      "overridable": false
    }
  }
}

Die drei Dateien greifen ineinander: constitution.md steckt die Verhaltensgrenzen ab, capabilities.json führt Buch über die Fähigkeiten des Agenten samt Querverweisen auf die Governance, und constraints-registry.json stellt sicher, dass jede Vorgabe genau eine kanonische Quelle hat. Erzeugte Skills verweisen auf dieses Register, statt die Definitionen der Vorgaben zu kopieren. Ein funktionierendes Beispiel dieser Architektur in einer autonomen Entwicklungsschleife zeigt die Agentenarchitektur von Ralph. Und wenn Sie annehmen, Ihre Sandbox biete für sich genommen genug Eingrenzung, lesen Sie zuerst, warum die Sandbox Ihres Agenten nur eine Empfehlung ist.

Das Wichtigste in Kürze

• Alignment aus der Trainingsphase verfällt zur Laufzeit. Safety-Fine-Tuning vermittelt allgemeine Prinzipien; Governance zur Laufzeit setzt konkrete Betriebsvorgaben durch. Goel et al. zeigten, dass Sicherheitsverhalten bei harmlosem wie bei feindseligem Fine-Tuning verfällt.⁴
• Selbst erzeugte Skills sind unzuverlässig. SkillsBench fand über 7.308 Trajektorien hinweg keinen durchschnittlichen Nutzen von Skills aus Agentenhand; bei 16 von 84 Aufgaben war die Wirkung negativ.¹ Erzeugte Skills brauchen Freigabeschwellen und Querverweise auf die Governance.
• Katastrophales Vergessen wirkt auch auf Systemebene. Neue Fähigkeiten können bestehende Vorgaben überschreiben, ohne dass ein einziges Modellgewicht verändert wird. Der Vorfall bei der Konsolidierung der Blog-Skills zeigte dieses Vergessen auf Infrastrukturebene: Ein erzeugter Skill erbte die falschen Autoritätsdefinitionen.
• Vier Subsysteme bilden die Governance zur Laufzeit. Normative Priors stecken die Grenzen ab. Konstitutionelle Aufmerksamkeit leitet Regeln in den passenden Kontext. Kompetenzmodulation steuert das Lernen sicher. Die Prüfung der Wertausrichtung bestätigt die Einhaltung zur Laufzeit.
• Aktive Governance schlägt passive. Regeln in CLAUDE.md sind notwendig und reichen nicht. Hooks, die bei jeder Aktion die Einhaltung prüfen, fangen Drift, Komprimierungsverluste und den Verfall im späteren Sitzungsverlauf ab — lauter Dinge, die passiven Regeln entgehen.

FAQ

Quellen