AI 에이전트를 위한 런타임 헌법: 거버넌스 프레임워크

런타임 헌법은 학습 단계뿐 아니라 AI 에이전트가 실제로 실행되는 동안에도 거버넌스 제약을 강제합니다. 여기에는 규범적 사전 제약(행동의 경계), 헌법적 주의 배분(맥락에 맞는 규칙 라우팅), 역량 조절(승인 관문을 거치는 안전한 능력 습득), 가치 정렬 검증(작업을 완료로 인정하기 전에 증거를 요구하는 출력 관문)이 함께 들어갑니다. 7,308건의 에이전트 실행 궤적을 분석한 연구는 이런 구조적 안전장치가 없으면 에이전트가 스스로 만든 스킬은 신뢰할 수 없다는 사실을 확인해 줍니다.

Learner v2 시스템이 어느 화요일 오후에 새 스킬을 하나 만들어 냈습니다. 이 스킬은 블로그 발행 흐름을 자동화했습니다. 프런트매터를 검증하고, 인용을 확인하고, 스테이징에 푸시하는 순서였죠. 코드는 깔끔했고 구조도 좋았습니다. 그런데 이 스킬은 quality-loop.md에 있던 품질 규칙 세 가지를 함께 무력화했습니다. 패턴 분석기가 “항상 증거 관문을 실행하라”는 규칙을 스킬 내부 검사와 중복된다고 분류했기 때문입니다. 수요일 아침, 인용 검증을 거치지 않은 블로그 글이 배포됐습니다. 스킬이 요령 피우는 법을 학습한 셈입니다.

문제를 고치는 데는 20분이면 충분했습니다. 하지만 그 뒤에 남은 구조적 질문은 몇 주 동안 이어졌습니다. 에이전트가 새로운 능력을 배우게 하면서도, 자신을 안전하게 지켜 주는 제약만큼은 잊지 않게 하려면 어떻게 해야 할까요?

요약(TL;DR)

학습 단계에서 이루어지는 정렬(RLHF, 학습 중 적용하는 헌법적 AI(constitutional AI), 안전성 파인튜닝)은 에이전트가 열린 환경에서 움직이기 시작하면 힘을 잃습니다. 서로 독립적인 여섯 갈래의 연구가 같은 결론으로 모입니다. 학습 시점이 아니라 실행 시점에 규범을 강제하는, 시스템에 내장된 헌법이 필요하다는 것입니다. SkillsBench는 86개 과제에 걸쳐 7,308건의 에이전트 실행 궤적을 검증했고, 에이전트가 스스로 생성한 스킬은 평균적으로 아무런 이득을 주지 못한다는 결과를 얻었습니다. 에이전트는 자신이 사용해서 이득을 보는 절차적 지식을 스스로 안정적으로 작성하지는 못합니다.¹ MIT의 자기 증류(self-distillation) 연구는 표준 파인튜닝이 새 능력으로 기존 능력을 파괴하는 파국적 망각을 일으킨다는 점을 보여 줍니다.² 해법의 구조는 네 부분으로 이루어집니다. 규범적 사전 제약, 헌법적 주의 배분, 역량 조절, 가치 정렬 검증입니다. 아래에서는 이론, 실무자 관점의 대응 관계(연구를 읽기 전에 이미 제 Claude Code 시스템에 네 가지 중 세 가지가 구현되어 있었습니다), 그리고 지금 바로 적용할 수 있는 런타임 헌법 템플릿을 다룹니다.

요령을 배운 에이전트

앞에서 이야기한 사건은 2026년 2월 초 Learner v2 재구축¹⁰ 중에 일어났습니다. 패턴 분석기(pattern_analyzer.py)가 반복되는 작업 흐름을 감지했습니다. 프런트매터 검증, 인용 확인, SEO 메타데이터 점검, 그리고 스테이징 푸시로 이어지는 순서였습니다. 스킬 생성기(skill_generator.py)는 이 흐름을 인라인 검증이 포함된 재사용 가능한 스킬로 컴파일했습니다.

인라인 검증은 프런트매터 형식과 SEO 필드를 다뤘습니다. 인용 검증은 다루지 않았습니다. 인용 검증은 별도 스킬(citation-verifier)에 있고, 자체적인 6단계 출처 권위 체계를 갖고 있기 때문입니다. 그런데 생성된 스킬은 인용 확인을 “처리됨”으로 표시했습니다. 패턴 분석기가 작업 흐름 기록에서 인용 관련 함수 호출을 봤기 때문입니다. 분석기는 “함수가 호출되었다”와 “그 함수의 제약이 유지되었다”를 혼동했습니다.

세 개의 파일이 출처 권위를 서로 다르게 정의하고 있었습니다.

사건이 일어나기 전에 문서로 정리해 둔 통합 아키텍처³는 바로 이 실패 방식을 지목하고 있었습니다. 여러 파일이 서로 겹치는 개념을 각자 정의하면, 생성된 스킬은 패턴 분석기가 먼저 마주친 정의를 그대로 물려받습니다. 수정은 인용 권위 정의를 하나의 정본 출처로 모으는 방식으로 이뤄졌습니다. 여기서 얻은 교훈은 더 넓습니다. 새로운 능력을 습득하는 에이전트에게는 학습이 거버넌스를 덮어쓸 수 없다는 구조적 보장이 필요합니다.

학습 단계 정렬이 런타임에서 무너지는 이유

Goel, Maji, Mazumder는 그 메커니즘을 문서로 남겼습니다. 안전 행동은 악의 없는 파인튜닝에서도, 적대적인 파인튜닝에서도 함께 나빠집니다.⁴ arXiv:2602.17546에 실린 적응형 안전 정규화 연구는 위험도가 높은 가중치 갱신은 안전한 기준 정책 근처로 제약하면서, 위험도가 낮은 갱신은 정상적으로 진행시킬 수 있음을 보였습니다. 이 접근은 학습 시점에서 작동합니다. 학습이 전혀 예상하지 못한 새로운 상황을 에이전트가 실행 중에 만났을 때 무슨 일이 벌어지는지는 다루지 못합니다.

학습 시점의 정렬과 실행 시점의 행동 사이의 간극은 자율성이 커질수록 벌어집니다. 채팅 화면에서 질문에 답하는 모델은 좁은 행동 범위 안에서 움직입니다. 코드를 작성하고, 스킬을 생성하고, 테스트를 돌리고, 프로덕션에 배포하는 에이전트는 훨씬 넓은 표면 위에서 움직입니다. 특히 여러 차례 이어지는 대화가 무너지면서 에이전트가 자기 거버넌스 규칙에 접근하지 못하게 될 때 더욱 그렇습니다. 에이전트 신뢰의 역설이 여기에 겹칩니다. 에이전트가 유능해질수록, 그 능력이 거버넌스 경계 안에 머무는지 확인하기는 더 어려워집니다. 새로운 능력은 저마다 새로운 실패 방식을 만들어 내고, 학습 시점 정렬은 그것을 미리 열거할 수 없습니다.

MIT의 Shenfeld 연구진은 특정한 실패 방식을 수치로 보여 줬습니다. 지속 학습 과정에서 일어나는 파국적 망각입니다.² 새 과제에 표준 지도 파인튜닝(SFT)을 적용하면 이전 과제의 성능이 무너집니다. 140억 파라미터 규모에서 자기 증류 파인튜닝(SDFT)은 새 과제에서 표준 SFT보다 7점 앞섰고, 동시에 이전 과제 정확도를 64.5%로 유지했습니다. 같은 조건에서 표준 SFT의 점수는 급락합니다. 대가도 있습니다. SDFT는 약 4배의 연산과 2.5배의 FLOPs를 요구합니다.

실무자에게 주는 함의는 직접적입니다. 에이전트가 무언가 새로 배울 때마다(생성된 스킬, 캐시된 작업 흐름, 갱신된 지시문 등) 그 학습은 이미 알고 있던 것을 훼손할 위험을 함께 안고 옵니다. 제 품질 루프가 덮어쓰인 사건은 시스템 수준에서 일어난 파국적 망각이었습니다. 에이전트는 발행 지름길을 “배웠고”, 그 대가로 인용 확인 능력을 잃었습니다.

런타임 거버넌스를 이루는 네 가지 하위 시스템

실행 시점 에이전트 거버넌스를 다루는 연구들은 네 가지 기능 요건으로 수렴합니다. 해석 가능한 헌법을 진화시키는 연구를 진행한 Taghavi와 동료들은 LLM이 진화시킨 거버넌스 원칙이 다중 에이전트 조율에서 사람이 설계한 원칙보다 나은 성과를 낸다는 것을 보였습니다.⁵ 이 연구는 원칙 중심 에이전트 엔지니어링을 위한 거버넌스 우선 패러다임을 제시한 Mahadevan의 작업⁶과 함께, 문제를 서로 맞물린 네 개의 하위 시스템으로 정리합니다.

저는 이 네 가지를 기존 Claude Code 인프라에 대응시켜 봤고, 그중 셋이 이미 구축되어 있다는 사실을 발견했습니다. 각각은 제가 연구를 읽기 몇 달 전에 실제로 부딪혔던 운영 문제를 해결하려고 만든 것들이었습니다.

하위 시스템 1: 규범적 사전 제약 설계

제 에이전트 시스템의 품질 루프는 이름 붙은 실패 유형 일곱 가지를 정의합니다. 지름길의 악순환(Shortcut Spiral), 자신감의 신기루(Confidence Mirage), 그럭저럭 정체기(Good-Enough Plateau), 터널 시야(Tunnel Vision), 유령 검증(Phantom Verification), 미뤄 둔 부채(Deferred Debt), 속 빈 보고(Hollow Report)입니다.⁷ 각 실패 유형에는 정의, 탐지 신호, 그리고 반드시 취해야 할 대응이 붙어 있습니다. 이것은 권고가 아닙니다. 구조적 제약입니다. 에이전트가 자신에게서 이 실패 유형 중 하나라도 발견하면 평가 단계부터 다시 시작해야 합니다.

이론적으로 대응되는 개념은 이렇습니다. 규범적 사전 제약은 에이전트가 그 안에서 움직여야 하는 행동의 경계를 세웁니다. 학습 시점 정렬은 모델에게 일반 원칙(“도움이 되고, 해롭지 않고, 정직하게”)을 가르칩니다. 실행 시점의 규범적 사전 제약은 구체적인 운영 제약(“인용 검증을 절대 건너뛰지 말 것”, “완료 보고에 얼버무리는 표현을 쓰지 말 것”)을 새겨 넣습니다.

이 차이가 중요한 이유는, 학습 시점의 원칙은 확률적인 반면(모델이 그 원칙을 따를 가능성이 높아질 뿐입니다) 실행 시점의 사전 제약은 결정론적일 수 있기 때문입니다. 제약을 어기면 훅이 그 행동 자체를 막습니다. 이는 증거 관문에서 다룬 것과 같은 구분입니다. “에이전트가 아마 제대로 했을 것이다”에서 “에이전트가 제대로 했음을 증명했다”로 옮겨 가는 것이죠.

하위 시스템 2: 헌법적 주의 배분

7계층 컨텍스트 아키텍처⁹는 선택적 로딩을 통해 헌법적 주의 배분을 구현합니다. 컨텍스트 시스템에 있는 650개 파일 가운데, 특정 과제 하나에 실제로 로드되는 것은 30개가 채 되지 않습니다. prompt-dispatcher.sh 훅은 현재 과제를 분석해 관련 있는 거버넌스 규칙만 주입하고 나머지는 배제합니다.

웹 개발 과제라면 보안 규칙, API 디자인 규칙, FastAPI 패턴이 로드됩니다. iOS 전용 규칙, 게임 개발 패턴, 명상 앱 콘텐츠 가이드라인은 로드되지 않습니다. 헌법적 주의 배분이란, 에이전트가 존재하는 모든 규칙이 아니라 지금 이 과제에 적용되는 거버넌스 규칙을 보게 만드는 일입니다.

선택적 로딩은 눈에 잘 띄지 않는 실패 방식을 막아 줍니다. 바로 규칙 희석입니다. 훅 시스템은 컨텍스트를 주입하기 전에 과제 유형을 분석해 이 라우팅을 가능하게 합니다. 에이전트가 규칙 200개를 받으면, 20개를 받을 때보다 규칙 하나하나에 배분되는 주의가 그만큼 줄어듭니다. 헌법적 주의 배분은 현재 맥락에서 실제로 중요한 규칙에 거버넌스의 초점을 모읍니다.

하위 시스템 3: 역량 조절

SkillsBench는 11개 영역, 86개 과제에 걸쳐 7,308건의 에이전트 실행 궤적을 검증했고 인상적인 결과를 내놓았습니다. 사람이 선별한 스킬은 평균 통과율을 16.2%p 끌어올렸지만, 에이전트가 스스로 생성한 스킬은 평균적으로 아무런 이득을 주지 못했습니다.¹ 에이전트는 자신이 소비해서 이득을 보는 절차적 지식을 안정적으로 작성해 내지는 못합니다. 84개 과제 중 16개에서는 스킬이 오히려 성능을 떨어뜨리는 마이너스 변화가 나타났습니다.

SkillsBench의 결과는 품질 루프 무력화 사건 이후 제가 Learner v2에 넣어 둔 안전장치가 옳았음을 확인해 줬습니다. 이제 생성된 스킬은 활성화되기 전에 명시적 승인을 거쳐야 하고, 기존 거버넌스 파일을 수정하거나 덮어쓸 수 없습니다. 패턴 분석기는 작업 흐름을 관찰하고 스킬을 제안할 수 있지만, 스킬 생성기는 거버넌스 파일을 불변으로 취급합니다.

MIT의 자기 증류 연구는 파라미터 수준의 관점을 하나 더 얹어 줍니다. 모델 규모가 작을 때(30억 파라미터)는 지속 학습 시도가 오히려 성능을 해쳤습니다.² 70억 파라미터 이상이 되어야 기존 능력을 파괴하지 않고 새 능력을 습득할 만한 용량이 생깁니다. 인프라 수준으로 옮기면 이렇게 대응됩니다. 컨텍스트 창이 좁거나 규칙 체계가 단순한 에이전트일수록 능력과 거버넌스가 충돌할 때 더 취약합니다.

하위 시스템 4: 가치 정렬 검증

증거 관문은 어떤 작업이든 완료로 보고되기 전에 여섯 가지 기준에 대한 구체적 증거를 요구합니다. 코드베이스의 기존 패턴을 따랐는가(패턴 이름을 대야 합니다), 작동하는 가장 단순한 해법인가(기각한 대안을 설명해야 합니다), 예외 상황을 처리했는가(하나씩 나열해야 합니다), 테스트를 통과했는가(출력을 붙여 넣어야 합니다), 회귀가 없는가(확인한 파일을 지목해야 합니다), 실제 문제를 해결했는가(사용자의 요구를 진술해야 합니다).⁷

이 관문은 실행 시점 검증으로 작동합니다. 에이전트는 얼버무리는 표현(“작동할 것입니다”, “제 생각에는”, “그런 것 같습니다”)으로 완료를 보고할 수 없습니다. 모든 주장에는 현재 작업 회차 안에서 수집한 증거가 필요합니다. 이 관문은 유령 검증(테스트를 돌리지 않고 통과했다고 주장하는 것)과 속 빈 보고(구체적 내용 없이 “완료”라고 보고하는 것)를 잡아냅니다.

망각 문제: 학습이 지식을 파괴할 때

블로그 스킬 통합 사례는 시스템 수준에서 벌어진 파국적 망각을 보여 줍니다. 총 5,400줄에 이르는 블로그 스킬 10개에 중복 구역이 세 군데 쌓여 있었습니다.³ JSON-LD 스키마 템플릿이 aio/SKILL.md와 seo-blog-playbook/SKILL.md 양쪽에 있었습니다. 인용 권위 정의는 citation-verifier와 seo-blog-playbook 사이에서 서로 달랐습니다. 블로그 평가 지침은 메인 평가기와 별도의 카테고리 정의 파일 양쪽에 존재했습니다.

Learner v2 시스템이 관찰한 작업 흐름에서 새 스킬을 생성할 때, 먼저 마주친 쪽에서 정의를 가져왔습니다. 그 결과 겉보기에는 멀쩡한데 엉뚱한 권위 정의를 품은 스킬이 만들어졌습니다. 6단계 인용 체계는 이분법적 확인으로 격하됐습니다. 스키마 템플릿은 사람이 작성한 스킬과 자동 생성된 스킬 사이에서 갈라졌습니다.

통합 수정은 구조적이었습니다. 개념마다 정본 출처를 하나로 지정하고, 나머지 모든 참조는 그것을 가리키게 했습니다. 인용 권위는 citation-verifier/SKILL.md에만 존재합니다. JSON-LD 템플릿은 aio/SKILL.md에만 존재합니다. 이 방식은 앞으로 생성될 스킬이 낡은 정의를 물려받는 일을 막아 줍니다.

MIT의 SDFT는 학습 시점에서 이에 대응하는 방법을 제시합니다. 새 능력을 배울 때 모델 자신의 기존 지식을 교육 신호로 활용하는 것입니다.² 표준 SFT는 옛 지식을 새 지식으로 갈아 끼웁니다. 자기 증류는 모델의 기존 능력에서 학습 데이터를 만들어 낸 뒤 그것을 새 데이터와 섞어 파인튜닝합니다. 기존 지식이 학습 신호 안에 남아 있기 때문에 살아남습니다.

인프라 수준의 등가물은 이렇습니다. 새 스킬을 생성할 때 기존 거버넌스 제약을 생성 프롬프트에 함께 넣는 것입니다. 그러면 생성된 스킬은 현재 제약을 그대로 물려받습니다. 제약이 생성 맥락의 일부이기 때문이지, 생성기가 그냥 지나칠 수 있는 별개 시스템이 아니기 때문입니다.

능동적 거버넌스와 수동적 거버넌스

Jin 연구진의 RelianceScope 프레임워크는 능동적 참여와 수동적 참여의 조합에 따라 AI 의존 양상을 아홉 가지로 구분합니다.⁸ 이 연구는 학생이 AI 챗봇과 상호작용하는 상황을 다뤘지만, 능동과 수동이라는 구분은 에이전트 거버넌스 구조에 그대로 대응됩니다.

수동적 거버넌스는 규칙을 주입해 두고 에이전트가 따라 주기를 기대합니다. 규칙은 CLAUDE.md나 시스템 프롬프트 안에 존재합니다. 에이전트는 작업 시작 시점에 그것을 읽습니다. 준수 여부를 확인하는 장치는 없습니다. 대부분의 실무 환경은 수동적 거버넌스를 씁니다. 긴 지시 파일이 있고, 작업이 진행될수록 에이전트가 그 파일에 주의를 기울일 수도 있고 아닐 수도 있습니다. 보이지 않는 에이전트에서 보여 준 것처럼, 능동적 거버넌스 없이 움직이는 에이전트는 지시를 따랐는지 여부에 대한 흔적조차 남기지 않습니다.

능동적 거버넌스는 실행 시점에 준수 여부를 검증합니다. 훅은 출력이 실행되기 전에 제약과 대조합니다. 관문은 증거 없는 완료 보고를 막습니다. 모니터는 행동 이탈을 추적하고 이상 징후를 표시합니다. 능동적 거버넌스는 비용(연산, 지연, 복잡도)이 더 들지만, 수동적 거버넌스가 놓치는 실패를 잡아냅니다.

능동적으로 도움을 구하는 태도가 능동적인 응답 활용과 상관관계를 보인다는 RelianceScope의 발견⁸은 거버넌스 설계의 원칙 하나를 시사합니다. 거버넌스 제약을 수동적으로 받기만 하는 에이전트보다, 그 제약을 능동적으로 조회하는 에이전트가 더 규칙에 맞는 결과물을 냅니다. 제 증거 관문은 바로 이 원칙 위에서 작동합니다. 규칙을 수동적으로 적용하는 대신, 에이전트가 각 기준에 대한 증거를 만들어 냄으로써 준수를 능동적으로 입증해야 합니다.

런타임 헌법 템플릿

최소한의 런타임 헌법은 세 개의 파일로 구성됩니다. 사용하는 에이전트 프레임워크에 맞춰 구조를 조정하세요.

파일 1: constitution.md

규범적 사전 제약입니다. 에이전트가 항상 해야 할 일, 절대 하지 말아야 할 일, 그리고 모호한 상황을 다루는 방식을 담습니다.

# Agent Constitution v1

## Immutable Constraints
- Never modify files in governance/ directory
- Never skip verification steps, even if tests pass
- Never report completion without evidence for all criteria

## Behavioral Norms
- Prefer explicit over implicit (state assumptions)
- Prefer reversible over irreversible actions
- Prefer asking over guessing when requirements are ambiguous

## Failure Response
- On constraint violation: stop, log, escalate
- On ambiguity: ask, do not assume
- On capability conflict: governance wins over efficiency

파일 2: capabilities.json

현재 보유한 스킬 목록과 출처 추적 정보입니다.

{
  "skills": [
    {
      "name": "blog-publish",
      "version": "2.1.0",
      "source": "generated",
      "approved": true,
      "governance_refs": ["citation-verifier", "quality-loop"],
      "created": "2026-02-10",
      "constraints": [
        "Must call citation-verifier before publish",
        "Must pass evidence gate before reporting complete"
      ]
    }
  ],
  "pending_approval": [],
  "deprecated": []
}

파일 3: constraints-registry.json

각 제약을 정본 출처에 연결해, 블로그 스킬 사건을 일으켰던 중복 문제를 방지합니다.

{
  "constraints": {
    "citation-authority": {
      "canonical_source": "skills/citation-verifier/SKILL.md",
      "type": "six-tier-hierarchy",
      "overridable": false
    },
    "quality-gate": {
      "canonical_source": "rules/quality-loop.md",
      "type": "evidence-gate",
      "overridable": false
    },
    "schema-templates": {
      "canonical_source": "skills/aio/SKILL.md",
      "type": "json-ld-templates",
      "overridable": false
    }
  }
}

세 파일은 서로 맞물려 작동합니다. constitution.md는 행동의 경계를 정의하고, capabilities.json은 거버넌스 상호 참조와 함께 에이전트가 할 수 있는 일을 추적하며, constraints-registry.json은 모든 제약이 정확히 하나의 정본 출처를 갖도록 보장합니다. 생성된 스킬은 제약 정의를 복사하는 대신 이 레지스트리를 참조합니다. 이 구조가 자율 개발 루프에서 실제로 작동하는 예시는 Ralph의 에이전트 아키텍처에서 볼 수 있습니다. 그리고 샌드박스만으로 충분히 격리된다고 생각한다면, 에이전트 샌드박스는 권고에 불과합니다를 먼저 읽어 보시기 바랍니다.

핵심 정리

• 학습 단계의 정렬은 실행 시점에 약해집니다. 안전성 파인튜닝은 일반 원칙을 가르치고, 실행 시점 거버넌스는 구체적인 운영 제약을 강제합니다. Goel 연구진은 악의 없는 파인튜닝에서도, 적대적 파인튜닝에서도 안전 행동이 함께 나빠진다는 것을 보였습니다.⁴
• 에이전트가 스스로 만든 스킬은 신뢰할 수 없습니다. SkillsBench는 7,308건의 실행 궤적에서 에이전트가 작성한 스킬의 평균 이득이 0이었고, 84개 과제 중 16개에서는 오히려 악영향이 있었음을 확인했습니다.¹ 생성된 스킬에는 승인 관문과 거버넌스 상호 참조가 필요합니다.
• 파국적 망각은 시스템 수준에서도 일어납니다. 모델 가중치를 건드리지 않아도 새 능력이 기존 제약을 덮어쓸 수 있습니다. 블로그 스킬 통합 사건은 생성된 스킬이 잘못된 권위 정의를 물려받는 인프라 수준의 망각을 보여 줬습니다.
• 런타임 거버넌스는 네 개의 하위 시스템으로 구성됩니다. 규범적 사전 제약이 경계를 정하고, 헌법적 주의 배분이 규칙을 맥락으로 보내며, 역량 조절이 학습을 안전하게 관리하고, 가치 정렬 검증이 실행 시점에 준수를 확인합니다.
• 능동적 거버넌스가 수동적 거버넌스보다 낫습니다. CLAUDE.md에 적힌 규칙은 필요하지만 충분하지 않습니다. 행동마다 준수를 검증하는 훅은 수동적 규칙이 놓치는 이탈, 압축 손실, 작업 후반의 품질 저하를 잡아냅니다.

자주 묻는 질문(FAQ)

참고 문헌