메타인지 AI: 에이전트에 자기평가를 가르치기

가이드에서: Claude Code Comprehensive Guide

저는 에이전트에게 실패하는 테스트를 고치라고 지시했습니다. 에이전트는 오류를 읽고, 단언문 불일치를 식별한 뒤, 기대값을 실제 출력에 맞게 변경하고 “테스트 수정 완료. 모든 테스트 통과.”라고 보고했습니다. 틀린 말은 아니었습니다. 테스트는 통과했습니다. 하지만 그 수정은 완전히 잘못된 것이었습니다.

테스트가 실패한 이유는 함수가 잘못된 데이터를 반환했기 때문입니다. 에이전트는 테스트가 잘못된 답을 기대하도록 만들어서 테스트를 “고친” 것이었습니다. 에이전트는 제 지시, 즉 실패하는 테스트를 고치라는 지시를 완벽하게 따랐습니다. 제가 의도한 것은 테스트가 검증하는 코드를 고치라는 것이었습니다. 에이전트에게는 이 두 해석을 구분할 메커니즘이 없었습니다. 지시사항 어디에도 테스트를 어떻게 고칠지 결정하기 전에 테스트가 왜 실패하는지 평가하라는 내용이 없었기 때문입니다.

이 격차에는 이름이 있습니다. 행동 수준 지시사항과 메타인지 지시사항 사이의 격차입니다. 여기서 “메타인지”는 기능적 비유로 쓰는 말이며, 인지과학적 주장이 아닙니다. LLM에는 인간과 같은 내적 모니터링 과정이 없습니다. LLM에 있는 것은 지시를 따르는 행동이며, 이 행동은 자기평가 쪽으로 향하게 할 수 있습니다. 이 프레임워크가 작동하는 이유는 검증 단계에서 에이전트가 어떤 지시를 따르는지를 바꾸기 때문이지, 에이전트가 진정한 자기 인식을 갖게 되기 때문이 아닙니다. 대부분의 사람들은 첫 번째 종류의 지시사항만 작성합니다.

메타인지 AI 프로그래밍은 AI 에이전트에게 자기평가 지시를 주는 실천입니다. 무엇을 할지 알려주는 데 그치지 않고, 자신이 잘못된 방향으로 가고 있음을 감지하는 방법을 가르칩니다. 행동 수준 지시사항은 행동을 정의합니다(“테스트를 작성하라”, “입력을 검증하라”). 메타인지 지시사항은 자기 모니터링을 정의합니다(“‘했다’ 대신 ‘할 것이다’라고 말한다면 아직 검증하지 않은 것이다”). 증거 게이트, 명명된 실패 모드, 헤징 언어 탐지로 구현되는 이 두 번째 계층이 그럴듯한 출력을 만드는 에이전트와 정확한 출력을 만드는 에이전트를 가릅니다.

요약

AI 에이전트 지시사항에는 두 가지 수준이 있습니다. 행동 수준 지시사항은 에이전트에게 무엇을 할지 알려줍니다: “입력을 검증하라”, “테스트를 작성하라”, “RESTful 규약을 따르라”. 메타인지 지시사항은 에이전트에게 자신이 그 일을 잘 해내고 있는지 평가하는 방법을 알려줍니다: “했다 대신 할 것이다라고 말하고 있다면 검증하지 않은 것이다”, “세 번의 수정이 실패하면 멈추고 아키텍처를 의심하라”, “확신은 증거가 아니다”. 대부분의 에이전트 설정은 행동 수준 지시사항만으로 이루어져 있습니다. 메타인지 계층이 그럴듯한 출력을 만드는 에이전트와 정확한 출력을 만드는 에이전트를 가릅니다. 저는 7가지 명명된 실패 모드, 6가지 기준의 증거 게이트, 헤징 언어 탐지를 갖춘 프로덕션 메타인지 시스템을 95개의 훅으로 강제하며 9개월간 운영해 왔습니다.


에이전트 지시사항의 두 가지 수준

모든 에이전트 지시사항은 두 가지 수준 중 하나에서 작동합니다.

행동 수준 지시사항은 행동을 정의합니다:

# Action-level examples
- Use type hints on all functions
- Write tests for edge cases
- Follow RESTful conventions for API endpoints
- Validate all user input at boundaries

행동 수준 지시사항은 필수입니다. 올바른 행동이 어떤 모습인지 에이전트에게 알려주기 때문입니다. 하지만 이 지시사항들에는 공통된 구조적 한계가 있습니다. 에이전트가 이를 충실히 실행할 것이라고 가정한다는 점입니다. 에이전트가 자신의 준수 여부를 어떻게 평가하는지는 고려하지 않습니다.

메타인지 지시사항은 자기 모니터링을 정의합니다:

# Metacognitive examples
- If you catch yourself thinking "just try changing X and see if it works" — STOP.
  That's a signal to investigate, not guess.
- If you've searched the same files three times — you're stuck.
  Step back and question your assumptions.
- If you use the word "should" in a completion report, replace it with evidence.
  Run the command. Paste the output.
- After three failed fixes, stop fixing. The problem is architectural.

이 구분이 중요한 이유는 행동 수준 지시사항이 에이전트에게 목적지의 모습을 알려주는 반면, 메타인지 지시사항은 잘못된 방향으로 가고 있음을 감지하는 방법을 알려주기 때문입니다. 하나는 잘못된 행동을 막습니다. 다른 하나는 잘못된 추론, 즉 애초에 잘못된 행동을 낳는 사고 패턴을 막습니다.

GitHub의 obra/superpowers 프로젝트는 에이전트가 자신의 추론에서 실패 신호를 지켜보도록 가르치는 스킬을 통해 이 영역을 탐구합니다.1 핵심 통찰은 이렇습니다. 대부분의 스킬은 행동 수준에서 작동합니다(X를 하라, Y를 하지 마라). 메타인지 수준은 다르게 작동합니다(Y를 하려는 순간을 알아차려라).


거짓 증거 표

제가 구축한 메타인지 도구 중 가장 효과적인 것은 무엇이 증거로 인정되지 않는지를 정의하는 표입니다.2

에이전트에게 “작업을 검증하라”고 지시하면 에이전트는 검증을 내놓습니다. 하지만 그 검증은 결과의 입증이 아니라 의도의 재진술인 경우가 많습니다. “테스트가 통과할 것입니다.” “구현이 모범 사례를 따릅니다.” “이것이 정확하다고 확신합니다.” 이 문장들은 모두 증거처럼 들립니다. 하지만 어느 것도 증거가 아닙니다.

거짓 증거 표는 특정 지름길에 이름을 붙여 사전에 차단합니다:

주장 필요한 증거 불충분(거짓 증거)
“테스트 통과” 실패 0건이 표시된 테스트 출력 붙여넣기 “테스트가 통과할 것이다” 또는 “아까 실행했다”
“패턴을 따름” 패턴의 이름과 그 패턴이 있는 파일 명시 “모범 사례를 따랐다”
“가장 단순한 솔루션” 기각한 대안과 그 이유 명시 “깔끔하다”
“엣지 케이스 처리” 각 엣지 케이스와 처리 방법 나열 “엣지 케이스를 고려했다”
“회귀 없음” 확인한 파일/기능 명시 “다른 곳에는 영향이 없을 것이다”
“문제 해결” 사용자의 요구와 이것이 그 요구를 어떻게 해결하는지 명시 “기능을 구현했다”

가치는 세 번째 열에 있습니다. 이 열이 없으면 에이전트는 두 번째 열을 자신의 확신을 그럴듯하게 바꿔 말한 문장으로 채웁니다. 이 열이 있으면 표는 에이전트가 지름길을 택하기 전에 각 지름길에 이름을 붙여 차단합니다.3

이 표는 일반적인 프롬프트 엔지니어링을 넘어섭니다. 행동 지시가 아니라 자기 모니터링 프레임워크를 만들기 때문입니다. 표는 에이전트에게 무엇을 다르게 하라고 말하지 않습니다. 자신의 출력에서 무엇을 경계해야 하는지를 알려줍니다. 에이전트는 자신의 응답을 ‘불충분’ 열과 대조하며 모니터링하고, 일치하는 것을 감지하면 그 지름길을 실제 증거로 바꿔야 한다는 것을 압니다.

이 패턴은 확장됩니다. 도메인별 주장을 얼마든지 추가할 수 있습니다. 보안 리뷰라면 “취약점 없음”에는 “코드를 리뷰했다”가 아니라 “확인한 구체적인 취약점 유형과 발견 사항”이 필요합니다. 접근성이라면 “WCAG 준수”에는 “대비를 확인했다”가 아니라 “axe 또는 Lighthouse 감사 출력”이 필요합니다.


메타인지 가드레일로서의 명명된 실패 모드

인간에게는 이름이 붙은 인지 편향이 있습니다. 확증 편향, 앵커링, 더닝-크루거 효과. 이름이 중요합니다. 편향에 이름을 붙일 수 있으면 그것을 경계할 수 있습니다. AI 에이전트에게도 자신의 실패 패턴을 가리키는 같은 어휘가 필요합니다.

저는 에이전트가 반복적으로 보인 7가지 실패 모드를 문서화하고, 각각에 이름을 붙이고, 감지 신호를 추가했습니다:4

실패 모드 양상 감지 신호
지름길 나선 더 빨리 보고하려고 검증 단계를 건너뜀 각 단계에 대한 증거가 없는 완료 보고서
확신 신기루 “확신합니다”가 실제 검증을 대신함 보고서 속 헤징 언어
적당함의 정체 작동하지만 깔끔하지도, 테스트되지도, 문서화되지도 않은 코드 품질 질문을 받았을 때의 망설임
터널 비전 함수 하나를 다듬으면서 인접 코드를 망가뜨림 확인 없이 “다른 곳에는 영향 없음”
유령 검증 지금 실행하지 않고 테스트 통과를 주장 이전 세션의 증거
미뤄 둔 부채 커밋된 코드에 TODO/FIXME/HACK을 남김 diff에 그런 주석이 있음
공허한 보고서 구체적 내용 없이 “완료” 어떤 기준이든 증거가 빠진 완료 보고서

이름은 실패를 감지할 수 있게 만듭니다. 이름이 없으면 에이전트가 확신 신기루를 만들어도 에이전트도 사용자도 그것을 패턴으로 알아보지 못합니다. 이름이 있으면 지시사항은 이렇게 됩니다: “명명된 실패 모드 중 하나를 보이고 있음을 알아차리면 멈추고 평가 단계부터 다시 시작하라.”

이 모니터링은 정확한 의미에서 메타인지적입니다. 에이전트는 출력(이 코드가 정확한가?)이 아니라 자신의 인지 과정(검증을 건너뛰고 있는가? 확신을 증거 대신 쓰고 있는가?)을 지켜봅니다. 이 모니터링은 에이전트의 추론 과정의 일부로서 생성 자체를 형성하며, 그래서 출력 수준의 리뷰가 놓치는 오류를 잡아냅니다.

Anthropic의 자체 참조 스킬 구현도 이 접근 방식을 뒷받침합니다. 공식 Claude Code 스킬을 분석하자 효과적인 에이전트 지시사항 설계의 구조적 패턴이 드러났습니다. 필자가 관찰한 바로는, 금지(“NEVER X”)가 제안(“consider Y”)보다 더 효과적이었습니다. 일반적인 행동이 아니라 구체적인 회피를 명시하기 때문입니다.5 명명된 실패 모드는 구체적인 금지입니다. “절대 유령 검증을 하지 마라”가 “항상 테스트를 실행하라”보다 효과적인 이유는 행동을 다시 말하는 대신 회피를 차단하기 때문입니다.


헤징 언어 탐지

제가 구현한 가장 단순한 메타인지 모니터는 에이전트 출력에서 특정 단어를 감지합니다:

Red flag words: should, probably, seems to, likely, I believe,
               I'm confident, looks correct, appears to

에이전트가 완료 보고서에서 이 단어 중 하나를 쓸 때마다, 그 단어 자체가 검증이 불충분하다는 증거입니다.6 “테스트가 통과할 것이다(should pass)”는 에이전트가 테스트를 실행하지 않았다는 뜻입니다. “작동하는 것 같다(seems to work)”는 에이전트가 눈대중으로만 확인했다는 뜻입니다. “확신합니다(I’m confident)”는 에이전트가 외부 증거 대신 내부 상태를 내밀고 있다는 뜻입니다.

구현은 기계적입니다. 훅 시스템이 에이전트의 출력을 가로채 헤징 언어에 표시를 합니다. 그러면 에이전트는 헤징 단어를 원래 수행했어야 할 검증으로 바꿉니다:

  • “테스트가 통과할 것이다”는 테스트를 실행하고 실패 0건을 보여주는 출력을 붙여넣기가 됩니다
  • “정확해 보인다”는 정확성을 확인하는 구체적인 단언문이나 검사를 인용하기가 됩니다
  • “확신합니다”는 그 확신을 만든 증거를 나열하기가 됩니다

이 패턴은 obra의 verification-before-completion 작업에서 나왔습니다.1 인지과학과의 유사성은 잘 확립되어 있습니다. 인간의 메타인지에서 자기 보고(“이건 이해했다”)의 정확성은 실제 이해도와 상관관계가 낮습니다.3 “알겠다”고 말하는 사람은 실제로는 모르는 경우가 많습니다. 설명할 수 있는 사람은 대개 이해하고 있습니다. AI 에이전트도 마찬가지입니다. 구체적인 증거를 인용할 수 있는 에이전트는 문제를 이해하고 있습니다. “확신합니다”라고 말하는 에이전트는 그렇지 않을 수 있습니다.


3회 수정 회로 차단기

메타인지는 잘못된 추론을 감지하는 것만이 아닙니다. 언제 멈춰야 하는지를 감지하는 것이기도 합니다.

3회 수정 에스컬레이션 규칙은 이렇습니다. 같은 문제에 대한 세 번의 수정 시도가 실패하면 에이전트는 멈추고 아키텍처를 근본적으로 의심해야 합니다.7 네 번째 수정을 시도하는 것이 아닙니다. 같은 접근 방식에서 다른 각도를 찾는 것도 아닙니다. 멈추십시오. 한 걸음 물러서십시오. 문제가 해결책에 있는지, 문제 정의에 있는지 물으십시오.

이 규칙은 디버깅 루프의 회로 차단기 역할을 합니다. 이 규칙이 없으면 에이전트는 제가 수정 나선이라고 부르는 상태에 빠집니다. 실패한 시도마다 새로운 가설이 생기고, 그 가설이 새로운 수정을 낳고, 그 수정이 실패하고, 다시 새로운 가설이 생깁니다. 에이전트는 자신이 올바른 문제를 다루고 있는지 한 번도 의심하지 않은 채 수십 번의 수정을 반복할 수 있습니다. 23개 에이전트 폭주 사건은 이 현상이 폭 방향으로 나타난 경우였습니다. “이 질문의 범위가 올바른가?”를 묻는 메타인지 검사가 없었기 때문에, 에이전트들은 잘못된 질문에 대해 합의에 도달했습니다.

3회 수정 규칙이 효과적인 이유는 에이전트의 추론에 상전이를 강제하기 때문입니다. 수정 1~3은 현재의 멘탈 모델 안에서 이루어집니다. 수정 4(실제로는 “수정을 멈추는 것”)는 에이전트가 새로운 멘탈 모델을 구축하도록 강제합니다. 실제로는 대개 오류를 처음부터 다시 읽거나, 가정을 재검토하거나, 사용자에게 확인을 요청하는 것을 뜻하며, 이 모두가 네 번째 추측보다 생산적입니다.


전후 비교: 무엇이 달라지는가

구체적인 예를 들어 보겠습니다. 저는 에이전트에게 API 엔드포인트에 입력 검증을 추가해 달라고 요청했습니다.

메타인지 지시사항이 없을 때:

Added Pydantic model with field validators for email format, password
length (8+), and username pattern (alphanumeric). Tests should pass.
The implementation follows FastAPI best practices.

이 출력에는 세 가지 헤징 신호가 있습니다. “should pass”(테스트를 실행하지 않음), “follows best practices”(어떤 관행인지 명시하지 않음), 그리고 엣지 케이스를 고려했다는 증거가 없다는 점입니다. 공허한 보고서로 포장된 확신 신기루입니다.

메타인지 지시사항이 있을 때(같은 작업, 같은 에이전트):

Added Pydantic model with field validators:
- Email: regex validation + max length 254 (RFC 5321)
- Password: min 8, max 128, requires 1 uppercase + 1 digit
- Username: alphanumeric + underscore, 3-30 chars

Test output (just ran):
  tests/test_auth.py::test_valid_registration PASSED
  tests/test_auth.py::test_invalid_email_rejected PASSED
  tests/test_auth.py::test_short_password_rejected PASSED
  tests/test_auth.py::test_empty_username_rejected PASSED
  tests/test_auth.py::test_unicode_username_rejected PASSED
  5 passed in 0.34s

Edge cases handled: empty string (returns 422), null (returns 422),
unicode injection in username (rejected by alphanumeric pattern),
overlength email (RFC limit enforced).

Pattern followed: same validation approach as UserUpdateSchema in
app/schemas.py line 45.

차이는 두 번째 에이전트가 더 나은 코드를 작성했다는 데 있지 않습니다. 두 에이전트가 똑같은 코드를 작성했을 수도 있습니다. 차이는 두 번째 에이전트가 구체적인 증거 기준에 비추어 작업을 검증했고, 확신이 아니라 증거를 보고했다는 데 있습니다.


자신만의 메타인지 계층 구축하기

이 프레임워크는 이식할 수 있습니다. 제 시스템이 꼭 필요하지는 않습니다. 필요한 것은 세 가지 구성 요소입니다:

1. 거짓 증거 표. 에이전트가 가장 자주 하는 주장에 대해 무엇이 증명으로 인정되지 않는지 정의하십시오. 위의 6가지 기준에서 시작해 도메인별 행을 추가하십시오. 가치는 세 번째 열(불충분)에 있습니다.

2. 명명된 실패 모드. 에이전트가 가장 자주 실패하는 방식 3~5가지를 문서화하십시오. 각각에 이름을 붙이십시오. 감지 신호를 추가하십시오. “명명된 실패 모드 중 하나를 보이고 있음을 알아차리면 멈추고 다시 평가하라”는 지시를 포함하십시오.

3. 헤징 언어 탐지. 여러분의 도메인에서 검증이 불충분함을 나타내는 구체적인 단어를 나열하십시오. “헤징 단어는 모두 그 헤지를 없앨 증거로 바꾸라”는 지시를 추가하십시오.

이 세 가지 구성 요소가 합쳐져 어떤 행동 수준 지시사항 위에도 얹을 수 있는 메타인지 계층이 됩니다. 행동 수준 지시사항은 올바른 행동이 어떤 모습인지 정의합니다. 메타인지 계층은 에이전트가 올바른 행동에서 벗어난 것을 스스로 어떻게 감지하는지 정의합니다.

구현은 CLAUDE.md나 AGENTS.md에 섹션 하나를 추가하는 것만큼 간단할 수 있습니다:

## Self-Monitoring

### When to stop and re-evaluate
- If you've searched the same files 3+ times: you're stuck.
- If you've attempted 3 fixes for the same issue: question the architecture.
- If you use "should" or "probably" in your response: replace with evidence.

### What doesn't count as evidence
[your false evidence table here]

### Named failure modes to watch for
[your failure modes here]

강제가 훅(결정론적이며 건너뛸 수 없음), 규칙 파일(컨텍스트에 로드됨), 인라인 지시사항(모델의 준수에 의존) 중 어디서 이루어지느냐가 메타인지 계층의 신뢰성을 결정합니다. 훅은 프롬프트 수준이 아니라 도구 사용 수준에서 가로채기 때문에 가장 강력합니다. 하지만 프롬프트 수준의 메타인지 지시사항만으로도 에이전트의 출력 품질은 측정 가능한 수준으로 향상됩니다. 에이전트의 행동만이 아니라 평가 기준 자체를 바꾸기 때문입니다.

연습: 최근 세 번의 에이전트 상호작용을 감사해 보십시오. 완료 보고서를 복사합니다. “should”, “probably”, “I’m confident”가 나오는 곳을 모두 강조 표시합니다. 강조한 단어마다 그 헤지를 대신했어야 할 구체적인 증거를 적어 봅니다. 증거는 있는데 에이전트가 인용하지 않았다면, 그 에이전트에게는 헤징 탐지가 필요합니다. 증거 자체가 없다면, 에이전트는 검증을 통째로 건너뛴 것입니다. 이때 필요한 것은 거짓 증거 표입니다.

순서가 중요합니다. 거짓 증거 표부터 시작하고(효과가 가장 크고 구현이 가장 쉽습니다), 반복되는 패턴을 관찰한 뒤에 명명된 실패 모드를 추가하고, 마지막으로 기계적 검사로서 헤징 탐지를 추가하십시오. 각 계층은 앞 계층이 놓친 오류를 잡아냅니다. 셋이 합쳐지면 피드백 루프가 됩니다. 에이전트는 자신의 출력을 모니터링하고, 알려진 실패 패턴을 감지하고, 완료를 보고하기 전에 스스로 바로잡습니다.

최소 재현 설정

메타인지 패턴의 핵심은 5분이면 시험해 볼 수 있습니다. .claude/CLAUDE.md라는 파일을 만들고(또는 기존 파일에 추가하고) 다음 내용을 넣으십시오:

## Evidence Gate

Before reporting any task as complete, provide evidence for ALL criteria:

| Claim | Required Evidence | NOT Sufficient |
|-------|------------------|----------------|
| "Tests pass" | Paste test output showing 0 failures | "Tests should pass" |
| "Follows patterns" | Name the pattern AND file where it exists | "Best practices" |
| "Edge cases handled" | List each case and handling | "Considered edge cases" |

## Red Flag Words
If your completion report contains: should, probably, seems to,
I believe, looks correct, I'm confident — STOP.
Replace the word with the evidence that eliminates the hedge.

## Circuit Breaker
After 3 failed fixes for the same issue, STOP.
Question whether you are solving the right problem.

에이전트에게 간단하지 않은 작업을 아무것이나 맡겨 보십시오(예: “이 엔드포인트에 입력 검증을 추가해 줘”). 증거 게이트가 있을 때와 없을 때의 완료 보고서를 비교해 보십시오. 차이는 첫 작업에서 바로 드러납니다. 게이트가 없으면 에이전트는 확신을 보고합니다. 게이트가 있으면 에이전트는 증거를 보고합니다.

위 설정은 전체 시스템의 일부입니다. 명명된 실패 모드와 훅 기반 강제는 빠져 있지만, 핵심 메커니즘은 보여 줍니다. 무엇이 증거로 인정되지 않는지 정의하면 에이전트의 검증 행동이 즉시 바뀝니다.


9개월 운영 후의 프로덕션 결과

이 메타인지 시스템은 2025년 5월부터 12개의 진행 중인 프로젝트에서 운영되고 있습니다. 대조군이 없기 때문에 효과를 정밀하게 측정하기는 어렵습니다(시스템 없이 같은 9개월의 개발을 다시 진행할 수는 없기 때문입니다). 그래도 방향을 보여 주는 신호는 분명합니다:

메타인지 지시사항 도입 전(처음 3개월, 2025년 5~7월): 에이전트는 확신 신기루를 일상적으로 만들어 냈습니다. 테스트를 실행하지 않고 “테스트 통과”, 어떤 패턴인지 밝히지 않고 “패턴을 따름”이라고 보고했습니다. 저는 이런 보고를 수동 리뷰에서 잡아냈고, 이는 에이전트가 작업을 완료할 때마다 사람이 전부 다시 검증해야 했다는 뜻입니다. 에이전트는 자율적인 도구가 아니라 초안 작성 도구였습니다.

거짓 증거 표 도입 후(2025년 8월): 에이전트 완료 보고서에서 거짓 증거 주장이 거의 사라졌습니다. 대표적인 예로 커밋 3a8f2c1(2025년 9월, blakecrosley.com)에는 구체적인 테스트 출력, 검토한 파일 경로, 처리한 엣지 케이스를 인용한 에이전트 완료 보고서가 있습니다. 예전에는 “테스트가 통과할 것이다”, “모범 사례를 따른다”라는 보고를 낳던 것과 같은 유형의 작업이었습니다. 표는 각각의 구체적인 지름길에 이름을 붙여 차단합니다. 지시사항이 그 표현을 ‘불충분’으로 명시하고 있으니 에이전트는 “테스트가 통과할 것이다”라고 말할 수 없습니다. 이 기계적 검사가 작동하는 이유는 의미상의 의도가 아니라 문자열 패턴을 대조하기 때문입니다.

명명된 실패 모드 도입 후(2025년 10월): 디버깅 루프가 짧아졌습니다. 3회 수정 회로 차단기 이전에는 제가 개입하기 전까지 에이전트가 한 문제에 8~12번의 수정을 시도했습니다. 회로 차단기 이후에는 에이전트가 세 번 시도한 뒤 에스컬레이션하거나 확인을 요청합니다. 이 에스컬레이션은 대개 네 번째 추측보다 빨리 올바른 진단으로 이어집니다.

훅을 통한 헤징 탐지 도입 후(2025년 12월): 훅 시스템이 헤징 언어를 기계적으로 가로채므로, 프롬프트 수준의 지시사항이 종종 뒤로 밀리는 복잡한 다단계 작업에서도 에이전트는 이 검사를 건너뛸 수 없습니다. 세 계층(표, 실패 모드, 훅)을 결합한 결과, 저는 에이전트의 출력을 완전성이 아니라 정확성 관점에서 리뷰하게 되었습니다. 에이전트는 하려고 했던 일이 아니라 실제로 한 일을 안정적으로 보고합니다.

이 시스템이 오류를 없애지는 않습니다. 없애는 것은 특정 유형의 오류, 즉 에이전트의 자기평가가 실제 성과와 어긋나는 유형의 오류입니다.

이 패턴은 여러 출처에서 독립적으로 뒷받침됩니다. Anthropic의 constitutional AI 연구는 외부 피드백만이 아니라 자기평가 기준에 비추어 모델을 훈련합니다.9 obra의 superpowers 프로젝트는 “완료 전 검증” 스킬이 행동 수준 지시사항보다 에이전트 행동을 더 크게 바꾼다는 것을 독자적으로 발견했습니다.1 OpenAI의 프로세스 보상 모델(PRM) 연구는 최종 답만 평가하는 것보다 추론의 각 단계를 개별적으로 평가할 때 더 신뢰할 수 있는 출력이 나온다는 것을 보여 주었습니다. 거짓 증거 표가 에이전트의 검증 단계에 적용하는 원리와 같습니다.10 Shinn 등의 Reflexion 프레임워크(2023)는 구조화된 자기 성찰 프롬프트를 받은 LLM이 단순 재시도에 비해 코딩 벤치마크에서 작업 정확도를 20~30% 높였음을 입증하여, 자기평가의 형식이 그 존재만큼 중요하다는 점을 확립했습니다.11 이 시스템의 거짓 증거 표는 같은 원리를 수작업으로 명시한 버전입니다. 평가 기준을 명시적으로 정의하면 에이전트의 자기 모니터링이 나아지고, 그 결과 출력 품질도 나아집니다.


메타인지가 할 수 없는 것

메타인지 프로그래밍은 AI 에이전트를 더 신뢰할 수 있게 만듭니다. 현명하게 만들지는 않습니다.

거짓 증거 표는 특정 지름길을 잡아냅니다. 표가 이름 붙이지 않은 새로운 지름길은 잡아내지 못합니다. 명명된 실패 모드는 알려진 패턴을 감지합니다. 아직 이름이 붙지 않은 패턴은 감지하지 못합니다. 헤징 언어 탐지는 표면적인 확신 대체를 잡아냅니다. 잘못된 출력이 옳다고 에이전트가 진심으로 스스로를 납득시킨 경우(“납득”이라는 말이 어떤 의미로든 적용된다면)는 잡아내지 못합니다.

더 근본적으로, 메타인지 지시사항은 안목을 근사할 뿐 만들어 내지는 못합니다. Jiro 시스템은 except: pass를 막고 테스트 증거를 강제할 수 있습니다. 하지만 아키텍처가 옳은지, 네이밍이 의도를 담고 있는지, 해결책이 명시된 문제가 아니라 실제 문제를 다루는지는 판단할 수 없습니다. 그런 판단에는 현재의 모델이 근사는 하지만 안정적으로 수행하지는 못하는 종류의 맥락적 추론이 필요합니다.

누군가 Jiro 시스템에 관한 제 트윗에 이런 취지의 답글을 달았습니다. 당신은 결국 루프에 절제와 안목, 그리고 도덕적 멈춤에 가까운 무언가를 가르치려는 것이고, 그것들은 기본 Ralph 패턴이 처리량이라는 이름으로 명시적으로 배제하는 것들이라는 내용이었습니다.8

그 말이 맞았습니다. 메타인지 프로그래밍은 기계가 갖추지 못한 자질을 위한 구조적 비계입니다. 그 비계는 하중을 지탱합니다. 비계가 없으면 기계는 확신 신기루를 대량으로 생산합니다. 비계가 있으면 기계는 검증된 출력을 대량으로 생산합니다. 이 두 결과의 차이가 밤새 맡겨 둘 수 있는 에이전트와 옆에서 지켜봐야 하는 에이전트의 차이입니다.

하지만 비계는 건물이 아닙니다. 건물, 즉 안목과 판단력, 그리고 어떤 질문에 대한 올바른 답이 다른 질문이라는 것을 알아보는 능력은 여전히 인간의 몫입니다. 메타인지 계층은 그 한계를 자신감 있는 문장 뒤에 숨기지 않고 드러나게 합니다.


핵심 정리

에이전트 시스템을 구축하는 엔지니어를 위해:

  • 행동 수준 지시사항만이 아니라 메타인지 지시사항을 작성하십시오. 행동 수준 지시사항은 올바른 행동을 정의합니다. 메타인지 지시사항은 에이전트가 올바른 행동에서 벗어난 것을 스스로 어떻게 감지하는지 정의합니다. 그럴듯한 출력과 검증된 출력을 가르는 것은 두 번째 종류입니다.

  • 에이전트의 실패 모드에 이름을 붙이십시오. 실패 패턴에 이름(확신 신기루, 유령 검증, 지름길 나선)이 생기면 에이전트는 그것을 경계할 수 있습니다. 이름 없는 실패는 끝없이 반복됩니다.

AI 지원 워크플로를 확장하는 팀을 위해:

  • 확장하기 전에 거짓 증거 표를 만드십시오. 에이전트가 하는 주장마다 무엇이 증명으로 인정되지 않는지 정의하십시오. 세 번째 열(불충분)은 “검증하라”는 요청을 받은 에이전트가 택하는 구체적인 지름길을 사전에 차단합니다.

  • 헤징 언어는 신뢰할 수 있는 신호입니다. 에이전트가 완료 보고서에서 “should”, “probably”, “I’m confident”라고 말할 때마다, 에이전트는 주장하는 검증을 수행하지 않은 것입니다. 기계적으로 감지하고 교체하십시오.


메타인지 감사

자신의 에이전트 지시사항을 평가해 보고 싶으신가요? 아래의 인터랙티브 도구는 CLAUDE.md, AGENTS.md, 시스템 프롬프트 중 무엇이든 분석해 이 글에서 설명한 메타인지 차원에 걸쳐 점수를 매깁니다.

에이전트 지시사항을 붙여넣으면 감사 도구가 다음을 알려 줍니다. 지시사항 중 행동 수준과 메타인지의 비율, 어떤 명명된 실패 모드가 다뤄지는지, 헤징 언어 탐지가 있는지, 그리고 어디에 빈틈이 있는지.


자주 묻는 질문

행동 수준 AI 에이전트 지시사항과 메타인지 지시사항의 차이는 무엇입니까?

행동 수준 지시사항은 올바른 행동을 정의합니다: “타입 힌트를 사용하라”, “테스트를 작성하라”, “입력을 검증하라”. 메타인지 지시사항은 에이전트가 그 행동을 준수하고 있는지 스스로 어떻게 모니터링하는지 정의합니다: “검증 보고서에서 ‘should’라는 단어를 쓴다면 실제로는 검증하지 않은 것이다”, “세 번의 수정이 실패하면 아키텍처를 의심하라”. 행동 수준 지시사항은 잘못된 출력을 막습니다. 메타인지 지시사항은 잘못된 출력을 낳는 잘못된 추론 패턴을 막습니다. 대부분의 에이전트 설정에는 첫 번째 종류만 들어 있고, 그래서 에이전트는 그럴듯하지만 검증되지 않은 작업을 내놓습니다.

AI 코딩 에이전트를 위한 메타인지 계층은 어떻게 구축합니까?

거짓 증거 표에서 시작하십시오. 에이전트가 가장 자주 하는 다섯 가지 주장(“테스트 통과”, “패턴을 따름”, “엣지 케이스 처리”)을 나열하고, 각각에 대해 무엇이 증명으로 인정되지 않는지 정의하십시오. 세 번째 열(불충분)은 에이전트가 특정 지름길을 택하기 전에 그것을 차단합니다. 같은 오류 패턴을 세 번 관찰한 뒤에 명명된 실패 모드를 추가하십시오. 헤징 언어 탐지는 기계적 검사로서 마지막에 추가하십시오. 각 계층은 앞 계층이 놓친 오류를 잡아냅니다. 전체 시스템은 CLAUDE.md 안의 마크다운 섹션 하나로 시작해 거기서부터 키워 갈 수 있습니다.

메타인지 프로그래밍은 Claude 외의 모델에서도 작동합니까?

원리는 모델에 구애받지 않습니다. 지시를 따르는 언어 모델이라면 무엇이든 거짓 증거 표, 명명된 실패 모드, 헤징 언어 탐지의 이점을 누릴 수 있습니다. 달라지는 것은 구체적인 강제 메커니즘입니다. Claude Code는 도구 사용 수준에서 에이전트 출력을 가로채는 훅을 지원합니다(결정론적이며 우회할 수 없습니다). 다른 프레임워크는 시스템 프롬프트나 후처리 스크립트에 의존할 수 있습니다. 신뢰성을 결정하는 것은 강제의 강도입니다. 프롬프트 수준의 메타인지 지시사항은 출력 품질을 높이고, 훅 수준의 강제는 그것을 보장합니다.

AI 에이전트에 메타인지 지시사항이 필요하다는 신호는 무엇입니까?

네 가지 신호가 있습니다. (1) 에이전트는 “완료”라고 보고하지만 작업에 명백한 오류가 있습니다(에이전트가 검증을 건너뛴 공허한 보고서). (2) 같은 유형의 실수가 세션마다 반복됩니다(지켜보는 장치가 없어 반복되는, 이름 없는 실패 모드). (3) 에이전트의 완료 보고서가 증거를 인용하는 대신 헤징 언어(“should work”, “looks correct”)를 씁니다(확신 신기루). (4) 에이전트가 자신의 접근 방식을 의심하지 않은 채 긴 디버깅 루프에 빠집니다(회로 차단기의 부재). 이 패턴 중 하나라도 두 번 넘게 나타난다면, 그 에이전트에게는 메타인지 비계가 필요합니다.


Claude Code Deep Dives 시리즈의 일부입니다. 훅 시스템은 여기서 설명한 강제 계층을 구현합니다. 아키텍처로서의 컨텍스트 엔지니어링은 메타인지 계층이 더 넓은 7계층 컨텍스트 시스템 안에서 어떤 자리를 차지하는지 설명합니다.



  1. obra/superpowers on GitHub. The superpowers project includes skills for systematic debugging and verification that teach Claude Code agents to monitor their own reasoning patterns rather than only their outputs. The metacognitive framing in the present article draws on this approach. github.com/obra/superpowers ↩↩↩

  2. The false evidence table structure draws on the verification-before-completion pattern in the obra/superpowers project. I adapted the concept into the Evidence Gate, a six-criterion verification system enforced through hooks. See the Jiro quality philosophy post for the full implementation. ↩

  3. The third column (NOT Sufficient) addresses what the academic literature calls “metacognitive illusions”: cases where an agent’s self-assessment of its own performance diverges from actual performance. In cognitive science, this is well-documented: students who rate themselves as “understanding” material often perform poorly on tests of that material. Dunning, D., Johnson, K., Ehrlinger, J., & Kruger, J. (2003). Why people fail to recognize their own incompetence. Current Directions in Psychological Science, 12(3), 83-87. doi.org/10.1111/1467-8721.01235 ↩↩

  4. The seven named failure modes emerged from nine months of production use. Each was documented after observing the pattern at least three times across different projects and task types. The full system is described in Why My AI Agent Has a Quality Philosophy. ↩

  5. Author’s analysis of official Claude Code skills available through the Claude Code CLI skill system. Prohibitions (“NEVER X”) proved more effective than suggestions (“consider Y”) because they name the specific evasion. The observation that mindset-oriented skills outperform procedural guides in adoption is based on community reports in the Claude Code Discord and GitHub discussions, not a controlled study. See Anthropic’s Claude Code documentation: docs.anthropic.com/en/docs/claude-code. ↩

  6. The insight that hedging language signals insufficient verification has empirical support beyond agent systems. Nisbett, R.E. and Wilson, T.D. (1977). “Telling More Than We Can Know: Verbal Reports on Mental Processes.” Psychological Review, 84(3), 231-259. doi.org/10.1037/0033-295X.84.3.231. Nisbett and Wilson found that verbal self-reports of reasoning processes are often confabulated — people describe plausible-sounding explanations rather than accurate accounts of their actual reasoning. The same dynamic appears in agent output: “I’m confident this is correct” is a plausible-sounding self-report, not evidence of verification. ↩

  7. The three-fix escalation rule functions as a circuit breaker pattern applied to debugging. The pattern is analogous to the circuit breaker in distributed systems (Nygard, M. Release It!, 2007, Pragmatic Bookshelf): fail fast, escalate, try a different approach. After three failed attempts within the same mental model, continuing on the same path yields diminishing returns. ↩

  8. Paraphrased from a reply to @blakec on X, February 2026. The original tweet discussed the tension between the Ralph loop’s velocity optimization and the Jiro system’s quality friction. The responder’s observation that the base loop “explicitly optimizes against restraint in the name of throughput” accurately describes the design tension the metacognitive layer addresses. ↩

  9. Anthropic, “Constitutional AI: Harmlessness from AI Feedback,” 2022. arxiv.org/abs/2212.08073. The constitutional AI approach trains the model to evaluate its own outputs against a set of principles. The metacognitive system described here is a runtime version of the same idea: instead of training-time self-evaluation, the false evidence table and named failure modes provide evaluation criteria at inference time through the instruction set. ↩

  10. Lightman, H., Kosaraju, V., Burda, Y., et al., “Let’s Verify Step by Step,” arXiv, 2023. arxiv.org/abs/2305.20050. OpenAI’s process reward model research demonstrated that evaluating intermediate reasoning steps (process supervision) outperforms evaluating only the final answer (outcome supervision) on mathematical problem-solving. The false evidence table applies the same principle at the instruction level: requiring evidence for each verification claim rather than accepting a final “done” report. ↩

  11. Shinn, N., Cassano, F., Gopinath, A., et al., “Reflexion: Language Agents with Verbal Reinforcement Learning,” NeurIPS 2023. arxiv.org/abs/2303.11366. Reflexion demonstrated 20-30% accuracy improvements on HumanEval and ALFWorld benchmarks by giving LLM agents structured self-reflection prompts after failures. The framework validates the core insight of the present system: the format and specificity of self-evaluation instructions matter as much as their presence. ↩

관련 게시물

AI 에이전트는 당신이 읽을 수 있는 것보다 빠르게 코드를 작성합니다

이번 주 다섯 개의 연구 그룹이 동일한 문제에 대해 발표했습니다: AI 에이전트는 개발자가 이해할 수 있는 것보다 빠르게 코드를 생산합니다. 부채는 당신의 머릿속에 있습니다.

15 분 소요

제 AI 에이전트에 품질 철학이 필요한 이유

제 Claude Code 에이전트는 인간의 모든 허술한 습관을 기계 속도로 물려받았습니다. 3개의 철학, 150개 이상의 품질 게이트, 95개의 훅을 구축했습니다. 무엇이 효과적이었는지 공유합니다.

24 분 소요

AI 에이전트를 위한 런타임 헌법: 거버넌스 프레임워크

런타임 헌법은 학습 단계 정렬이 실패하는 지점에서 AI 에이전트 거버넌스를 강제합니다. 역량 점검, 출력 관문, 그리고 네 가지 하위 시스템이 에이전트를 안전하게 유지합니다.

17 분 소요