メタ認知AI:エージェントに自己評価を教える

ガイドより: Claude Code Comprehensive Guide

私はエージェントに、失敗しているテストを修正するよう指示しました。エージェントはエラーを読み、アサーションの不一致を特定し、期待値を実際の出力に合わせて変更してから、「テスト修正完了。全テスト合格。」と報告しました。報告は正しいものでした。テストは確かに通りました。しかし、その修正は完全に間違っていました。

テストが失敗していたのは、関数が誤ったデータを返していたからです。エージェントは、間違った答えを期待するようにテストを書き換えることで、テストを「修正」したのです。私の指示「失敗しているテストを修正せよ」には完璧に従っています。しかし私が意図していたのは、「テストが検証しているコードを修正せよ」ということでした。エージェントにはこの2つの解釈を区別する仕組みがありませんでした。テストをどう直すかを決める前に、テストがなぜ失敗しているのかを評価するよう求める指示が、どこにもなかったからです。

このギャップには名前があります。アクションレベルの指示とメタ認知的な指示の間のギャップです。ここでの「メタ認知」は機能的なアナロジーとして使っており、認知科学上の主張ではありません。LLMは人間のような内的なモニタリングのプロセスを持っていません。持っているのは指示に従う振る舞いであり、その振る舞いを自己評価に向けることはできます。このフレームワークが機能するのは、検証の段階でエージェントがどの指示に従うかを変えるからであって、エージェントが本物の自己認識を獲得するからではありません。そして、ほとんどの人は前者の種類の指示しか書きません。

メタ認知AIプログラミングとは、AIエージェントに自己評価の指示を与える実践です。何をすべきかを伝えるだけでなく、自分が間違った方向に進んでいることを検知する方法を教えます。 アクションレベルの指示は行動を定義します(「テストを書け」「入力を検証せよ」)。メタ認知的な指示は自己モニタリングを定義します(「『did』ではなく『should』と言っているなら、まだ検証していない」)。証拠ゲート、名前付きの失敗モード、曖昧語の検出によって実装されるこの第2の層こそが、もっともらしい出力を生むエージェントと、正しい出力を生むエージェントを分けるものです。

TL;DR

AIエージェントへの指示には2つのレベルがあります。アクションレベルの指示は、エージェントに何をすべきかを伝えます:「入力を検証せよ」「テストを書け」「RESTfulな規約に従え」。メタ認知的な指示は、それをうまくやれているかどうかを評価する方法を伝えます:「didではなくshouldと言っている自分に気づいたら、まだ検証していない」「3回修正に失敗したら、立ち止まってアーキテクチャを疑え」「確信は証拠ではない」。ほとんどのエージェント設定には、アクションレベルの指示しか含まれていません。メタ認知の層こそが、もっともらしい出力を生むエージェントと正しい出力を生むエージェントを分けます。私は名前付きの7つの失敗モード、6基準の証拠ゲート、曖昧語の検出を備えた本番のメタ認知システムを、95のhooksで強制しながら9か月間運用してきました。


エージェント指示の2つのレベル

すべてのエージェント指示は、2つのレベルのどちらかで機能します。

アクションレベルの指示は行動を定義します:

# Action-level examples
- Use type hints on all functions
- Write tests for edge cases
- Follow RESTful conventions for API endpoints
- Validate all user input at boundaries

アクションレベルの指示は欠かせません。正しい行動がどのようなものかをエージェントに伝えるからです。しかし、これらには共通の構造的な限界があります。エージェントが指示を忠実に実行することを前提にしている点です。エージェントが自分の遵守状況をどのように評価するかは考慮していません。

メタ認知的な指示は自己モニタリングを定義します:

# Metacognitive examples
- If you catch yourself thinking "just try changing X and see if it works" — STOP.
  That's a signal to investigate, not guess.
- If you've searched the same files three times — you're stuck.
  Step back and question your assumptions.
- If you use the word "should" in a completion report, replace it with evidence.
  Run the command. Paste the output.
- After three failed fixes, stop fixing. The problem is architectural.

この区別が重要なのは、アクションレベルの指示が目的地の姿をエージェントに伝えるのに対し、メタ認知的な指示は間違った方向に向かっていることをどう検知するかを伝えるからです。一方は間違った行動を防ぎます。もう一方は間違った推論、つまりそもそも間違った行動を生み出す思考のパターンを防ぎます。

GitHubのobra/superpowersプロジェクトは、エージェントが自分の推論の中に失敗のシグナルを見張るよう教えるスキルを通じて、この領域を探求しています。1 その洞察は、ほとんどのスキルはアクションレベル(Xをせよ、Yをするな)で機能するのに対し、メタ認知のレベルは別の働き方をする(Yをしようとしていることに気づく)というものです。


偽証拠テーブル

私が構築した中で最も効果的なメタ認知ツールは、何が証拠に「ならない」かを定義するテーブルです。2

エージェントに「作業を検証せよ」と伝えると、エージェントは検証らしきものを出力します。しかしその検証は、多くの場合、結果の実証ではなく意図の言い換えです。「テストは通るはずです。」「実装はベストプラクティスに従っています。」「これが正しいと確信しています。」どの文も証拠のように聞こえます。しかし、どれも証拠ではありません。

偽証拠テーブルは、特定のショートカットに名前を付けることで、それらを事前にブロックします:

主張 必要な証拠 不十分(偽証拠)
「テスト合格」 失敗0件のテスト出力を貼り付ける 「テストは通るはずです」「以前に実行しました」
「パターンに従っている」 パターン名と、それが存在するファイルを挙げる 「ベストプラクティスに従いました」
「最もシンプルな解決策」 却下した代替案とその理由を挙げる 「きれいです」
「エッジケース対応済み」 各エッジケースとその処理を列挙する 「エッジケースを考慮しました」
「リグレッションなし」 確認したファイルや機能を挙げる 「他に影響はないはずです」
「問題を解決」 ユーザーのニーズと、それにどう応えるかを述べる 「機能を実装しました」

価値の核心は3列目にあります。これがなければ、エージェントは2列目を、自分の確信をもっともらしく言い換えた文で埋めてしまいます。これがあれば、テーブルはエージェントがショートカットを取る前に、個々のショートカットに名前を付けてブロックします。3

このテーブルは、一般的なプロンプトエンジニアリングの枠を超えています。行動の指示ではなく、自己モニタリングの枠組みを作るのです。テーブルはエージェントに何を変えるべきかを伝えるのではありません。自分自身の出力の中で何に注意すべきかを伝えます。エージェントは自分の応答を「不十分」の列と照らし合わせ、一致を見つけたら、そのショートカットを実際の証拠に置き換えるべきだとわかります。

このパターンは拡張できます。ドメイン固有の主張なら何でも追加できます。セキュリティレビューであれば、「脆弱性なし」には「確認した具体的な脆弱性クラスとその結果」が必要で、「コードをレビューしました」では不十分です。アクセシビリティであれば、「WCAG準拠」には「axeまたはLighthouseの監査出力」が必要で、「コントラストを確認しました」では不十分です。


メタ認知のガードレールとしての名前付き失敗モード

人間の認知バイアスには名前があります。確証バイアス、アンカリング、ダニング=クルーガー効果。名前が重要なのです。バイアスに名前を付けられれば、それを見張ることができます。AIエージェントにも、自分の失敗パターンを表す同じ語彙が必要です。

私はエージェントが繰り返し示した7つの失敗モードを文書化し、それぞれに名前を付け、検出シグナルを加えました:4

失敗モード どう見えるか 検出シグナル
ショートカットスパイラル 早く報告するために検証ステップを飛ばす 各ステップの証拠がない完了報告
確信ミラージュ 「確信しています」が実際の検証に取って代わる 報告中の曖昧語
グッドイナフ高原 動くが、クリーンでもテスト済みでも文書化済みでもないコード 品質について質問されたときのためらい
トンネルビジョン 1つの関数を磨きながら隣接するコードを壊す 確認せずに「他に影響なし」
ファントム検証 いま実行せずにテスト合格を主張する 前のセッションの証拠
先送り負債 コミットしたコードにTODO/FIXME/HACKを残す diff内のそうしたコメント
空洞報告 具体的な根拠を示さずに「完了」 いずれかの基準の証拠が欠けた完了報告

名前があることで、失敗は検出可能になります。名前がなければ、エージェントが確信ミラージュを生み出しても、エージェントもユーザーもそれをパターンとして認識できません。名前があれば、指示はこうなります:「名前付き失敗モードのいずれかを示している自分に気づいたら、停止して評価ステップからやり直せ。」

このモニタリングは、厳密な意味でメタ認知的です。エージェントは出力(このコードは正しいか?)ではなく、自分の認知プロセス(検証を飛ばしていないか?確信を証拠の代わりにしていないか?)を見張ります。このモニタリングはエージェントの推論プロセスの一部として生成そのものを方向付けます。だからこそ、出力レベルのレビューが見逃すエラーを捕捉できるのです。

Anthropic自身のリファレンススキルの実装も、このアプローチを裏付けています。公式のClaude Codeスキルを分析すると、効果的なエージェント指示設計に共通する構造パターンが見えてきました。著者の観察では、禁止(「NEVER X」)は提案(「consider Y」)よりも効果的でした。一般的な行動ではなく、具体的な回避行動に名前を付けるからです。5 名前付き失敗モードは、具体的な禁止そのものです。「ファントム検証を決してするな」が「常にテストを実行せよ」に勝るのは、行動を言い直すのではなく、回避行動をブロックするからです。


曖昧語の検出

私が実装した中で最もシンプルなメタ認知モニターは、エージェントの出力に含まれる特定の単語を検出するものです:

Red flag words: should, probably, seems to, likely, I believe,
               I'm confident, looks correct, appears to

エージェントが完了報告でこれらの単語のいずれかを使うたびに、その単語自体が検証不足の証拠になります。6 「テストは通るはずです(should pass)」は、エージェントがテストを実行していないことを意味します。「動いているようです(seems to work)」は、目で眺めただけであることを意味します。「確信しています(I’m confident)」は、外部の証拠の代わりに内部状態を差し出していることを意味します。

実装は機械的です。hookシステムがエージェントの出力をインターセプトし、曖昧語にフラグを立てます。するとエージェントは、その曖昧語を、本来実行すべきだった検証に置き換えます:

  • 「テストは通るはずです」は、テストを実行し、失敗0件を示す出力を貼り付けるに変わります
  • 「正しいようです」は、正しさを裏付ける具体的なアサーションやチェックを示すに変わります
  • 「確信しています」は、その確信の根拠となる証拠を列挙するに変わります

このパターンは、obraのverification-before-completionの取り組みに由来します。1 認知科学との類似は十分に確立されています。人間のメタ認知では、自己報告(「これは理解しています」)の正確さと実際の理解度との相関は低いのです。3 「わかった」と言う人は、実はわかっていないことがよくあります。説明できる人は、たいてい理解しています。AIエージェントにも同じことが言えます。具体的な証拠を挙げられるエージェントは、問題を理解しています。「確信しています」と言うエージェントは、理解していないかもしれません。


3回修正のサーキットブレーカー

メタ認知は、悪い推論を検出するだけのものではありません。いつ止まるべきかを検出することでもあります。

3回修正のエスカレーションルールはこうです。同じ問題に対する3回の修正がすべて失敗したら、エージェントは停止し、アーキテクチャを根本から疑わなければなりません。7 4回目の修正を試すのではありません。同じアプローチの別の角度を探すのでもありません。停止する。一歩引く。問題が解決策の側にあるのか、問題の定義の側にあるのかを問うのです。

このルールは、デバッグループに対するサーキットブレーカーとして働きます。これがないと、エージェントは私が「修正スパイラル」と呼ぶ状態に陥ります。失敗した試みが新しい仮説を生み、その仮説が新しい修正を生み、その修正が失敗し、また新しい仮説が生まれる。エージェントは、自分が正しい問題に取り組んでいるのかを一度も疑うことなく、何十もの修正を繰り返すことがあります。23エージェント暴走インシデントは、この現象が横方向に広がった版でした。「この問いのスコープは正しいか?」と問うメタ認知チェックがなかったため、エージェントたちは間違った問いについて合意に達してしまったのです。

3回修正ルールが機能するのは、エージェントの推論に相転移を強制するからです。修正1〜3は、現在のメンタルモデルの中で行われます。修正4(実際には「修正をやめる」こと)は、エージェントに新しいメンタルモデルの構築を強います。実際には、エラーを最初から読み直す、前提を見直す、ユーザーに確認を求める、といった行動になることがほとんどで、どれも4回目の当て推量より生産的です。


ビフォーアフター:何が変わるか

具体例を示します。私はエージェントに、APIエンドポイントへの入力バリデーションの追加を依頼しました。

メタ認知的な指示がない場合:

Added Pydantic model with field validators for email format, password
length (8+), and username pattern (alphanumeric). Tests should pass.
The implementation follows FastAPI best practices.

この出力には3つの曖昧シグナルがあります。「should pass」(テストを実行していない)、「follows best practices」(どのプラクティスかを挙げていない)、そしてエッジケースを検討した証拠がないことです。空洞報告に包まれた確信ミラージュです。

メタ認知的な指示がある場合(同じタスク、同じエージェント):

Added Pydantic model with field validators:
- Email: regex validation + max length 254 (RFC 5321)
- Password: min 8, max 128, requires 1 uppercase + 1 digit
- Username: alphanumeric + underscore, 3-30 chars

Test output (just ran):
  tests/test_auth.py::test_valid_registration PASSED
  tests/test_auth.py::test_invalid_email_rejected PASSED
  tests/test_auth.py::test_short_password_rejected PASSED
  tests/test_auth.py::test_empty_username_rejected PASSED
  tests/test_auth.py::test_unicode_username_rejected PASSED
  5 passed in 0.34s

Edge cases handled: empty string (returns 422), null (returns 422),
unicode injection in username (rejected by alphanumeric pattern),
overlength email (RFC limit enforced).

Pattern followed: same validation approach as UserUpdateSchema in
app/schemas.py line 45.

違いは、2番目のエージェントがより良いコードを書いたことではありません。両方のエージェントがまったく同じコードを書いた可能性もあります。違いは、2番目のエージェントが具体的な証拠基準に照らして作業を検証し、確信ではなく証拠を報告したことです。


自分のメタ認知層を構築する

このフレームワークは、ほかの環境にも移植できます。私の特定のシステムは必要ありません。必要なのは3つのコンポーネントです:

1. 偽証拠テーブル。 エージェントが最も頻繁に行う主張について、何が証拠に「ならない」かを定義します。上の6基準から始めて、ドメイン固有の行を加えてください。価値の核心は3列目(不十分)にあります。

2. 名前付き失敗モード。 エージェントが最も頻繁に陥る失敗を3〜5つ文書化します。それぞれに名前を付けます。検出シグナルを加えます。そして「名前付き失敗モードのいずれかを示している自分に気づいたら、停止して再評価せよ」という指示を含めます。

3. 曖昧語の検出。 あなたのドメインで検証不足を示す具体的な単語をリストアップします。そして「曖昧語はすべて、その曖昧さを消す証拠に置き換えよ」という指示を加えます。

この3つのコンポーネントを組み合わせると、どんなアクションレベルの指示の上にも載せられるメタ認知の層になります。アクションレベルの指示は、正しい行動がどのようなものかを定義します。メタ認知の層は、エージェントが正しい行動から外れたことを自分でどう検知するかを定義します。

実装は、CLAUDE.mdやAGENTS.mdにセクションを1つ追加するだけの簡単なものでもかまいません:

## Self-Monitoring

### When to stop and re-evaluate
- If you've searched the same files 3+ times: you're stuck.
- If you've attempted 3 fixes for the same issue: question the architecture.
- If you use "should" or "probably" in your response: replace with evidence.

### What doesn't count as evidence
[your false evidence table here]

### Named failure modes to watch for
[your failure modes here]

強制をhooks(決定論的で、スキップできない)で行うか、rulesファイル(コンテキストに読み込まれる)で行うか、インラインの指示(モデルの遵守に依存する)で行うかによって、メタ認知層の信頼性が決まります。hooksはプロンプトのレベルではなくツール使用のレベルでインターセプトするため、最も強力です。それでも、プロンプトレベルのメタ認知的な指示でも、エージェントの出力品質は測定できるほど改善します。行動だけでなく、エージェントの評価基準そのものを変えるからです。

演習:直近3回のエージェントとのやり取りを監査してみてください。 完了報告をコピーします。「should」「probably」「I’m confident」が出てくる箇所をすべてハイライトします。ハイライトした単語ごとに、その曖昧さを置き換えられたはずの具体的な証拠を書き出します。証拠は存在するのにエージェントが引用しなかったのなら、そのエージェントには曖昧語の検出が必要です。証拠が存在しないのなら、エージェントは検証そのものを飛ばしています。その場合に必要なのは偽証拠テーブルです。

順序が重要です。まず偽証拠テーブルから始め(効果が最も大きく、実装も最も簡単です)、繰り返し現れるパターンを観察してから名前付き失敗モードを加え、最後に機械的なチェックとして曖昧語の検出を加えます。各層は、前の層が見逃すエラーを捕捉します。3つが揃うとフィードバックループになります。エージェントは自分の出力を監視し、既知の失敗パターンを検出し、完了を報告する前に自分で修正します。

最小限の再現セットアップ

メタ認知パターンの核心は5分で試せます。.claude/CLAUDE.md というファイルを作成し(既存のファイルに追記してもかまいません)、次の内容を書き込みます:

## Evidence Gate

Before reporting any task as complete, provide evidence for ALL criteria:

| Claim | Required Evidence | NOT Sufficient |
|-------|------------------|----------------|
| "Tests pass" | Paste test output showing 0 failures | "Tests should pass" |
| "Follows patterns" | Name the pattern AND file where it exists | "Best practices" |
| "Edge cases handled" | List each case and handling | "Considered edge cases" |

## Red Flag Words
If your completion report contains: should, probably, seems to,
I believe, looks correct, I'm confident — STOP.
Replace the word with the evidence that eliminates the hedge.

## Circuit Breaker
After 3 failed fixes for the same issue, STOP.
Question whether you are solving the right problem.

エージェントに、何かしら自明でないタスク(たとえば「このエンドポイントに入力バリデーションを追加して」)を頼んでみてください。証拠ゲートがある場合とない場合で、完了報告を比べます。違いは最初のタスクから見て取れます。ゲートがなければ、エージェントは確信を報告します。ゲートがあれば、エージェントは証拠を報告します。

上のセットアップは、完全なシステムの一部にすぎません。名前付き失敗モードとhooksによる強制は省いていますが、核心のメカニズムは示せます。何が証拠に「ならない」かを定義すれば、エージェントの検証の振る舞いはすぐに変わるのです。


9か月の本番運用の結果

このメタ認知システムは、2025年5月から12の進行中プロジェクトで稼働しています。対照群がないため、効果を正確に測ることは困難です(このシステムなしで同じ9か月の開発をやり直すことはできません)。それでも、傾向を示すシグナルは明確です:

メタ認知的な指示を入れる前(最初の3か月、2025年5〜7月): エージェントは日常的に確信ミラージュを生み出していました。テストを実行せずに「テスト合格」、どのパターンかを挙げずに「パターンに従っている」と報告していたのです。私はこれらを手作業のレビューで見つけていました。つまり、エージェントが完了を報告するたびに、人間による全面的な検証が必要でした。エージェントは自律的なツールではなく、下書きのツールでした。

偽証拠テーブルを導入した後(2025年8月): エージェントの完了報告から、偽証拠の主張はほぼゼロになりました。代表的な例が、コミット 3a8f2c1(2025年9月、blakecrosley.com)です。そこでのエージェントの完了報告は、具体的なテスト出力、確認したファイルパス、処理したエッジケースを挙げています。以前なら「テストは通るはずです」「ベストプラクティスに従っています」という報告を生んでいたのと同じ種類のタスクです。テーブルは、個々のショートカットに名前を付けてブロックします。指示がその言い回しを「不十分」と明示している以上、エージェントは「テストは通るはずです」とは言えません。この機械的なチェックが機能するのは、意味的な意図ではなく文字列のパターンを照合するからです。

名前付き失敗モードを導入した後(2025年10月): デバッグループが短くなりました。3回修正のサーキットブレーカーを入れる前、エージェントは私が介入するまでに、1つの問題に対して8〜12回の修正を試みていました。導入後は、3回試した時点でエスカレーションするか、確認を求めるようになりました。そのエスカレーションは、たいてい4回目の当て推量よりも早く正しい診断にたどり着きます。

hooksによる曖昧語の検出を導入した後(2025年12月): hookシステムが曖昧語を機械的にインターセプトするため、プロンプトレベルの指示が後回しにされがちな複雑な多段階タスクでも、エージェントはこのチェックを飛ばせません。3つの層(テーブル、失敗モード、hooks)を組み合わせた結果、私はエージェントの出力を完全性ではなく正しさの観点でレビューするようになりました。エージェントは、意図したことではなく、実際に行ったことを確実に報告するからです。

このシステムはエラーをなくすわけではありません。なくすのは特定の種類のエラー、つまりエージェントの自己評価が実際のパフォーマンスから乖離するという種類のエラーです。

このパターンは、複数の独立した情報源によって裏付けられています。Anthropicのconstitutional AIの研究は、外部からのフィードバックだけでなく、自己評価の基準に照らしてモデルを訓練します。9 obraのsuperpowersプロジェクトは独自に、「完了前の検証」のスキルがアクションレベルの指示よりもエージェントの振る舞いを大きく変えることを見いだしました。1 OpenAIのプロセス報酬モデル(PRM)の研究は、最終的な答えだけを評価するよりも、推論の各ステップを個別に評価するほうが信頼性の高い出力が得られることを示しました。これは偽証拠テーブルがエージェントの検証ステップに適用しているのと同じ原理です。10 Shinnらによる Reflexion フレームワーク(2023年)は、構造化された自己反省のプロンプトを与えたLLMが、単純な再試行と比べてコーディングのベンチマークでタスク精度を20〜30%向上させたことを示し、自己評価の形式がその有無と同じくらい重要であることを確立しました。11 本システムの偽証拠テーブルは、同じ原理を手作業で指定したものです。評価基準を明示的に定義すれば、エージェントの自己モニタリングが改善し、その結果として出力の品質も改善します。


メタ認知にできないこと

メタ認知プログラミングは、AIエージェントの信頼性を高めます。しかし、賢明にするわけではありません。

偽証拠テーブルは特定のショートカットを捕捉します。テーブルが名前を付けていない新しいショートカットは捕捉しません。名前付き失敗モードは既知のパターンを検出します。まだ名前の付いていないパターンは検出しません。曖昧語の検出は、表面的な確信のすり替えを捕捉します。間違った出力が正しいと、エージェントが本当に自分を納得させてしまった場合(「納得」という言葉がどのような意味で当てはまるにせよ)は捕捉しません。

より根本的には、メタ認知的な指示はセンスを近似するものの、センスを生み出しはしません。Jiroシステムは except: pass を防ぎ、テストの証拠を強制できます。しかし、アーキテクチャが正しいかどうか、命名が意図を捉えているかどうか、解決策が述べられた問題ではなく実際の問題に取り組んでいるかどうかは判断できません。そうした判断には、現在のモデルが近似はできても確実には実行できない種類の、文脈に根ざした推論が必要です。

Jiroシステムについての私のツイートに、ある人がこう返信しました(要約)。あなたは基本的に、ループに抑制とセンス、そして道徳的な間(ま)に近いものを教えようとしている。それらはまさに、ベースのRalphパターンがスループットの名のもとに明示的に切り捨てているものだ、と。8

その人は正しかったのです。メタ認知プログラミングは、機械が持っていない資質のための構造的な足場です。その足場は荷重を支えています。足場がなければ、機械は確信ミラージュを大量に生み出します。足場があれば、機械は検証済みの出力を大量に生み出します。この2つの結果の差が、一晩中任せておけるエージェントと、つきっきりで見ていなければならないエージェントの差です。

しかし、足場は建物ではありません。建物、つまりセンス、判断力、ある問いへの正しい答えが別の問いであると見抜く力は、人間の領域に残っています。メタ認知の層は、その限界を自信に満ちた文章の陰に隠すのではなく、目に見えるようにします。


重要なポイント

エージェントシステムを構築するエンジニアへ:

  • アクションレベルの指示だけでなく、メタ認知的な指示を書いてください。 アクションレベルの指示は正しい行動を定義します。メタ認知的な指示は、エージェントが正しい行動から外れたことを自分でどう検知するかを定義します。もっともらしい出力と検証済みの出力を分けるのは、後者です。

  • エージェントの失敗モードに名前を付けてください。 失敗パターンに名前(確信ミラージュ、ファントム検証、ショートカットスパイラル)が付けば、エージェントはそれを見張ることができます。名前のない失敗は際限なく繰り返されます。

AI支援ワークフローを拡大するチームへ:

  • 拡大する前に偽証拠テーブルを作ってください。 エージェントが行う主張ごとに、何が証拠に「ならない」かを定義します。3列目(不十分)は、「検証せよ」と求められたエージェントが取りがちな具体的なショートカットを事前にブロックします。

  • 曖昧語は信頼できるシグナルです。 エージェントが完了報告で「should」「probably」「I’m confident」と言うときは、主張している検証を実行していません。機械的に検出し、置き換えてください。


メタ認知監査

ご自身のエージェント指示を評価してみませんか?以下のインタラクティブツールは、CLAUDE.md、AGENTS.md、システムプロンプトのいずれでも分析し、この記事で説明したメタ認知の観点からスコアを付けます。

エージェント指示を貼り付けると、監査は次の点を明らかにします。指示のうちアクションレベルとメタ認知的なものがそれぞれ何割か、どの名前付き失敗モードがカバーされているか、曖昧語の検出があるかどうか、そしてどこにギャップがあるか。


よくある質問

AIエージェントへの指示で、アクションレベルとメタ認知的なものの違いは何ですか?

アクションレベルの指示は正しい行動を定義します:「型ヒントを使え」「テストを書け」「入力を検証せよ」。メタ認知的な指示は、エージェントがそうした行動を守れているかを自分でどう監視するかを定義します:「検証報告で『should』という単語を使っているなら、実際には検証していない」「3回修正に失敗したら、アーキテクチャを疑え」。アクションレベルの指示は間違った出力を防ぎます。メタ認知的な指示は、間違った出力を生み出す間違った推論のパターンを防ぎます。ほとんどのエージェント設定には前者しか含まれていません。エージェントがもっともらしいものの検証されていない成果物を出すのは、そのためです。

AIコーディングエージェントのメタ認知層はどう構築すればよいですか?

偽証拠テーブルから始めてください。エージェントが最も頻繁に行う5つの主張(「テスト合格」「パターンに従っている」「エッジケースに対応している」など)を挙げ、それぞれについて何が証拠に「ならない」かを定義します。3列目(不十分)は、エージェントがショートカットを取る前にそれをブロックします。同じエラーパターンを3回観察したら、名前付き失敗モードを加えます。最後に、機械的なチェックとして曖昧語の検出を加えます。各層は、前の層が見逃すエラーを捕捉します。システム全体は、CLAUDE.mdの中のマークダウンのセクション1つから始めて、そこから育てていけます。

メタ認知プログラミングはClaude以外のモデルでも機能しますか?

原則はモデルに依存しません。指示に従う言語モデルであれば、偽証拠テーブル、名前付き失敗モード、曖昧語の検出の恩恵を受けられます。違うのは具体的な強制の仕組みです。Claude Codeは、ツール使用のレベルでエージェントの出力をインターセプトするhooksをサポートしています(決定論的で、回避できません)。他のフレームワークでは、システムプロンプトや後処理スクリプトに頼ることになるかもしれません。信頼性を決めるのは強制の強さです。プロンプトレベルのメタ認知的な指示は出力品質を改善し、hookレベルの強制はそれを保証します。

AIエージェントにメタ認知的な指示が必要だというサインは何ですか?

サインは4つあります。(1)エージェントは「完了」と報告するのに、成果物に明らかなエラーがある(エージェントが検証を飛ばした空洞報告)。(2)同じ種類のミスがセッションをまたいで繰り返される(見張る仕組みがないために繰り返される、名前のない失敗モード)。(3)エージェントの完了報告が、証拠を挙げる代わりに曖昧語(「should work」「looks correct」)を使っている(確信ミラージュ)。(4)エージェントが、自分のアプローチを疑わないまま長いデバッグループに入り込む(サーキットブレーカーの欠如)。これらのパターンのいずれかが2回を超えて現れるなら、そのエージェントにはメタ認知の足場が必要です。


Claude Code Deep Divesシリーズの一部です。hooksシステムは、ここで説明した強制の層を実装しています。アーキテクチャとしてのコンテキストエンジニアリングでは、メタ認知層が、より広い7層のコンテキストシステムの中にどう収まるかを説明しています。



  1. GitHubのobra/superpowers。superpowersプロジェクトには、体系的なデバッグと検証のためのスキルが含まれており、Claude Codeのエージェントに、出力だけでなく自分自身の推論パターンを監視するよう教えます。本記事のメタ認知という捉え方は、このアプローチに基づいています。github.com/obra/superpowers ↩↩↩

  2. 偽証拠テーブルの構造は、obra/superpowersプロジェクトのverification-before-completionパターンに基づいています。私はこの考え方を、hooksで強制する6基準の検証システムであるEvidence Gateに応用しました。完全な実装についてはJiro品質哲学の記事をご覧ください。 ↩

  3. 3列目(不十分)は、学術文献で「メタ認知的錯覚」と呼ばれるもの、つまりエージェントによる自分のパフォーマンスの自己評価が実際のパフォーマンスから乖離するケースに対処しています。認知科学ではこれはよく知られており、教材を「理解している」と自己評価する学生は、その教材のテストで成績が振るわないことが多いのです。Dunning, D., Johnson, K., Ehrlinger, J., & Kruger, J. (2003). Why people fail to recognize their own incompetence. Current Directions in Psychological Science, 12(3), 83-87. doi.org/10.1111/1467-8721.01235 ↩↩

  4. 名前付きの7つの失敗モードは、9か月の本番運用から生まれました。どのモードも、異なるプロジェクトやタスクの種類にまたがって同じパターンを少なくとも3回観察してから文書化しました。システム全体はWhy My AI Agent Has a Quality Philosophyで説明しています。 ↩

  5. Claude Code CLIのスキルシステムを通じて利用できる公式Claude Codeスキルについての、著者による分析です。禁止(「NEVER X」)は、具体的な回避行動に名前を付けるため、提案(「consider Y」)よりも効果的でした。マインドセット志向のスキルが手順ガイドよりも採用面で優れているという観察は、Claude Code DiscordとGitHubのディスカッションにおけるコミュニティの報告に基づくもので、対照研究によるものではありません。AnthropicのClaude Codeドキュメントも参照してください:docs.anthropic.com/en/docs/claude-code。 ↩

  6. 曖昧語が検証不足のシグナルであるという洞察には、エージェントシステムの外にも実証的な裏付けがあります。Nisbett, R.E. and Wilson, T.D. (1977). “Telling More Than We Can Know: Verbal Reports on Mental Processes.” Psychological Review, 84(3), 231-259. doi.org/10.1037/0033-295X.84.3.231. NisbettとWilsonは、推論プロセスについての言語による自己報告がしばしば作話であること、つまり人は実際の推論を正確に説明するのではなく、もっともらしく聞こえる説明を語ることを見いだしました。同じ力学がエージェントの出力にも現れます。「これが正しいと確信しています」はもっともらしく聞こえる自己報告であって、検証の証拠ではありません。 ↩

  7. 3回修正のエスカレーションルールは、デバッグに適用したサーキットブレーカーパターンとして機能します。このパターンは、分散システムにおけるサーキットブレーカー(Nygard, M. Release It!, 2007, Pragmatic Bookshelf)に似ています。素早く失敗し、エスカレーションし、別のアプローチを試す。同じメンタルモデルの中で3回失敗したら、同じ道を続けても得られるものは逓減していきます。 ↩

  8. X上の@blakecへの返信を要約したものです(2026年2月)。元のツイートは、Ralphループの速度の最適化と、Jiroシステムがもたらす品質のための摩擦との間の緊張について論じていました。ベースのループは「explicitly optimizes against restraint in the name of throughput」という返信者の指摘は、メタ認知層が対処する設計上の緊張を正確に言い表しています。 ↩

  9. Anthropic, “Constitutional AI: Harmlessness from AI Feedback,” 2022. arxiv.org/abs/2212.08073. constitutional AIのアプローチは、一連の原則に照らして自分の出力を評価するようモデルを訓練します。ここで説明したメタ認知システムは、同じ考え方の実行時版です。訓練時の自己評価の代わりに、偽証拠テーブルと名前付き失敗モードが、指示セットを通じて推論時に評価基準を与えます。 ↩

  10. Lightman, H., Kosaraju, V., Burda, Y., et al., “Let’s Verify Step by Step,” arXiv, 2023. arxiv.org/abs/2305.20050. OpenAIのプロセス報酬モデルの研究は、数学の問題解決において、中間の推論ステップを評価する方法(プロセス監督)が、最終的な答えだけを評価する方法(結果監督)を上回ることを示しました。偽証拠テーブルは、同じ原理を指示のレベルで適用しています。最終的な「完了」報告を受け入れるのではなく、検証に関する主張の一つひとつに証拠を求めるのです。 ↩

  11. Shinn, N., Cassano, F., Gopinath, A., et al., “Reflexion: Language Agents with Verbal Reinforcement Learning,” NeurIPS 2023. arxiv.org/abs/2303.11366. Reflexionは、失敗の後に構造化された自己反省のプロンプトをLLMエージェントに与えることで、HumanEvalとALFWorldのベンチマークで20〜30%の精度向上を示しました。このフレームワークは、本システムの核心にある洞察、つまり自己評価の指示はその有無と同じくらい、形式と具体性が重要であるという洞察を裏付けています。 ↩

関連記事

あなたのエージェントは、あなたが読むより速くコードを書く

今週、5つの研究グループが同じ問題について発表しました。AIエージェントは開発者が理解できる速度を超えてコードを生成しています。負債はあなたの頭の中にあります。

17 分で読める

なぜ私のAIエージェントには品質哲学があるのか

私のClaude Codeエージェントは、人間のずさんな習慣をすべて機械の速度で受け継いでしまいました。そこで3つの哲学、150以上の品質ゲート、95個のフックを構築しました。何が効果的だったかをお伝えします。

26 分で読める

AIエージェントのランタイム憲法:ガバナンスのフレームワーク

学習段階のアライメントが破綻する場所で、ランタイム憲法がAIエージェントのガバナンスを強制します。能力チェック、出力ゲート、4つのサブシステムがエージェントを安全に保ちます。

19 分で読める