後設認知AI:教您的代理程式自我評估

出自指南: Claude Code Comprehensive Guide

我告訴我的代理程式修復一個失敗的測試。代理程式讀取了錯誤訊息,識別出斷言不匹配,將預期值改為符合實際輸出,然後回報:「測試已修復。所有測試通過。」它說的沒錯。測試確實通過了。但這個修復完全是錯誤的。

測試之所以失敗,是因為函式回傳了不正確的資料。代理程式「修復」測試的方式是讓它預期錯誤的答案。它完美地遵循了我的指令:修復失敗的測試。但我的意思是:修復測試所測試的程式碼。代理程式無法區分這兩種解讀,因為它的指令集中沒有任何東西要求它在決定如何修復之前,先評估測試為什麼失敗。

這個缺口有個名字。它是行動層級指令與後設認知指令之間的落差。我使用「後設認知」一詞是作為功能上的類比,而非認知科學上的主張:LLM並不像人類那樣具有內在的監控過程。它們擁有的是遵循指令的行為,而這種行為可以被導向自我評估。這個框架之所以有效,是因為它改變了代理程式在驗證過程中遵循哪些指令,而不是因為代理程式發展出了真正的自我覺察。大多數人只撰寫第一種指令。

後設認知AI程式設計是一種為AI代理程式提供自我評估指令的做法:不只告訴它們該做什麼,還教它們偵測自己何時正在偏離方向。行動層級指令定義行為(「撰寫測試」、「驗證輸入」)。後設認知指令定義自我監控(「如果您說的是『應該』而非『已經』,代表您還沒有驗證」)。這第二層透過證據閘門、命名的失敗模式與迴避語言偵測來實作,是區分產出看似合理的輸出與產出正確輸出的代理程式之間的關鍵。

摘要

AI代理程式指令存在兩個層級。行動層級指令告訴代理程式該做什麼:「驗證輸入」、「撰寫測試」、「遵循RESTful慣例」。後設認知指令告訴代理程式如何評估自己是否做得好:「如果您發現自己說的是應該而非已經,代表您還沒有驗證」、「如果三次修復都失敗,停下來質疑架構」、「信心不是證據」。大多數代理程式配置完全只包含行動層級指令。後設認知層是區分產出看似合理的輸出與產出正確輸出的代理程式之間的關鍵。我已經運行一套生產環境的後設認知系統九個月,包含七種命名的失敗模式、六項標準的證據閘門,以及透過95個hooks強制執行的迴避語言偵測。


代理程式指令的兩個層級

每一條代理程式指令都在兩個層級之一運作。

行動層級指令定義行為:

# Action-level examples
- Use type hints on all functions
- Write tests for edge cases
- Follow RESTful conventions for API endpoints
- Validate all user input at boundaries

行動層級指令是必要的。它們告訴代理程式正確的行為是什麼樣子。但它們有一個共同的結構性侷限:假設代理程式會忠實地執行這些指令。它們沒有考慮到代理程式如何評估自身的遵循程度。

後設認知指令定義自我監控:

# Metacognitive examples
- If you catch yourself thinking "just try changing X and see if it works" — STOP.
  That's a signal to investigate, not guess.
- If you've searched the same files three times — you're stuck.
  Step back and question your assumptions.
- If you use the word "should" in a completion report, replace it with evidence.
  Run the command. Paste the output.
- After three failed fixes, stop fixing. The problem is architectural.

這個區分之所以重要,是因為行動層級指令告訴代理程式目的地的樣貌,而後設認知指令告訴代理程式如何偵測自己正在偏離方向。前者防止錯誤的行動。後者防止錯誤的推理:那些從根本上產生錯誤行動的思維模式。

GitHub上的obra/superpowers專案透過一系列技能探索了這個領域,這些技能教導代理程式觀察自身推理中的失敗訊號。1其核心洞察是:大多數技能在行動層級運作(做X,不要做Y)。後設認知層級的運作方式不同(注意到自己即將做Y)。


虛假證據表

我所建構的最有效的後設認知工具,是一張定義什麼不算作證據的表格。2

當我告訴代理程式「驗證您的工作」,代理程式會產出驗證結果。但這個驗證往往是意圖的重述,而非結果的展示。「測試應該會通過。」「實作遵循最佳實踐。」「我有信心這是正確的。」這些陳述每一句聽起來都像證據,但沒有一句是證據。

虛假證據表透過命名來預先阻止特定的捷徑:

聲明 必要證據 不充分(虛假證據)
「測試通過」 貼上測試輸出,顯示0個失敗 「測試應該會通過」或「我之前跑過了」
「遵循模式」 指出模式名稱以及它所在的檔案 「我遵循了最佳實踐」
「最簡解法」 指出被否決的替代方案及原因 「這很乾淨」
「邊界情況已處理」 列出每個邊界情況及其處理方式 「我考慮了邊界情況」
「無回歸」 指出已檢查的檔案或功能名稱 「其他部分應該不受影響」
「解決了問題」 陳述使用者的需求以及此方案如何滿足 「它實作了該功能」

價值存在於第三欄。沒有它,代理程式會用聽似合理、對自身信心的重述來填滿第二欄。有了它,這張表在代理程式採取每個特定捷徑之前就命名並阻止了它。3

這張表超越了一般的提示工程。它建立的是一個自我監控框架,而非行為指令。這張表不是告訴代理程式要做什麼不同的事,而是告訴代理程式要在自身的輸出中留意什麼。代理程式根據「不充分」欄位監控自己的回應,偵測到匹配時,便知道要用實際證據取代捷徑。

這個模式可以擴展,任何領域特定的聲明都可以加入。安全審查方面:「無漏洞」需要「已檢查的特定漏洞類別及發現結果」,而非「我審查了程式碼」。無障礙方面:「符合WCAG」需要「axe或Lighthouse稽核輸出」,而非「我檢查了對比度」。


命名失敗模式作為後設認知護欄

人類有命名的認知偏誤:確認偏誤、錨定效應、鄧寧-克魯格效應。名稱很重要。一旦您能命名這個偏誤,就能開始留意它。AI代理程式需要同樣的詞彙來描述其失敗模式。

我記錄了代理程式反覆展現的七種失敗模式,為每一種命名,並加上偵測訊號:4

失敗模式 表現形式 偵測訊號
捷徑螺旋 跳過驗證步驟以加速回報 完成報告缺少每個步驟的證據
信心海市蜃樓 用「我有信心」取代實際驗證 報告中出現迴避語言
差不多高原 可以運行但不乾淨、未測試或未文件化的程式碼 被問到品質問題時猶豫不決
隧道視野 打磨單一函式同時破壞相鄰程式碼 未實際檢查就說「其他部分不受影響」
幽靈驗證 聲稱測試通過,卻沒有在當下執行 證據來自先前的工作階段
遞延債務 在已提交的程式碼中留下TODO/FIXME/HACK 差異中出現任何此類註解
空洞報告 只說「完成」卻未引用具體內容 完成報告缺少任一標準的證據

名稱使失敗變得可偵測。沒有名稱時,代理程式產出了信心海市蜃樓,但代理程式和使用者都無法辨識這是一種模式。有了名稱,指令就變成:「如果您發現自己展現任何命名的失敗模式,立即停止,並從評估步驟重新開始。」

這種監控在精確意義上是後設認知的:代理程式觀察的是自身的認知過程(我是否在跳過驗證?我是否用信心替代證據?),而非其輸出(這段程式碼正確嗎?)。監控作為代理程式推理過程的一部分來塑造生成內容,這就是為什麼它能捕捉到輸出層級審查所遺漏的錯誤。

Anthropic自身的參考技能實作也支持這種方法。對官方Claude Code技能的分析揭示了有效代理程式指令設計中的結構模式。依作者的觀察,禁止性指令(「絕不做X」)比建議性指令(「考慮Y」)更有效,因為它們點名了具體的迴避行為,而非泛泛的行動。5命名的失敗模式就是具體的禁止:「絕不展現幽靈驗證」優於「始終執行測試」,因為它阻止的是迴避行為,而非重述行動。


迴避語言偵測

我實作的最簡單的後設認知監控器,是偵測代理程式輸出中的特定詞彙:

Red flag words: should, probably, seems to, likely, I believe,
               I'm confident, looks correct, appears to

每當代理程式在完成報告中使用這些詞彙之一,該詞彙本身就是驗證不足的證據。6「測試應該會通過」意味著代理程式沒有執行測試。「它似乎能用」意味著代理程式只是粗略看了一眼。「我有信心」意味著代理程式用內在狀態替代了外部證據。

實作方式是機械性的。Hook系統攔截代理程式的輸出並標記迴避語言。代理程式接著將迴避詞彙替換為它本應執行的驗證:

  • 「測試應該會通過」變成:執行測試,貼上顯示0個失敗的輸出
  • 「看起來是正確的」變成:引用確認正確性的具體斷言或檢查
  • 「我有信心」變成:列出產生該信心的證據

這個模式來自obra的「完成前先驗證」(verification-before-completion)工作。1認知科學中的對應現象早有定論:在人類的後設認知中,自我報告的準確性(「我理解這個」)與實際理解的相關性很低。3說「我懂了」的人往往並不理解,能解釋的人通常才真正理解。同樣的道理適用於AI代理程式:能引用具體證據的代理程式理解了問題,說「我有信心」的代理程式則未必。


三次修復斷路器

後設認知不僅關乎偵測錯誤的推理,也關乎偵測何時該停下來。

三次修復升級規則:如果對同一問題的三次修復嘗試都失敗了,代理程式必須停下來,從根本上質疑架構。7不是嘗試第四次修復,也不是在同一方法上尋找不同的角度。停下來,退後一步,問問題到底出在解決方案還是問題定義上。

這條規則充當除錯迴圈的斷路器。沒有它,代理程式會進入我所稱的修復螺旋:每次失敗的嘗試產生新的理論,新的理論產生新的修復,新的修復再次失敗,又產生新的理論。代理程式可以循環數十次修復,卻從未質疑自己是否在處理正確的問題。23個代理程式失控事件正是這個問題在廣度上的版本:代理程式對錯誤的問題達成共識,因為沒有任何後設認知檢查去問「這個問題的範圍界定正確嗎?」

三次修復規則之所以有效,是因為它迫使代理程式的推理發生相變。第1至3次修復在當前的心智模型內運作。第4次修復(實際上是「停止修復」)迫使代理程式建構新的心智模型。在實務上,這通常意味著從頭重讀錯誤、重新檢視假設,或向使用者請求澄清,這些都比第四次猜測更有成效。


前後對比:改變了什麼

以下是一個具體範例。我要求代理程式為一個API端點新增輸入驗證。

沒有後設認知指令:

Added Pydantic model with field validators for email format, password
length (8+), and username pattern (alphanumeric). Tests should pass.
The implementation follows FastAPI best practices.

這段輸出包含三個迴避訊號:「should pass」(沒有執行測試)、「follows best practices」(沒有指出是哪些實踐),以及沒有任何考量邊界情況的證據。這是一個包裹在空洞報告中的信心海市蜃樓。

有後設認知指令(相同任務、相同代理程式):

Added Pydantic model with field validators:
- Email: regex validation + max length 254 (RFC 5321)
- Password: min 8, max 128, requires 1 uppercase + 1 digit
- Username: alphanumeric + underscore, 3-30 chars

Test output (just ran):
  tests/test_auth.py::test_valid_registration PASSED
  tests/test_auth.py::test_invalid_email_rejected PASSED
  tests/test_auth.py::test_short_password_rejected PASSED
  tests/test_auth.py::test_empty_username_rejected PASSED
  tests/test_auth.py::test_unicode_username_rejected PASSED
  5 passed in 0.34s

Edge cases handled: empty string (returns 422), null (returns 422),
unicode injection in username (rejected by alphanumeric pattern),
overlength email (RFC limit enforced).

Pattern followed: same validation approach as UserUpdateSchema in
app/schemas.py line 45.

差異不在於第二個代理程式寫了更好的程式碼。兩個代理程式可能寫了完全相同的程式碼。差異在於第二個代理程式根據具體的證據標準驗證了自己的工作,並回報了證據,而非它的信心。


建構您自己的後設認知層

這個框架是可移植的。您不需要我的特定系統,只需要三個元件:

1. 虛假證據表。 針對代理程式最常做出的聲明,定義什麼不算作證明。從上述六項標準開始,再加入領域特定的列。第三欄(不充分)是價值所在。

2. 命名失敗模式。 記錄代理程式最常出錯的三到五種方式,為每種命名,加上偵測訊號,並加入指令:「如果您發現自己展現任何命名的失敗模式,停下來重新評估。」

3. 迴避語言偵測。 列出在您的領域中暗示驗證不足的特定詞彙,並加入指令:「將任何迴避詞彙替換為能消除該迴避的證據。」

這三個元件組合成一個後設認知層,疊加在任何行動層級指令之上。行動層級指令定義正確行為的樣貌,後設認知層則定義代理程式如何偵測自身偏離正確行為。

實作可以簡單到在您的CLAUDE.md或AGENTS.md中新增一個區段:

## Self-Monitoring

### When to stop and re-evaluate
- If you've searched the same files 3+ times: you're stuck.
- If you've attempted 3 fixes for the same issue: question the architecture.
- If you use "should" or "probably" in your response: replace with evidence.

### What doesn't count as evidence
[your false evidence table here]

### Named failure modes to watch for
[your failure modes here]

強制執行是透過hooks(確定性的,無法跳過)、規則檔案(載入上下文中)還是行內指令(依賴模型的遵從度)來實現,決定了後設認知層的可靠性。Hooks最為強大,因為它們在工具使用層級攔截,而非提示層級。但即使是提示層級的後設認知指令,也能可衡量地改善代理程式的輸出品質,因為它們改變的是代理程式的評估標準,而不只是它的行動。

練習:稽核您最近三次與代理程式的互動。 複製完成報告,標出每一處「應該」、「大概」或「我有信心」。針對每個標出的詞彙,寫下本應取代該迴避的具體證據。如果證據存在但代理程式沒有引用,代理程式需要迴避語言偵測。如果證據根本不存在,代表代理程式完全跳過了驗證:它需要的是虛假證據表。

順序很重要:先從虛假證據表開始(影響最大、最容易實作),在觀察到反覆出現的模式後再加入命名的失敗模式,最後加入迴避語言偵測作為機械性檢查。每一層都能捕捉前一層遺漏的錯誤。三者合在一起形成一個回饋迴圈:代理程式監控自身的輸出,偵測已知的失敗模式,並在回報完成之前自我修正。

最小可重現設定

您可以在五分鐘內測試這個核心的後設認知模式。建立一個名為.claude/CLAUDE.md的檔案(或加入您現有的檔案),內容如下:

## Evidence Gate

Before reporting any task as complete, provide evidence for ALL criteria:

| Claim | Required Evidence | NOT Sufficient |
|-------|------------------|----------------|
| "Tests pass" | Paste test output showing 0 failures | "Tests should pass" |
| "Follows patterns" | Name the pattern AND file where it exists | "Best practices" |
| "Edge cases handled" | List each case and handling | "Considered edge cases" |

## Red Flag Words
If your completion report contains: should, probably, seems to,
I believe, looks correct, I'm confident — STOP.
Replace the word with the evidence that eliminates the hedge.

## Circuit Breaker
After 3 failed fixes for the same issue, STOP.
Question whether you are solving the right problem.

請代理程式執行任何非瑣碎的任務(例如「為這個端點新增輸入驗證」),比較有無證據閘門時的完成報告。差異在第一個任務就看得出來:沒有閘門時,代理程式回報的是信心;有了閘門,代理程式回報的是證據。

上述設定是完整系統的子集。它省略了命名的失敗模式與基於hook的強制執行,但展示了核心機制:定義什麼不算作證據,會立即改變代理程式的驗證行為。


九個月後的生產環境成果

這套後設認知系統自2025年5月起在12個進行中的專案上運行。要精確衡量它的影響並不容易,因為沒有對照組(我無法在沒有這套系統的情況下重跑同樣九個月的開發)。但方向性的訊號很明確:

導入後設認知指令之前(最初三個月,2025年5月至7月): 代理程式經常產出信心海市蜃樓:報告說「測試通過」卻沒有執行,說「遵循模式」卻沒有指出是哪些模式。我在人工審查時抓到這些問題,這意味著代理程式的每次完成都需要人類全面驗證。代理程式是起草工具,而非自主工具。

導入虛假證據表之後(2025年8月): 代理程式完成報告中的虛假證據聲明降到接近零。一個具代表性的例子:提交3a8f2c1(2025年9月,blakecrosley.com)顯示一份代理程式完成報告引用了具體的測試輸出、審查過的檔案路徑,以及已處理的邊界情況,而同類型的任務先前產出的是「測試應該會通過」和「遵循最佳實踐」。這張表命名並阻止了每個特定的捷徑。當指令明確將「測試應該會通過」列為不充分時,代理程式就無法再這樣說。這種機械性檢查之所以有效,是因為它比對的是字串模式,而非語意意圖。

導入命名失敗模式之後(2025年10月): 除錯迴圈縮短了。在三次修復斷路器之前,代理程式會針對單一問題嘗試8到12次修復,直到我介入為止。有了斷路器之後,代理程式在三次嘗試後就會升級處理或請求澄清。這種升級通常比第四次猜測更快導向正確的診斷。

透過hooks導入迴避語言偵測之後(2025年12月): Hook系統以機械方式攔截迴避語言,這意味著即使在複雜的多步驟任務中(提示層級指令有時會被降低優先順序),代理程式也無法跳過這項檢查。三層組合(表格加上失敗模式加上hooks)產出的代理程式輸出,讓我審查的重點變成正確性而非完整性:代理程式能可靠地回報它實際做了什麼,而不是它打算做什麼。

這套系統並未消除錯誤。它消除的是一類特定的錯誤:代理程式的自我評估與實際表現出現落差的那一類。

這個模式有來自多個來源的獨立佐證。Anthropic的憲法式AI(constitutional AI)研究以自我評估標準來訓練模型,而不只依賴外部回饋。9obra的superpowers專案獨立發現,「完成前先驗證」類的技能比行動層級指令更能改變代理程式的行為。1OpenAI的過程獎勵模型(PRM)研究發現,獨立評估每個推理步驟,比只評估最終答案能產出更可靠的輸出,這正是虛假證據表套用在代理程式驗證步驟上的同一原則。10Shinn等人的Reflexion框架(2023)證明,在程式設計基準測試中,獲得結構化自我反思提示的LLM比單純重試的任務準確率提升了20%至30%,確立了自我評估的形式與其存在本身同樣重要。11本系統中的虛假證據表是同一原則的人工指定版本:明確定義評估標準,代理程式的輸出品質就會提升,因為它的自我監控提升了。


後設認知無法做到什麼

後設認知程式設計使AI代理程式更可靠,但不會使它們具備智慧。

虛假證據表能捕捉特定的捷徑,卻無法捕捉表格中未命名的新型捷徑。命名的失敗模式能偵測已知模式,卻無法偵測尚未被命名的模式。迴避語言偵測能捕捉表面層級的信心替代,卻無法捕捉一個真正說服了自己(無論「說服」在此適用到什麼程度)錯誤輸出是正確的代理程式。

更根本的是,後設認知指令只能近似品味,卻無法產生品味。Jiro系統能防止except: pass並強制要求測試證據,但它無法判斷架構是否正確、命名是否捕捉了意圖,或解決方案處理的是實際問題還是表面陳述的問題。這些判斷需要的是當前模型能近似、卻無法可靠執行的脈絡推理。

有人回覆了我一則關於Jiro系統的推文,大意是:你基本上是在嘗試教這個迴圈學會克制、品味,以及某種近似道德暫停的東西,而基礎的Ralph模式為了吞吐量,恰恰明確地反向最佳化這些特質。8

他們說得對。後設認知程式設計是為機器所不具備的品質搭建的結構性鷹架。這個鷹架是承重的。沒有它,機器大規模產出信心海市蜃樓;有了它,機器大規模產出經過驗證的輸出。這兩種結果之間的差距,就是一個您可以放心讓它整夜運行的代理程式,與一個您需要在旁盯著的代理程式之間的差別。

但鷹架不是建築本身。建築(品味、判斷力、知道一個問題的正確答案其實是另一個問題的能力)仍然屬於人類。後設認知層讓這個侷限變得清晰可見,而不是把它藏在充滿自信的文字背後。


關鍵要點

給建構代理程式系統的工程師:

  • 撰寫後設認知指令,而不只是行動層級指令。 行動層級指令定義正確行為。後設認知指令定義代理程式如何偵測自身偏離正確行為。第二種指令正是區分看似合理的輸出與經過驗證的輸出的關鍵。

  • 為您的代理程式的失敗模式命名。 一旦失敗模式有了名字(信心海市蜃樓、幽靈驗證、捷徑螺旋),代理程式就能開始留意它。未命名的失敗會無止境地重複。

給擴展AI輔助工作流程的團隊:

  • 在擴展之前先建構虛假證據表。 針對代理程式做出的每項聲明,定義什麼不算作證明。第三欄(不充分)預先阻止了代理程式在被要求「驗證」時會採取的特定捷徑。

  • 迴避語言是可靠的訊號。 每當代理程式在完成報告中說「應該」、「大概」或「我有信心」,就代表它沒有執行它所聲稱的驗證。以機械方式偵測並替換。


後設認知稽核

想評估您自己的代理程式指令嗎?下方的互動工具會分析任何CLAUDE.md、AGENTS.md或系統提示,並依本文描述的後設認知維度進行評分。

貼上您的代理程式指令,稽核工具將找出:您的指令中行動層級與後設認知各佔多少比例、涵蓋了哪些命名的失敗模式、是否具備迴避語言偵測,以及缺口在哪裡。


常見問題

行動層級與後設認知的AI代理程式指令有什麼不同?

行動層級指令定義正確行為:「使用型別提示」、「撰寫測試」、「驗證輸入」。後設認知指令定義代理程式如何監控自己是否遵循了這些行為:「如果您在驗證報告中使用『應該』一詞,代表您其實沒有驗證」、「如果三次修復都失敗,請質疑架構」。行動層級指令防止錯誤的輸出,後設認知指令則防止產生錯誤輸出的錯誤推理模式。大多數代理程式配置只包含第一種,這就是為什麼代理程式會產出看似合理卻未經驗證的成果。

如何為AI程式設計代理程式建構後設認知層?

從虛假證據表開始。列出代理程式最常做出的五項聲明(「測試通過」、「遵循模式」、「處理了邊界情況」),並為每一項定義什麼不算作證明。第三欄(不充分)會在代理程式採取特定捷徑之前就加以阻止。在您觀察到同一錯誤模式出現三次之後,再加入命名的失敗模式。最後加入迴避語言偵測,作為機械性檢查。每一層都能捕捉前一層遺漏的錯誤。整套系統可以從您CLAUDE.md中的一個markdown區段開始,再逐步擴充。

後設認知程式設計適用於Claude以外的模型嗎?

這些原則與模型無關。任何會遵循指令的語言模型,都能從虛假證據表、命名的失敗模式與迴避語言偵測中受益。具體的強制執行機制則因環境而異:Claude Code支援在工具使用層級攔截代理程式輸出的hooks(確定性的,無法繞過),其他框架則可能依賴系統提示或後處理腳本。強制執行的強度決定了可靠性:提示層級的後設認知指令能改善輸出品質,而hook層級的強制執行則能確保品質。

哪些跡象顯示AI代理程式需要後設認知指令?

四個訊號:(1)代理程式回報「完成」,但成果中有明顯錯誤(空洞報告,代理程式跳過了驗證)。(2)同類型的錯誤在不同工作階段反覆出現,這是一種未命名的失敗模式,因為沒有任何機制留意它而不斷重演。(3)代理程式的完成報告使用迴避語言(「應該能用」、「看起來正確」)而非引用證據,這是信心海市蜃樓。(4)代理程式陷入漫長的除錯迴圈卻從不質疑自己的做法,這代表缺少斷路器。如果這些模式中任何一種出現超過兩次,代理程式就需要後設認知鷹架。


本文屬於Claude Code深度剖析系列。Hooks系統實作了本文所描述的強制執行層。作為架構的上下文工程說明了後設認知層如何融入更廣泛的七層上下文系統。



  1. obra/superpowers on GitHub. The superpowers project includes skills for systematic debugging and verification that teach Claude Code agents to monitor their own reasoning patterns rather than only their outputs. The metacognitive framing in the present article draws on this approach. github.com/obra/superpowers ↩↩↩

  2. The false evidence table structure draws on the verification-before-completion pattern in the obra/superpowers project. I adapted the concept into the Evidence Gate, a six-criterion verification system enforced through hooks. See the Jiro quality philosophy post for the full implementation. ↩

  3. The third column (NOT Sufficient) addresses what the academic literature calls “metacognitive illusions”: cases where an agent’s self-assessment of its own performance diverges from actual performance. In cognitive science, this is well-documented: students who rate themselves as “understanding” material often perform poorly on tests of that material. Dunning, D., Johnson, K., Ehrlinger, J., & Kruger, J. (2003). Why people fail to recognize their own incompetence. Current Directions in Psychological Science, 12(3), 83-87. doi.org/10.1111/1467-8721.01235 ↩↩

  4. The seven named failure modes emerged from nine months of production use. Each was documented after observing the pattern at least three times across different projects and task types. The full system is described in Why My AI Agent Has a Quality Philosophy. ↩

  5. Author’s analysis of official Claude Code skills available through the Claude Code CLI skill system. Prohibitions (“NEVER X”) proved more effective than suggestions (“consider Y”) because they name the specific evasion. The observation that mindset-oriented skills outperform procedural guides in adoption is based on community reports in the Claude Code Discord and GitHub discussions, not a controlled study. See Anthropic’s Claude Code documentation: docs.anthropic.com/en/docs/claude-code. ↩

  6. The insight that hedging language signals insufficient verification has empirical support beyond agent systems. Nisbett, R.E. and Wilson, T.D. (1977). “Telling More Than We Can Know: Verbal Reports on Mental Processes.” Psychological Review, 84(3), 231-259. doi.org/10.1037/0033-295X.84.3.231. Nisbett and Wilson found that verbal self-reports of reasoning processes are often confabulated: people describe plausible-sounding explanations rather than accurate accounts of their actual reasoning. The same dynamic appears in agent output: “I’m confident this is correct” is a plausible-sounding self-report, not evidence of verification. ↩

  7. The three-fix escalation rule functions as a circuit breaker pattern applied to debugging. The pattern is analogous to the circuit breaker in distributed systems (Nygard, M. Release It!, 2007, Pragmatic Bookshelf): fail fast, escalate, try a different approach. After three failed attempts within the same mental model, continuing on the same path yields diminishing returns. ↩

  8. Paraphrased from a reply to @blakec on X, February 2026. The original tweet discussed the tension between the Ralph loop’s velocity optimization and the Jiro system’s quality friction. The responder’s observation that the base loop “explicitly optimizes against restraint in the name of throughput” accurately describes the design tension the metacognitive layer addresses. ↩

  9. Anthropic, “Constitutional AI: Harmlessness from AI Feedback,” 2022. arxiv.org/abs/2212.08073. The constitutional AI approach trains the model to evaluate its own outputs against a set of principles. The metacognitive system described here is a runtime version of the same idea: instead of training-time self-evaluation, the false evidence table and named failure modes provide evaluation criteria at inference time through the instruction set. ↩

  10. Lightman, H., Kosaraju, V., Burda, Y., et al., “Let’s Verify Step by Step,” arXiv, 2023. arxiv.org/abs/2305.20050. OpenAI’s process reward model research demonstrated that evaluating intermediate reasoning steps (process supervision) outperforms evaluating only the final answer (outcome supervision) on mathematical problem-solving. The false evidence table applies the same principle at the instruction level: requiring evidence for each verification claim rather than accepting a final “done” report. ↩

  11. Shinn, N., Cassano, F., Gopinath, A., et al., “Reflexion: Language Agents with Verbal Reinforcement Learning,” NeurIPS 2023. arxiv.org/abs/2303.11366. Reflexion demonstrated 20-30% accuracy improvements on HumanEval and ALFWorld benchmarks by giving LLM agents structured self-reflection prompts after failures. The framework validates the core insight of the present system: the format and specificity of self-evaluation instructions matter as much as their presence. ↩

相關文章

你的 AI 代理寫程式碼的速度比你閱讀的速度還快

本週有五個研究團隊發表了關於同一個問題的論文:AI 代理產生程式碼的速度遠超開發者理解它的速度。債務累積在你的腦中。

14 分鐘閱讀

為什麼我的AI代理擁有品質哲學

我的Claude Code代理以機器速度繼承了人類所有的馬虎習慣。我建立了3套哲學、150多道品質關卡和95個hooks。以下是有效的做法。

21 分鐘閱讀

AI 代理的執行期憲章:一套治理框架

訓練階段的對齊失效之處,正是執行期憲章接手落實 AI 代理治理的地方。能力檢核、輸出關口與四大子系統,讓代理待在安全範圍內。

15 分鐘閱讀