元认知AI:教会Agent进行自我评估

来自指南: Claude Code Comprehensive Guide

我让我的Agent修复一个失败的测试。Agent读取了错误信息,识别出断言不匹配,把期望值改成与实际输出一致,然后报告:”测试已修复。所有测试通过。”它说得没错。测试确实通过了。但这个修复也完全是错的。

测试之所以失败,是因为函数返回了错误的数据。Agent”修复”测试的方式,是让测试去期望那个错误的答案。它完美地遵循了我的指令:修复失败的测试。而我真正的意思是:修复这个测试所测试的代码。Agent没有任何机制来区分这两种解读,因为它的指令集中没有任何内容要求它在决定如何修复之前,先评估测试为什么失败。

这个缺口有一个名称:行动层指令与元认知指令之间的缺口。我把”元认知”当作一种功能上的类比来使用,而不是认知科学意义上的主张:LLM并不像人类那样拥有内在的监控过程。它们拥有的是遵循指令的行为,而这种行为可以被引导到自我评估上。这个框架之所以有效,是因为它改变了Agent在验证阶段遵循哪些指令,而不是因为Agent发展出了真正的自我意识。大多数人只编写第一种指令。

元认知AI编程是一种为AI Agent提供自我评估指令的实践:不仅告诉它们该做什么,还教会它们察觉自己正在走向错误的方向。 行动层指令定义行为(”编写测试”、”验证输入”)。元认知指令定义自我监控(”如果你说的是’应该’而不是’已经’,说明你还没有验证”)。这第二层通过证据关卡、命名失败模式和模糊语言检测来实现,它把产出看似合理输出的Agent与产出正确输出的Agent区分开来。

摘要

AI Agent指令存在两个层面。行动层指令告诉Agent该做什么:”验证输入”、”编写测试”、”遵循RESTful约定”。元认知指令告诉Agent如何评估自己是否做得好:”如果你发现自己说的是应该而不是已经,说明你没有验证”、”如果三次修复都失败了,停下来质疑架构”、”信心不是证据”。大多数Agent配置只包含行动层指令。元认知层把产出看似合理输出的Agent与产出正确输出的Agent区分开来。我运行一个生产级元认知系统已有九个月,它包含七种命名失败模式、一个六项标准的证据关卡,以及通过95个hooks强制执行的模糊语言检测。


Agent指令的两个层面

每条Agent指令都在两个层面之一上运作。

行动层指令定义行为:

# Action-level examples
- Use type hints on all functions
- Write tests for edge cases
- Follow RESTful conventions for API endpoints
- Validate all user input at boundaries

行动层指令是必要的。它们告诉Agent正确的行为是什么样子。但它们有一个共同的结构性局限:它们假定Agent会忠实地执行。它们没有考虑Agent如何评估自己是否合规。

元认知指令定义自我监控:

# Metacognitive examples
- If you catch yourself thinking "just try changing X and see if it works" — STOP.
  That's a signal to investigate, not guess.
- If you've searched the same files three times — you're stuck.
  Step back and question your assumptions.
- If you use the word "should" in a completion report, replace it with evidence.
  Run the command. Paste the output.
- After three failed fixes, stop fixing. The problem is architectural.

这个区分之所以重要,是因为行动层指令告诉Agent目的地是什么样子,而元认知指令告诉Agent如何察觉自己正在走向错误的方向。前者防止错误的行动。后者防止错误的推理,也就是那些从一开始就产生错误行动的思维模式。

GitHub上的obra/superpowers项目通过一系列技能探索了这一领域,这些技能教Agent在自己的推理中留意失败信号。1 其洞察在于:大多数技能在行动层面运作(做X,不要做Y)。元认知层面的运作方式不同(留意自己即将做Y的时刻)。


虚假证据表

我构建过的最有效的元认知工具,是一张定义什么不算证据的表格。2

当我让Agent”验证你的工作”时,Agent会给出验证。但这种验证往往只是对意图的重述,而不是对结果的证明。”测试应该会通过。”“实现遵循了最佳实践。”“我确信这是正确的。”每一句听起来都像证据。没有一句是证据。

虚假证据表通过为特定捷径命名来预先阻断它们:

主张 所需证据 不充分(虚假证据)
“测试通过” 粘贴显示0个失败的测试输出 “测试应该会通过”或”我之前运行过”
“遵循模式” 指出模式名称以及该模式所在的文件 “我遵循了最佳实践”
“最简方案” 列出被否决的替代方案及原因 “代码很整洁”
“已处理边界情况” 列出每个边界情况及其处理方式 “我考虑过边界情况”
“无回归” 指出检查过的文件或功能 “其他部分应该不受影响”
“解决了问题” 说明用户的需求以及本方案如何满足它 “它实现了这个功能”

价值就在第三列。没有它,Agent会用听起来合理、实则只是重述自身信心的话填满第二列。有了它,这张表会在Agent采取每一条具体捷径之前,为其命名并加以阻断。3

这张表超越了一般意义上的提示词工程。它建立的是一个自我监控框架,而不是一条行为指令。它不告诉Agent该换一种做法,而是告诉Agent在自己的输出中留意什么。Agent会拿自己的回复去对照”不充分”这一列,一旦发现匹配,就知道要用真实证据替换那条捷径。

这个模式可以扩展。任何领域特定的主张都可以加进来。对于安全审查:”无漏洞”需要”检查过的具体漏洞类别及发现”,而不是”我审查了代码”。对于无障碍:”符合WCAG”需要”axe或Lighthouse的审计输出”,而不是”我检查了对比度”。


命名失败模式作为元认知护栏

人类的认知偏误都有名字:确认偏误、锚定效应、邓宁-克鲁格效应。名字很重要。一旦能叫出偏误的名字,就能对它保持警觉。AI Agent也需要同样的词汇来描述自己的失败模式。

我记录了Agent反复表现出的七种失败模式,为每一种命名,并加上检测信号:4

失败模式 表现形式 检测信号
捷径螺旋 为了更快报告而跳过验证步骤 完成报告缺少每一步的证据
信心幻象 用”我确信”代替实际验证 报告中出现模糊语言
够好即止 代码能运行,但不整洁、未测试或未写文档 被问及质量问题时犹豫
隧道视野 打磨一个函数的同时破坏了相邻代码 未经检查就说”不影响其他部分”
幽灵验证 没有当场运行就声称测试通过 证据来自之前的会话
延迟债务 在提交的代码中留下TODO/FIXME/HACK diff中出现此类注释
空洞报告 说”完成”却不引用任何具体内容 完成报告缺少任一标准的证据

名字让失败变得可检测。没有名字,Agent产生了信心幻象,Agent和用户都不会把它识别为一种模式。有了名字,指令就变成:”如果你发现自己表现出任何一种命名失败模式,立即停止,从评估步骤重新开始。”

这种监控在严格意义上是元认知的:Agent监视的是自己的认知过程(我是否在跳过验证?我是否在用信心代替证据?),而不是它的输出(这段代码正确吗?)。这种监控作为Agent推理过程的一部分塑造生成本身,这正是它能捕获输出层审查所遗漏错误的原因。

Anthropic自己的参考技能实现也支持这种做法。对官方Claude Code技能的分析揭示了有效Agent指令设计中的结构模式。据作者观察,禁止性指令(”NEVER X”)比建议性指令(”consider Y”)更有效,因为它们点名的是具体的规避行为,而不是笼统的行动。5 命名失败模式就是具体的禁止性指令:”绝不要出现幽灵验证”之所以胜过”始终运行测试”,是因为它阻断的是规避行为,而不是重述行动。


模糊语言检测

我实现过的最简单的元认知监控器,会检测Agent输出中的特定词语:

Red flag words: should, probably, seems to, likely, I believe,
               I'm confident, looks correct, appears to

每当Agent在完成报告中使用这些词之一,这个词本身就是验证不足的证据。6 “测试应该会通过(should pass)”意味着Agent没有运行测试。”看起来能用(seems to work)”意味着Agent只是目测了一下。”我确信(I’m confident)”意味着Agent在用内部状态代替外部证据。

实现是机械化的。hook系统拦截Agent的输出并标记模糊语言。随后Agent用本该执行的验证替换掉那个模糊词:

  • “测试应该会通过”变成:运行测试,粘贴显示0个失败的输出
  • “看起来是对的”变成:引用确认其正确性的具体断言或检查
  • “我确信”变成:列出支撑这份信心的证据

这个模式来自obra的verification-before-completion工作。1 与认知科学的对应关系已有充分依据:在人类的元认知中,自我报告(”我理解了”)的准确性与实际理解程度相关性很差。3 说”我懂了”的人往往并不懂。能够解释出来的人通常才真懂。AI Agent也是如此:能够引用具体证据的Agent理解了问题。说”我确信”的Agent则未必。


三次修复断路器

元认知不只是察觉糟糕的推理,也包括察觉何时该停下来。

三次修复升级规则:如果针对同一问题的三次修复尝试都失败了,Agent必须停下来,从根本上质疑架构。7 不是尝试第四次修复。也不是在同一思路上换个角度继续找。停下来。退一步。问一问问题究竟出在解决方案上,还是出在问题的定义上。

这条规则充当调试循环的断路器。没有它,Agent就会陷入我所说的”修复螺旋”:每次失败的尝试都产生一个新理论,新理论产生新修复,新修复又失败,然后又产生新理论。Agent可以循环几十次修复,却从未质疑自己是否在解决正确的问题。23个Agent失控事件就是这一现象在广度上的版本:由于没有元认知检查去问”这个问题的范围界定正确吗?”,Agent们在错误的问题上达成了共识。

三次修复规则之所以有效,是因为它强制Agent的推理发生一次相变。第1到第3次修复都在当前的心智模型内进行。第4次修复(实际上是”停止修复”)迫使Agent构建一个新的心智模型。实践中,这通常意味着从头重读错误信息、重新审视假设,或者请用户澄清,这些都比第四次猜测更有成效。


前后对比:变化了什么

来看一个具体例子。我让Agent为一个API端点添加输入验证。

没有元认知指令时:

Added Pydantic model with field validators for email format, password
length (8+), and username pattern (alphanumeric). Tests should pass.
The implementation follows FastAPI best practices.

这段输出包含三个模糊信号:”should pass”(没有运行测试)、”follows best practices”(没有说明是哪些实践),以及没有任何考虑过边界情况的证据。这是一个包裹在空洞报告里的信心幻象。

有元认知指令时(同一任务,同一Agent):

Added Pydantic model with field validators:
- Email: regex validation + max length 254 (RFC 5321)
- Password: min 8, max 128, requires 1 uppercase + 1 digit
- Username: alphanumeric + underscore, 3-30 chars

Test output (just ran):
  tests/test_auth.py::test_valid_registration PASSED
  tests/test_auth.py::test_invalid_email_rejected PASSED
  tests/test_auth.py::test_short_password_rejected PASSED
  tests/test_auth.py::test_empty_username_rejected PASSED
  tests/test_auth.py::test_unicode_username_rejected PASSED
  5 passed in 0.34s

Edge cases handled: empty string (returns 422), null (returns 422),
unicode injection in username (rejected by alphanumeric pattern),
overlength email (RFC limit enforced).

Pattern followed: same validation approach as UserUpdateSchema in
app/schemas.py line 45.

区别不在于第二个Agent写出了更好的代码。两个Agent写出的代码可能完全相同。区别在于第二个Agent依照具体的证据标准验证了自己的工作,并报告了证据而不是信心。


构建您自己的元认知层

这个框架是可移植的。您不需要我的具体系统。您需要三个组成部分:

1. 虚假证据表。 针对您的Agent最常做出的主张,定义什么不算证据。从上面的六项标准开始,再加上领域特定的行。价值在第三列(不充分)。

2. 命名失败模式。 记录您的Agent最常见的三到五种失败方式。为每一种命名。加上检测信号。并写入这条指令:”如果你发现自己表现出任何一种命名失败模式,停下来重新评估。”

3. 模糊语言检测。 列出在您的领域中预示验证不足的具体词语。并加上这条指令:”把任何模糊词替换为能消除这份模糊的证据。”

这三个部分组合成一个元认知层,可以叠加在任何行动层指令之上。行动层指令定义正确的行为是什么样子。元认知层定义Agent如何察觉自己偏离了正确的行为。

实现可以简单到只是在您的CLAUDE.md或AGENTS.md中加一个章节:

## Self-Monitoring

### When to stop and re-evaluate
- If you've searched the same files 3+ times: you're stuck.
- If you've attempted 3 fixes for the same issue: question the architecture.
- If you use "should" or "probably" in your response: replace with evidence.

### What doesn't count as evidence
[your false evidence table here]

### Named failure modes to watch for
[your failure modes here]

强制执行是通过hooks(确定性的,无法跳过)、规则文件(加载进上下文)还是内联指令(依赖模型遵从)来实现,决定了元认知层的可靠性。hooks最强,因为它们在工具调用层面而不是提示词层面进行拦截。但即便是提示词层面的元认知指令,也能可测量地提升Agent的输出质量,因为它们改变的是Agent的评估标准,而不仅仅是它的行动。

练习:审计您最近三次与Agent的交互。 复制完成报告。把每一处”should”、”probably”或”I’m confident”标出来。针对每个标出的词,写下本可以替代这份模糊的具体证据。如果证据存在但Agent没有引用,这个Agent需要模糊语言检测。如果证据根本不存在,说明Agent完全跳过了验证,它需要的是虚假证据表。

顺序很重要:先从虚假证据表开始(影响最大,也最容易实现),在观察到反复出现的模式后再加入命名失败模式,最后加入模糊语言检测作为机械化检查。每一层都能捕获前一层遗漏的错误。三者合在一起形成一个反馈循环:Agent监控自己的输出,察觉已知的失败模式,并在报告完成之前自我纠正。

最小可复现配置

您可以在五分钟内测试元认知模式的核心。创建一个名为 .claude/CLAUDE.md 的文件(或添加到现有文件中),写入以下内容:

## Evidence Gate

Before reporting any task as complete, provide evidence for ALL criteria:

| Claim | Required Evidence | NOT Sufficient |
|-------|------------------|----------------|
| "Tests pass" | Paste test output showing 0 failures | "Tests should pass" |
| "Follows patterns" | Name the pattern AND file where it exists | "Best practices" |
| "Edge cases handled" | List each case and handling | "Considered edge cases" |

## Red Flag Words
If your completion report contains: should, probably, seems to,
I believe, looks correct, I'm confident — STOP.
Replace the word with the evidence that eliminates the hedge.

## Circuit Breaker
After 3 failed fixes for the same issue, STOP.
Question whether you are solving the right problem.

让Agent执行任意一项有一定复杂度的任务(例如”为这个端点添加输入验证”)。比较有无证据关卡时的完成报告。差别在第一个任务上就能看出来:没有关卡时,Agent报告的是信心;有关卡时,Agent报告的是证据。

上面的配置只是完整系统的一个子集。它省略了命名失败模式和基于hooks的强制执行,但展示了核心机制:定义什么不算证据,能立即改变Agent的验证行为。


九个月的生产结果

自2025年5月起,这套元认知系统已在12个活跃项目中运行。精确衡量其影响很困难,因为没有对照组(我无法在没有这套系统的情况下把同样的九个月开发重来一遍)。但方向性的信号很清楚:

引入元认知指令之前(最初三个月,2025年5月至7月): Agent经常产生信心幻象:报告”测试通过”却没有运行测试,报告”遵循模式”却不说明是哪些模式。我在人工审查时发现这些问题,这意味着Agent的每一次完成都需要人工全面验证。Agent只是一个起草工具,而不是自主工具。

引入虚假证据表之后(2025年8月): Agent完成报告中的虚假证据主张降到了接近零。一个有代表性的例子:提交 3a8f2c1(2025年9月,blakecrosley.com)中的Agent完成报告引用了具体的测试输出、审查过的文件路径和处理过的边界情况,而同类任务以前产出的是”测试应该会通过”和”遵循最佳实践”。这张表为每一条具体捷径命名并加以阻断。当指令明确把”测试应该会通过”列为”不充分”时,Agent就无法这样说。这种机械化检查之所以有效,是因为它匹配的是字符串模式,而不是语义意图。

引入命名失败模式之后(2025年10月): 调试循环变短了。在有三次修复断路器之前,Agent会针对一个问题尝试8到12次修复,直到我介入。有了断路器之后,Agent在三次尝试后就会升级或请求澄清。这种升级通常比第四次猜测更快地得出正确诊断。

通过hooks引入模糊语言检测之后(2025年12月): hook系统机械地拦截模糊语言,这意味着即使在复杂的多步骤任务中(提示词层面的指令有时会被降低优先级),Agent也无法跳过这项检查。三层(表格、失败模式、hooks)结合后,我审查Agent输出时关注的是正确性,而不是完整性:Agent会可靠地报告它实际做了什么,而不是它打算做什么。

这套系统并不能消除错误。它消除的是一类特定的错误:Agent的自我评估与其实际表现相背离的那一类。

这个模式得到了多个来源的独立印证。Anthropic的constitutional AI研究依据自我评估标准而不仅仅是外部反馈来训练模型。9 obra的superpowers项目独立发现,”完成前验证”类技能对Agent行为的改变大于行动层指令。1 OpenAI的过程奖励模型(PRM)研究发现,逐一独立评估每个推理步骤,比只评估最终答案能产生更可靠的输出,这与虚假证据表应用于Agent验证步骤的原理相同。10 Shinn等人的Reflexion框架(2023)证明,与简单重试相比,获得结构化自我反思提示的LLM在编程基准上的任务准确率提升了20%至30%,从而确立了自我评估的形式与其是否存在同样重要。11 本系统中的虚假证据表是同一原理的手工指定版本:把评估标准明确定义出来,Agent的输出质量就会提高,因为它的自我监控提高了。


元认知的局限

元认知编程让AI Agent更可靠。它不会让它们变得明智。

虚假证据表能捕获特定的捷径。它捕获不了表中没有命名的新捷径。命名失败模式能检测已知的模式。它检测不了尚未命名的模式。模糊语言检测能捕获表层的”以信心代替证据”。但如果Agent真心说服了自己(无论”说服”在这里是什么意思)错误的输出是正确的,它就捕获不了。

更根本的是,元认知指令只能近似品味,却无法产生品味。Jiro系统可以阻止 except: pass 并强制要求测试证据。它无法判断架构是否正确、命名是否表达了意图,或者方案解决的是真正的问题还是被陈述出来的问题。这些判断需要一种依赖上下文的推理,而当前的模型只能近似、无法可靠地完成。

有人回复了我一条关于Jiro系统的推文,大意是:你基本上是在试图教这个循环学会克制、品味,以及某种近似道德停顿的东西,而这些恰恰是基础的Ralph模式以吞吐量之名明确舍弃的。8

对方说得没错。元认知编程是为机器所不具备的品质搭建的结构性脚手架。这个脚手架是承重的。没有它,机器会大规模地产出信心幻象。有了它,机器会大规模地产出经过验证的输出。这两种结果之间的差距,就是一个可以放心让它通宵运行的Agent与一个需要时刻看护的Agent之间的差别。

但脚手架不是建筑本身。建筑本身,也就是品味、判断力,以及知道一个问题的正确答案有时是另一个问题的能力,仍然属于人类。元认知层让这一局限变得可见,而不是把它藏在自信的文字背后。


核心要点

对于构建Agent系统的工程师:

  • 编写元认知指令,而不只是行动层指令。 行动层指令定义正确的行为。元认知指令定义Agent如何察觉自己偏离了正确的行为。把看似合理的输出与经过验证的输出区分开来的,正是第二种指令。

  • 为您的Agent的失败模式命名。 一旦失败模式有了名字(信心幻象、幽灵验证、捷径螺旋),Agent就能对它保持警觉。没有名字的失败会无限重复。

对于扩展AI辅助工作流的团队:

  • 在扩展之前建立虚假证据表。 针对Agent做出的每一种主张,定义什么不算证据。第三列(不充分)会预先阻断Agent在被要求”验证”时惯用的具体捷径。

  • 模糊语言是可靠的信号。 每当Agent在完成报告中说”should”、”probably”或”I’m confident”,它就没有执行它所声称的验证。用机械化方式检测并替换。


元认知审计

想评估您自己的Agent指令吗?下面的交互式工具可以分析任意CLAUDE.md、AGENTS.md或系统提示词,并按本文描述的元认知维度为其打分。

粘贴您的Agent指令后,审计会指出:您的指令中行动层与元认知各占多少比例、覆盖了哪些命名失败模式、是否存在模糊语言检测,以及缺口在哪里。


常见问题

行动层AI Agent指令与元认知指令有什么区别?

行动层指令定义正确的行为:”使用类型提示”、”编写测试”、”验证输入”。元认知指令定义Agent如何监控自己是否遵守了这些行为:”如果你在验证报告中使用’should’这个词,说明你其实没有验证”、”如果三次修复都失败了,质疑架构”。行动层指令防止错误的输出。元认知指令防止产生错误输出的错误推理模式。大多数Agent配置只包含第一种,这就是Agent会产出看似合理却未经验证的工作的原因。

如何为AI编程Agent构建元认知层?

从虚假证据表开始。列出您的Agent最常做出的五种主张(”测试通过”、”遵循模式”、”已处理边界情况”),并为每一种定义什么不算证据。第三列(不充分)会在Agent采取具体捷径之前将其阻断。在您观察到同一错误模式出现三次之后,再加入命名失败模式。最后加入模糊语言检测,作为机械化检查。每一层都能捕获前一层遗漏的错误。整个系统可以从您CLAUDE.md中的一个markdown章节起步,再逐步扩展。

元认知编程对Claude以外的模型有效吗?

这些原则与模型无关。任何遵循指令的语言模型都能从虚假证据表、命名失败模式和模糊语言检测中受益。具体的强制执行机制各不相同:Claude Code支持在工具调用层面拦截Agent输出的hooks(确定性的,无法绕过)。其他框架可能依赖系统提示词或后处理脚本。强制执行的强度决定可靠性:提示词层面的元认知指令能提升输出质量,而hook层面的强制执行能保证它。

哪些迹象表明AI Agent需要元认知指令?

有四个信号:(1)Agent报告”完成”,但工作中存在明显错误(空洞报告,Agent跳过了验证)。(2)同一类错误在不同会话中反复出现(一种没有命名的失败模式,因为没有任何东西在留意它而不断重复)。(3)Agent的完成报告使用模糊语言(”should work”、”looks correct”)而不是引用证据(信心幻象)。(4)Agent陷入漫长的调试循环却从不质疑自己的方法(缺少断路器)。如果其中任何一种模式出现超过两次,这个Agent就需要元认知脚手架。


本文属于Claude Code Deep Dives系列。hooks系统实现了本文所述的强制执行层。作为架构的上下文工程解释了元认知层如何融入更广泛的七层上下文系统。



  1. GitHub上的obra/superpowers。superpowers项目包含用于系统化调试和验证的技能,教Claude Code Agent监控自身的推理模式,而不仅仅是监控其输出。本文的元认知框架借鉴了这一方法。github.com/obra/superpowers ↩↩↩

  2. 虚假证据表的结构借鉴了obra/superpowers项目中的verification-before-completion模式。我把这一概念改编为Evidence Gate,一个通过hooks强制执行的六项标准验证系统。完整实现请参阅Jiro质量哲学文章。 ↩

  3. 第三列(不充分)针对的是学术文献所称的”元认知错觉”:主体对自身表现的自我评估与实际表现相背离的情况。这在认知科学中已有充分记录:自评为”理解”了材料的学生,在该材料的测试中往往表现不佳。Dunning, D., Johnson, K., Ehrlinger, J., & Kruger, J. (2003). Why people fail to recognize their own incompetence. Current Directions in Psychological Science, 12(3), 83-87. doi.org/10.1111/1467-8721.01235 ↩↩

  4. 七种命名失败模式源自九个月的生产使用。每一种都是在不同项目和任务类型中至少观察到三次该模式之后才记录下来的。完整系统见Why My AI Agent Has a Quality Philosophy。 ↩

  5. 作者对可通过Claude Code CLI技能系统获取的官方Claude Code技能所做的分析。禁止性指令(”NEVER X”)比建议性指令(”consider Y”)更有效,因为它们点名了具体的规避行为。关于心态导向的技能在采用度上优于流程指南的观察,基于Claude Code Discord和GitHub讨论中的社区反馈,而非对照研究。参见Anthropic的Claude Code文档:docs.anthropic.com/en/docs/claude-code。 ↩

  6. 模糊语言预示验证不足这一洞察,在Agent系统之外也有实证支持。Nisbett, R.E. and Wilson, T.D. (1977). “Telling More Than We Can Know: Verbal Reports on Mental Processes.” Psychological Review, 84(3), 231-259. doi.org/10.1037/0033-295X.84.3.231. Nisbett和Wilson发现,人们对自身推理过程的口头自我报告常常是虚构的:人们描述的是听起来合理的解释,而不是对其实际推理的准确叙述。同样的机制也出现在Agent的输出中:”我确信这是正确的”是一种听起来合理的自我报告,而不是验证的证据。 ↩

  7. 三次修复升级规则是应用于调试的断路器模式。该模式类似于分布式系统中的断路器(Nygard, M. Release It!, 2007, Pragmatic Bookshelf):快速失败、升级、换一种方法。在同一心智模型内失败三次之后,沿原路继续下去的回报会不断递减。 ↩

  8. 转述自X上对@blakec的一条回复,2026年2月。原推文讨论了Ralph循环的速度优化与Jiro系统的质量摩擦之间的张力。回复者指出基础循环”explicitly optimizes against restraint in the name of throughput”,准确描述了元认知层所要应对的设计张力。 ↩

  9. Anthropic, “Constitutional AI: Harmlessness from AI Feedback,” 2022. arxiv.org/abs/2212.08073. constitutional AI方法训练模型依据一组原则评估自己的输出。本文描述的元认知系统是同一思路的运行时版本:不是在训练时进行自我评估,而是由虚假证据表和命名失败模式通过指令集在推理时提供评估标准。 ↩

  10. Lightman, H., Kosaraju, V., Burda, Y., et al., “Let’s Verify Step by Step,” arXiv, 2023. arxiv.org/abs/2305.20050. OpenAI的过程奖励模型研究表明,在数学问题求解上,评估中间推理步骤(过程监督)优于只评估最终答案(结果监督)。虚假证据表在指令层面应用了同一原理:要求为每一项验证主张提供证据,而不是接受一份最终的”完成”报告。 ↩

  11. Shinn, N., Cassano, F., Gopinath, A., et al., “Reflexion: Language Agents with Verbal Reinforcement Learning,” NeurIPS 2023. arxiv.org/abs/2303.11366. Reflexion通过在失败后为LLM Agent提供结构化的自我反思提示,在HumanEval和ALFWorld基准上实现了20%至30%的准确率提升。该框架印证了本系统的核心洞察:自我评估指令的形式与具体程度,与其是否存在同样重要。 ↩

相关文章

你的AI智能体写代码的速度远超你的阅读速度

本周有五个研究团队发表了关于同一问题的研究:AI智能体生成代码的速度远快于开发者理解代码的速度。债务积累在你的脑中。

13 分钟阅读

为什么我的AI智能体需要一套质量哲学

我的Claude Code智能体以机器速度继承了人类所有的马虎习惯。我构建了3套哲学、150多道质量关卡和95个钩子。以下是真正奏效的部分。

22 分钟阅读

AI 代理的运行时宪法:一套治理框架

训练阶段的对齐失效之处,正是运行时宪法发挥治理作用的地方。能力校验、输出关口与四大子系统,共同守住代理的安全边界。

15 分钟阅读