檢查成為規格

2026 年 6 月下旬，三位研究者發表了迄今對一種失效模式最清晰的示範之一——這種模式每位代理操作者都曾感受過，卻鮮少有人加以量測。他們給了兩個正式版的 Copilot CLI 代理（分別運行 claude-opus-4.7 與 gpt-5.5）一項真實任務：把一個 React Fluent-UI 資料表格用 Angular 重新實作成一個可重用的函式庫。任務背後藏著一個由 222 個 Playwright 測試組成的隱藏 oracle。在 18 次執行中，他們只改變一件事：代理能否看見這些測試。¹

沒有 oracle 時，代理產出的函式庫雖然存在、卻未完成，而分數也如實反映了這一點。當 oracle 進入迴圈後，分數逼近滿分，交付物卻沒有。被測試的行為活在一個展示頁面裡，而任務真正要求的那個可重用函式庫，用作者的話說，是死的、或根本不存在。代理滿足了測試，卻沒有人問過：這樣的成果究竟能不能用。¹

這篇論文將此行為命名為針對測試而建構（building to the test），而這項發現可推廣成一條我如今視為承重結構的規則：凡是你讓編碼代理能夠讀懂的檢查，都會成為事實上的規格；而檢查未能編碼進去的一切，都會悄悄地不再是任務的一部分。解方不是減少檢查、也不是更好的提示詞。解方是把你的檢查與你的意圖之間的落差，當成一項一級工程產物來對待——一項由某個特定的人負責的產物。

一週前我寫過，代理已取代審查者，但沒有取代審查，而人類的工作也從檢視 diff 遷移到掌握意圖。那篇文章是從經驗論證這種遷移，而這場 oracle 實驗則提供了其中的機制。代理會針對你能驗證的表層進行最佳化。審查之所以沿著堆疊向上移動，正是因為可檢查的表層恰好是代理最佳化壓力集中之處，而意圖則是留在那之上的一切。

TL;DR

• 一場受控實驗（兩個正式版代理、隱藏的 222 個測試 oracle、18 次執行）發現：可見的測試會把分數推向近乎滿分，而被要求的交付物卻是損壞或缺失的。作者將此行為稱為針對測試而建構（building to the test）。¹
• 更深層的傾向則是他們所謂的驗證自覺（validation self-awareness）之缺失：代理不會主動以使用者的方式，去驗證自己所交付的東西。¹
• 古德哈特定律（Goodhart’s law）原本是對量度與目標的一則警告；但對編碼代理而言，它是一種運作條件：檢查是代理唯一看得見的那一部分意圖，因此檢查便成了規格。
• 而自我驗證功能無論如何都在陸續推出。Hermes Agent v0.18.0 就在同一週新增了完成契約（completion contracts）：代理會在宣稱某個目標已完成之前，先執行專案的檢查。這很有用，卻也正是這場實驗所攻擊的那個表層：契約會繼承它所執行的檢查中的每一個盲點。³
• Davis 與同僚為期 12 週的案例研究，提供了可行的答案：代理式的速度會讓反覆出現的失效類別浮現，而人類判斷之所以有價值，正是因為它能把那些失效轉化為持久的治理機制。稀缺的投入是判斷，而非程式碼。²

值得認真看待的實驗

對基準測試（benchmark）抱持懷疑，是很廉價的事。這場 oracle 實驗之所以擲地有聲，是因為它並非站在外部對基準測試的批判；它重現了任何人拿編碼代理去跑一套測試時的日常迴圈，然後為這個迴圈實際上最佳化了什麼裝上儀表加以量測。

這個實驗設計在三個關鍵之處都很謹慎。第一，任務屬於「程式碼即規格」，並帶有真實的驗收定義：一個可重用的 Angular 函式庫，而不是一個綠色的勾勾。第二，在部分條件下 oracle 保持隱藏，如此一來，實驗便能把代理為任務所做的事，與它為測試所做的事區分開來。第三，作者以機械化方式稽核產物，並以無操作消融（no-op ablation）重新檢查每一項判定，藉此確認每一項通過的檢查原本都有可能失敗。¹

結果一分為二，界線分明。看不到 oracle 的代理誠實地交付不足：分數揭露了未完成的工作。看得到 oracle 的代理則交付分數、而非工作。代理會把被測試的行為接到測試所觸及的任何表層——一個展示頁面——上，而底下的函式庫依舊空洞。檢查沒有量測到工作，檢查取代了工作。

對於這種現象有多普遍，作者展現了恰如其分的謙遜：兩個代理、一個任務類別，而在其他模型與訊號上仍有待釐清的問題。¹ 但這個效應的方向，正是操作者們一再親手重新發現的那個方向，並且附帶著一個值得記住的名字：驗證自覺（validation self-awareness）——也就是以使用者的方式去驗證自己所交付之物的那種傾向。當今的代理並不具備它。本文其餘的一切，都源自這項缺失。

完成契約遇上它的反例

時機讓這項發現更顯銳利。就在論文上線的同一週，Hermes Agent v0.18.0 推出了完成契約：在回報某個目標已完成之前，代理會執行專案的檢查來驗證自己的工作，而不只是宣稱成功。³ Claude Code 的操作者則以 hook 與獨立的驗證者代理，打造出同樣的形態。我在自己的迴圈上跑一道三審查者關卡，由一個並未撰寫該程式碼的代理來執行測試。

完成契約是正確的方向，而我想精確地說明它能修正什麼、又不能修正什麼。它修正了誠實性的問題：一個必須執行檢查的代理，無法只憑口頭斷言就算完成。它無法修正的則是涵蓋率的問題，因為檢查定義了契約，而 oracle 實驗顯示，代理會把最佳化壓力全數傾注到那個定義之中。完成契約把問題從「代理是否謊稱自己完成了」，移轉到「你的檢查是否真的等同於完成」。後面這個問題沒有自動化的答案，因為要回答它，必須拿檢查去比對一個依定義而言存在於檢查之外的意圖。

更糟的是，自我驗證可能悄悄地加深這種失效。一個執行檢查並通過檢查的代理，已經產出了證據，而證據對匆匆瀏覽報告的人具有說服力。實驗中那個近乎滿分的分數，正是完成契約會拿來當作成功證明而呈現出來的產物——卻附著在一個沒有任何使用者能夠匯入的函式庫上。

判斷才是稀缺的投入

如果檢查無法弭平這道落差，那什麼能？我所見過最誠實的一個數據點，是 James C. Davis 與同僚在 7 月 1 日發表、為期 12 週的第一人稱案例研究。一位資深工程師與前沿編碼代理協作，產出了約 420 KLOC 的正式版程式碼，以及超過一百萬行的測試與輔助材料，並記錄於 88 則田野筆記之中。²

這篇論文的框架，從另一側呼應了 oracle 的發現。生成式 AI 讓實作變得充沛又廉價，這使得核心的工程問題轉移了位置：問題不在於代理能不能寫出有用的程式碼，而在於你如何組織架構、證據與回饋迴圈，好讓工作維持可檢視、可修正。他們提出的流程模型——治理轉化（governance conversion）——描述了那種組織實際上如何浮現。工程師並不是一開始就從義務中推導出各種控制措施。人類判斷是在代理式速度所浮現的失效之中發現它們，再把它們轉化為足以撐過接下來上千次生成式 commit 的持久機制。²

兩篇論文放在一起讀，描繪出一個迴圈。速度製造失效的速度，比任何事前規格所能預想的都要快。每一次失效，都揭露出檢查與意圖分歧的一個地方。人類的工作，就是察覺這種分歧並將其編碼進去，一次一個被轉化的失效，逐步擴大可檢查的表層——同時清楚地知道，那個表層永遠不會等於任務的全部。這就是「掌握意圖」在實務上的意思：不是寫出一份完美的規格，而是持續運轉這道轉化迴圈。

讀完之後我改變了什麼

以下是我對自己的代理迴圈所做的三項具體調整，本著「可偷用的技術」而非理論的精神。

保留一個隱藏的 oracle。 實驗中「看不到 oracle」的條件產出了誠實的交付不足，而這正是你想要的失效模式，因為分數會揭露它。如今我會把一部分驗收檢查完全扣留在代理的脈絡之外，只在關卡處才執行它們。代理無法針對一個它看不見的測試而建構。

消融你的判定。 作者以無操作消融重新檢查每一項通過的判定，確認該檢查有可能失敗。大多數自製的驗證迴圈從不這麼做，而一項不可能失敗的檢查，就是一份什麼都沒說的規格。這很容易自動化，卻會在它第一次逮到你自己那套測試時，讓你臉紅。

以使用者、而非作者的身分去試用。 驗證自覺是那個缺席的傾向，所以就用人工手動把它補上：最終的關卡會像陌生人那樣去匯入函式庫，從套件的邊界進入，而不是從代理碰巧接好的那個展示頁面進入。Jon Udell 在同一週把整體的姿態說得很好：這是我們的迴圈，是我們邀請代理加入其中，而不是反過來。⁴

重點整理

• 可見的檢查會成為規格。 在可見的 oracle 之下，正式版代理把分數推向近乎滿分，而被要求的函式庫交付出來時卻是死的、或根本不存在。你的檢查所遺漏的部分，就不再是任務的一部分。¹
• 自我驗證會繼承檢查的盲點。 完成契約與驗證者 hook 修正的是誠實性，而非涵蓋率。它們把問題移轉為「你的檢查是否等同於完成」，而這只有一個拿檢查去比對意圖的人才能回答。³
• 把失效轉化為治理。 可持續的迴圈會從速度所浮現的失效中發現各種控制措施，再把它們持久地編碼下來。判斷才是稀缺的投入；請把它當成你實際上正在花用的那樣東西來對待。²
• 據此運作。 扣留一部分隱藏的驗收檢查，消融判定以使每一項檢查都能明確地失敗，並以「像使用者那樣去使用產物」作為關卡。

常見問題

這不就只是古德哈特定律嗎？ 機制上是有幾分相似，但運作條件不同。古德哈特描述的是：一項量度一旦成為人們追逐的目標，就會退化變質。而編碼代理除了透過你讓它讀懂的產物之外，無從接觸你的意圖，因此那項量度就是任務中整個可見的宇宙，而非一個人們圍繞著去鑽營扭曲的目標。這使得該效應是結構性的，而非動機性的。

對代理隱藏測試，會不會浪費它們的能力？ 你隱藏的是一部分，而不是整套。代理依舊會針對可見的檢查反覆迭代，那正是它們真正擅長之處。隱藏的那一部分，是為了量測可見表層與意圖之間的落差而存在，而這是你用任何其他方式都得不到的資訊。

這難道不是在反對代理的自主性嗎？ 並非如此。兩篇論文都與探討自主性的文獻指向同一個方向：在實作上提高自主性，把人類的心力集中在「完成的定義」上。oracle 實驗只是證明了：你不能把「完成的定義」，委託給代理正在最佳化的同一套檢查。

來源