← 所有文章

AI代理審查資料包,是新的最終答覆

OpenAI的Codex發表文章指出,Codex會透過終端機記錄與測試輸出的引用提供可驗證證據,讓使用者追蹤任務完成過程中的每一步。1這句話點出了產品轉向:只交出最終答覆已經不夠了。

對代理工作而言,審查資料包才是新的最終答覆。嚴謹的代理應該在收尾時提供一組結構化資料,包含主張、追蹤、核准、差異、測試、來源檢查、部署證明,以及未解缺口。流暢文字可以摘要工作;真正建立信任的是資料包。

摘要

代理工作如今涵蓋規劃、工具呼叫、檔案編輯、核准、測試、即時路由、翻譯與人工簽核。OpenAI的Codex雲端文件描述了在沙箱化雲端環境中執行的背景任務,而Agents SDK則揭露了模型生成、工具呼叫、移交、護欄與自訂事件的追蹤能力。23OpenAI的人機協作文件會在需要核准時暫停執行;Anthropic的Claude Code掛鉤則揭露了PreToolUsePostToolUsePermissionRequestStop等生命週期事件。45

這些能力都指向同一種成果物:審查資料包。資料包會把代理的最終主張,轉化為人類可以檢視、拒絕、核准,或交給下一位審查者的物件。

重點整理

給代理建構者: - 把最終答覆視為封面。證據應該由審查資料包承載。 - 每一項重要主張,都要綁定到檔案、命令輸出、追蹤事件、來源、路由檢查、核准決策,或未解缺口。

給產品設計師: - 把資料包設計成可快速掃讀的物件,而不是逐字匯出的紀錄。請依使用者決策來組織證據。 - 將人工審查狀態放進資料包。「機器已檢查」與「人工已核准」是不同狀態。

給正在導入代理的團隊: - 公開發布、生產環境變更、翻譯工作、安全敏感變更,以及會影響金錢的工作,都應要求審查資料包。 - 除非資料包明確列出哪些事項尚未驗證,否則不要接受「完成」。

什麼是AI代理審查資料包?

審查資料包是一組為代理工作建立的結構化證據集合。

它回答7個問題:

問題 資料包欄位
使用者要求什麼? 目標與範圍
代理變更了什麼? 檔案、差異、成果物、外部狀態
代理執行了什麼? 命令、工具呼叫、參數、結束狀態
人類核准了什麼? 核准決策與風險註記
什麼能證明結果? 測試、來源檢查、已渲染路由、遙測、截圖
還有哪些需要判斷? 審查任務、簽核矩陣、未解主張
接下來該怎麼做? 合併、發布、拒絕、重試,或升級處理

資料包可以是Markdown、JSON、資料庫資料列、pull request範本,或專用UI物件。格式不如結構重要。這個物件必須把證據和敘述分開。

最終答覆會說:「我翻譯了文章並完成部署。」審查資料包會說明哪些語系已變更、哪個品質關口已通過、哪些D1資料列存在、哪個commit已部署、哪一次CDN清除已執行、哪些即時路由回傳了變更後文章,以及哪些母語者審查仍待完成。第二種版本才給了人類可作決策的介面。

為什麼最終答覆不再有效?

最終答覆不再有效,是因為代理現在會隨時間推進並採取行動。

聊天機器人的回答,可以在回答介面本身被判斷。程式碼或發布代理產生的則是一條路徑:讀取檔案、選擇來源、呼叫工具、編輯內容、執行測試、撰寫翻譯、部署、清除快取,再驗證生產環境。最後一段文字只能描述這條路徑,無法證明路徑真的發生過。

OpenAI的Codex文件描述了雲端任務如何在隔離的雲端環境中讀取、編輯與執行程式碼,包括大量平行背景任務。2平行背景工作會拉大「實際發生的事」與「最終答覆可承載內容」之間的距離。代理做得越多,逐字紀錄摘要就越不配作為證明物件。

OpenAI的安全執行Codex文章,從安全角度提出了同樣的營運觀點。文章描述了沙箱、核准、網路政策、身分識別、受管理設定與代理原生遙測等控制;也提到針對提示、核准決策、工具執行結果、MCP使用情形,以及網路允許或拒絕事件的記錄匯出。6這些都是資料包的材料,應該出現在審查介面中。

最終答覆仍然應該存在,但它應該像主管摘要。審查資料包才負責承載稽核軌跡。

資料包應該包含什麼?

資料包應依決策分組證據,而不是依內部事件順序排列。

區段 最低證據
目標 使用者要求、驗收條件、範圍排除項目
工作摘要 已變更檔案、已產生成果物、觸及的外部狀態
追蹤 有意義的工具呼叫、命令輸出、失敗、重試
核准 高風險動作、核准決策、拒絕、延後處理
驗證 測試、來源檢查、已渲染路由、結構描述檢查、截圖
發布 Commit、部署狀態、快取清除、即時變更標記
審查 人工簽核狀態、母語審查狀態、未解缺口

這種結構讓資料包維持可讀性。原始追蹤可能包含數百個事件;審查資料包不應把它們全部倒進主流程。必要時,資料包應能連到或展開完整追蹤;預設視圖則要聚焦在決策上。

不同領域會改變證據標準:

工作類型 資料包必須證明
程式碼變更 差異、測試、受影響呼叫端、復原路徑
公開文章 來源、主張與來源對齊、中繼資料、結構描述、即時路由
翻譯 語系快取、品質關口、D1資料列、即時路由、母語審查狀態
安全工作 威脅、緩解方式、測試、剩餘風險、核准紀錄
生產部署 Commit、部署狀態、快取新鮮度、即時變更標記

規則始終如一:只要需要人類簽核,資料包就應包含足以讓簽名負責的證據。

追蹤與核准如何進入資料包?

追蹤與核准提供資料包的骨架。

OpenAI的Agents SDK追蹤文件,定義了代理執行周圍的追蹤與span,包含LLM生成、工具呼叫、移交、護欄與自訂事件。3這些資料告訴資料包發生了什麼。OpenAI的人機協作文件則示範執行如何為工具核准暫停、將待處理核准作為中斷回傳、序列化執行狀態,並在決策後恢復執行。4這些資料告訴資料包,是誰允許了高風險動作。

Anthropic的Claude Code掛鉤揭露了相似的生命週期樣貌:工具執行前、工具執行後、權限請求,以及Claude停止時,都可以執行掛鉤。5這些事件很重要,因為它們讓代理系統能把行為轉換成可審查事實。資料包不該依賴模型記得整段執行;執行環境應在事件發生時記錄相關事實。

差別在這裡:

薄弱完成說法 資料包式完成
「測試通過。」 命令、結束代碼、輸出摘要,如有失敗測試也要列出
「來源已檢查。」 來源URL、狀態、主張對齊、遭封鎖URL
「部署成功。」 部署id、執行環境健康狀態、快取清除、即時路由冒煙檢查
「翻譯完成。」 語系列表、品質關口結果、D1資料列、母語審查狀態
「我核准了命令。」 核准物件、理由、風險層級、行動者、時間戳記

資料包會移除模糊空間。代理仍可撰寫精簡摘要,但證據要存在於文字之外。

人工審查狀態應如何運作?

人工審查狀態應作為獨立欄位出現,而不是形容詞。

機器關口可以證明結構、路由健康、結構描述存在、來源可連線,以及許多對等檢查。機器關口無法證明一位流利母語者已審查在地化文章。資料包應清楚說出兩件事:

狀態 意義
機器通過 自動化關口已通過
人工待審 必要人工審查尚未發生
人工核准 已記錄審查者、日期、語系或範圍,以及決策
已拒絕 審查者發現阻斷性問題
不需要 該範圍的工作流程不需要人工簽核

同樣規則也適用於翻譯之外。安全關口可以通過,但法務審查仍待處理。測試套件可以通過,但產品審查拒絕這個行為。部署可以成功,但CDN仍供應過期內容。審查狀態應描述剩下的決策,而不是裝飾代理的信心。

NIST的AI Risk Management Framework將可信度視為團隊需要納入AI系統設計、開發、使用與評估中的事項。7審查資料包讓這個框架能被實際執行。它把評估變成可見成果物,而不是最終答覆裡的一句主張。

最小資料包長什麼樣?

先從小處開始:

# Review Packet: <work item>

## Decision
Status: ready for review | blocked | approved | rejected
Owner: <human or team>

## Goal
- User request:
- Acceptance criteria:
- Scope exclusions:

## Changes
- Files:
- Artifacts:
- External state:

## Evidence
| Claim | Proof | Result |
|---|---|---|
| Tests ran | `<command>` output | pass/fail |
| Public route works | `<url>` smoke | pass/fail |
| Sources support claims | source list | pass/fail |

## Approvals
| Action | Risk | Decision | Notes |
|---|---|---|---|

## Remaining Gaps
- <unverified work>

資料包一開始應該保持樸素。表格、連結和簡短狀態欄位,通常比漂亮但藏住證據的成果物更有效。結構穩定之後,設計可以讓資料包更容易掃讀:嚴重程度、分組、篩選器、可收合追蹤,以及明確的下一步動作。

重要的產品決策是:資料包會成為其他系統可讀的成果物。Pull request可以連到它。發布說明可以摘要它。母語審查者可以簽核它。未來的代理可以從它恢復工作。

這會如何改變代理介面?

審查資料包把監督介面連到證據關口

監督介面會在代理工作期間顯示哪些事項需要注意。證據關口會在最後擋下薄弱的完成宣稱。審查資料包則保存結果。三者合在一起,形成一個循環:

  1. 操作者委派目標。
  2. 代理在核准與追蹤控制下行動。
  3. 系統在事件發生時記錄證據。
  4. 代理摘要工作。
  5. 資料包將每一項主張綁定到證明。
  6. 人類核准、拒絕,或把工作退回。

這個循環也會改變代理的寫作標準。最終答覆不應假裝自己就是證明;它應說明證明在哪裡、哪些項目通過,以及哪些仍待處理。當任務觸及公開內容、客戶資料、金錢、安全、生產環境或翻譯時,資料包的壽命應該超過聊天本身。

快速總結

對嚴肅的代理工作而言,審查資料包應該取代最終答覆,成為可信的完成成果物。OpenAI Codex已經指向可驗證的終端機記錄、測試輸出、核准、遙測與雲端任務追蹤。12346Anthropic的掛鉤生命週期,也從另一個代理堆疊展示了相同的執行環境樣貌。5NIST則提供信任框架:評估應存在於AI系統的設計、開發、使用與評估之中,而不只存在於模型行為裡。7

實務做法很簡單:最終答覆保持簡短,資料包則要真實可查。

FAQ

什麼是AI代理工作的審查資料包?

審查資料包是一組結構化證據集合,記錄代理被要求做什麼、變更了什麼、執行了哪些命令與工具、發生了哪些核准、哪些檢查已通過,以及哪些事項仍未驗證。它給人類審查者一個決策物件,而不是只有文字敘述的完成宣稱。

為什麼最終答覆不夠?

最終答覆會摘要工作,但無法證明工作真的發生。代理任務現在包含工具呼叫、檔案編輯、測試、部署、翻譯、核准與快取狀態。這些事實需要連上證據。最終答覆可以指向資料包;資料包才應承載證明。

審查資料包一開始應該包含什麼?

先放入目標、已變更檔案、命令與測試證據、來源檢查、核准決策、部署或路由證明,以及未解缺口。當工作觸及公開、生產、安全、金錢,或會影響客戶的介面時,再加入完整追蹤、截圖、母語審查簽核與風險註記。

每個代理任務都需要審查資料包嗎?

不需要。低風險探索任務可以用一般摘要收尾。當人類必須簽核、合併、發布、部署、花費、核准,或日後依賴結果時,審查資料包才重要。資料包應隨風險調整規模。

審查資料包和追蹤有什麼關係?

追蹤會記錄代理執行期間發生的事。審查資料包則挑出對決策重要的追蹤事件,並把它們綁定到主張。追蹤是原始紀錄;資料包是審查物件。


參考資料


  1. OpenAI,“Introducing Codex,” OpenAI,2025年5月16日。來源用於說明Codex是雲端軟體工程代理,以及Codex會透過終端機記錄與測試輸出引用,提供可驗證的行動證據。 

  2. OpenAI,“Codex cloud,” OpenAI Developers。來源用於說明Codex雲端任務會在沙箱化雲端容器中讀取、修改並執行程式碼,包括背景與平行任務執行。 

  3. OpenAI,“Tracing,” OpenAI Agents SDK。來源用於說明代理執行、span、LLM生成、工具呼叫、移交、護欄與自訂事件的內建追蹤。 

  4. OpenAI,“Human-in-the-loop,” OpenAI Agents SDK。來源用於說明核准中斷、待處理核准、序列化RunState,以及核准決策後恢復執行。 

  5. Anthropic,“Hooks reference,” Claude Code Docs。來源用於說明Claude Code生命週期事件,例如PreToolUsePostToolUsePermissionRequestStop。 

  6. OpenAI,“Running Codex safely at OpenAI,” OpenAI,2026年5月8日。來源用於說明OpenAI描述的Codex控制措施,包括沙箱、核准、網路政策、身分識別、受管理設定、OpenTelemetry記錄匯出、合規記錄與代理原生遙測。 

  7. National Institute of Standards and Technology,“AI Risk Management Framework,” NIST。來源用於說明如何將可信度考量納入AI產品、服務與系統的設計、開發、使用與評估。 

相關文章

代理需要監督介面

代理監督介面會把自主AI工作轉化為可檢查的作業:核准、追蹤、證據、復原與審查佇列,比更好的聊天更重要。

2 分鐘閱讀

代理式設計就是控制介面設計

代理式設計不是更漂亮的聊天框,而是讓自主軟體可見、可中斷、可稽核,並值得信任的控制介面。

1 分鐘閱讀

Ralph 迴圈:我如何在夜間運行自主 AI 代理

我建構了一套自主代理系統,搭配停止鉤子、生成預算與檔案系統記憶體。以下是失敗經驗與真正能交付程式碼的方法。

3 分鐘閱讀