プロテジェパターン

70億パラメータのモデルが、SWE-bench Verifiedタスクの42.4%を解決しました。それまでの小規模モデルの記録は17.0%でした。モデルが賢くなったわけではありません。モデルは、いつ助けを求めるべきかを学んだのです。¹

Konらは、Qwen2.5-Coder-7B-Instructモデルを、フロンティアモデルをエキスパートとして活用する協調動作ができるよう訓練しました。エキスパートは1タスクあたり約4回の質問に回答し、全トークンの11%を消費しました。¹ 残りの89%のトークンは、小規模モデルがルーティン操作（ファイルの読み取り、テストの実行、パッチの適用）を実行する際に消費されました。コストは、1インスタンスあたり$0.54〜$1.24（エキスパートのみ）から$0.13〜$0.15（プロテジェ＋エキスパート）に低下しました。¹ 従来の小規模モデルの最先端と比較して、25ポイントの性能向上と8.2倍のコスト削減です。

この結果は、実務者たちが独立して収束しつつあったパターンを検証するものです。それがプロテジェパターンです。

TL;DR

プロテジェパターンは、エージェントの作業を、ルーティン実行を担う小型で低コストなモデル（プロテジェ）と、判断を担うフロンティアモデル（エキスパート）に分割します。SWE-Protegeは25.4ポイントの改善と8.2倍のコスト削減を実証しました。¹ Anthropic自身のマルチエージェント研究システムも同じティア分割を採用しており、リードエージェントにClaude Opus、サブエージェントにClaude Sonnetを使用しています。³ このパターンが機能するのは、エージェント作業の大半が機械的だからです。その機械的な作業を1トークンあたり5分の1のコストのモデルに振り分けることで、コスト予算の80%を回収しつつ、重要な意思決定の品質を犠牲にしません。

エキスパート・プロテジェフレームワーク

SWE-Protegeは、この関係を精密に定義しています。¹ プロテジェが唯一の意思決定者です。エキスパートは自ら行動を起こしません。プロテジェが、いつエスカレーションするか、どんな質問をするか、その回答をどう取り込むかを決定します。強化学習により、プロテジェは2つの競合する目標を最適化するよう訓練されます：タスクを解決すること、そしてエキスパートの使用を最小化することです。

強化学習の報酬構造は、3つの失敗モードにペナルティを課します：

退行的ループ。 プロテジェが同じ質問を繰り返し行います。このペナルティは学習性無力感を抑制します。

非生産的な協調。 プロテジェが質問し、回答を無視して元の計画を続行します。このペナルティは形式的なエスカレーションを抑制します。

過度の依存。 プロテジェがすべての判断をエキスパートに委ねます。このペナルティは、プロテジェが単なるパススルー層になることを抑制します。

その結果、プロテジェは自身の限界について真の判断力を身につけます。7Bモデルは、単独で処理できるタスク（ファイルの読み取り、テストの実行、明確なパッチ）と、エキスパートの介入が必要なタスク（アーキテクチャの判断、曖昧な要件、複数ファイルの依存関係分析）を区別することを学びました。¹

ルーティングが機能する理由

モデルルーティングの学術的基盤は、SWE-Protegeより前から存在しています。RouteLLMは、強いモデルと弱いモデル間のルーティングにより、強いモデルの品質の95%を維持しながら最大3.66倍のコスト削減を達成することを実証しました。¹¹ ルーターは、どのクエリにフロンティアの能力が必要で、どのクエリは小規模モデルでも同等に処理できるかを学習します。

IBM Researchも「倹約的な」ルーティング手法で同様の結果を得ました。小型の特化モデルを順次呼び出し、いずれかが確信度の高い回答を出すまで続ける方法です。¹⁴ このアプローチは、単純なクエリに対して最大85%のコスト削減を達成します。

根底にある知見は分布的なものです。エージェント操作の大半は難しくありません。ファイルの読み取り、grepの実行、明確に定義されたパッチの適用、テストスイートの実行——これらの操作に必要なのは正確な実行であり、深い推論ではありません。1トークンあたり5分の1のコストのモデルでも、フロンティアモデルと同じように処理できます。⁷ 難しい操作（微妙なバグの診断、アーキテクチャアプローチの選択、ソリューションの正確性の評価）は、フロンティアの推論能力が活きる場面です。プロテジェパターンは、各操作を適切なティアに振り分けます。

Anthropic自身のドキュメントでもティア分割を明示しています。「Choosing the Right Model」ガイドでは、「サブエージェントタスク」にはHaikuを、「プロフェッショナルなソフトウェアエンジニアリング」と「高度なエージェント」にはOpusを推奨しています。⁸ これはマーケティングではありません。タスク複雑度の分布に対して測定された性能差を反映したガイダンスです。

プロダクション実装

3つのプロダクションシステムが、プロテジェパターンの大規模な実用性を実証しています。

Anthropicのマルチエージェント研究システム。 Claude Opusがリードし、Claude Sonnetがサブエージェントとして実行します。³ このシステムは、内部評価でシングルエージェントのClaude Opusを90.2%上回りました。改善の要因はより優れたモデルではなく、より優れたタスク分解でした。Sonnetサブエージェントがリサーチ操作でトークンの大部分を消費し、Opusは統合と判断に推論予算を集中させました。

CarliniのCコンパイラ。 16の並列Claudeエージェントが、ブート可能なLinux 6.9をビルドできる10万行のRustベースCコンパイラを作成しました。⁴ コスト：約2,000セッションで$20,000。すべてのエージェントが同じティアで実行されましたが、このプロジェクトはプロテジェパターンが形式化する自己組織化特性を明らかにしました。エージェントは自然と「次に最も明白な問題」に引き寄せられたのです。⁴ 中央のオーケストレーターがタスクを割り当てたわけではありません。

Chris Lattnerがこのコンパイラをレビューし、AIエージェントが得意とする領域と人間の判断が不可欠な領域の境界を特定しました。「実装の障壁を下げることはエンジニアの重要性を減らすのではなく、ビジョン、判断力、テイストの重要性を高めるのです。」⁵⁶ エージェントは既知の技法の組み合わせには優れていました。しかし「プロダクション品質のシステムに求められるオープンエンドな汎化」には苦戦しました。⁵

実践におけるモデルルーティング。 「What Claude Code Chooses」研究は、3つのClaudeモデルにわたる2,430のツール選択を分析しました。⁹ Opus 4.6は先進的な選好を示し（Drizzle 100% vs Prisma 0%）、Sonnet 4.5はより従来型の選択をしました。⁹ この乖離は大きなコミュニティの議論を呼びました。¹⁰ ティアが異なれば、曖昧な判断に対して異なるバイアスがもたらされます。ルーティンなツール選択を行うプロテジェにはフロンティアの推論は不要です。曖昧なアーキテクチャの選択に直面したプロテジェには、エスカレーションが有効です。

コスト計算

性能向上を考慮する前から、この経済性はパターンを魅力的なものにしています。

現在のAnthropicの価格設定では、ティア間の差はちょうど5倍です：⁷

一般的なエージェントセッションは双方向で50,000〜200,000トークンを消費します。入力10万トークン、出力10万トークンをOpusのみの価格で計算すると、1セッションのコストは入力$0.50 + 出力$2.50 = $3.00です。プロテジェがトークンの80%を、エキスパートが20%を処理する場合、同じセッションのコストは：

• プロテジェ（8万トークン）：入力$0.08 + 出力$0.40 = $0.48
• エキスパート（2万トークン）：入力$0.10 + 出力$0.50 = $0.60
• 合計：$1.08（64%の削減）

SWE-Protegeはさらに積極的な削減を達成しました。エキスパートが消費したトークンは20%ではなく11%だったためです。¹ 1日100エージェントセッションを想定すると、差は複利的に拡大します：エキスパートのみで1日$300に対し、プロテジェルーティングで1日$108。月間では$9,000対$3,240です。

SWE-benchリーダーボードが性能の文脈を提供します。¹² Claude 4.5 Opusは高推論で1インスタンスあたり$0.754で76.8%の解決率を達成します。プロテジェルーティングのアプローチは、1インスタンスあたり$0.13〜$0.15で42.4%の解決率です。¹ プロテジェの能力範囲内のタスクでは、解決あたりのコストはルーティングが有利です。フロンティアの推論が必要なタスクでは、エキスパートがオンデマンドで利用可能です。

協調性の現象

Wangらは、プロテジェパターンがどちらのモデル単独よりも優れた結果を生む理由を説明する特性を発見しました。¹³ 「Mixture-of-Agents」論文は、モデルが他のモデルの出力を提示された場合、たとえそのモデルの能力が劣っていても、より良い応答を生成することを発見しました。¹³

この発見は、予想される階層関係を逆転させます。フロンティアモデルが小規模モデルの初期分析やファイル読み取り結果を読んだ場合、フロンティアモデルがゼロから始めるよりも優れた出力を生成します。小規模モデルの作業は、エキスパートから移管された単なる安価な労働力ではありません。小規模モデルの作業は、エキスパートの推論を改善する構造化されたコンテキストを提供するのです。

Anthropicのマルチエージェント研究もこのパターンを確認しました。サブエージェントをSonnet 3.7からSonnet 4にアップグレードしたところ、「Claude Sonnet 3.7のトークン予算を2倍にするよりも大きな性能向上」が得られました。³ プロテジェティアのモデル品質は重要です。より優れたプロテジェは、より優れたエキスパートを生み出します。

構築できるもの

3つのエスカレーションパターンが、段階的に自律性の高い実装に対応します。

パターン1：確信度ベースのルーティング。 最もシンプルな実装です。プロテジェが応答と確信度スコアを生成します。閾値を下回ると、クエリはエキスパートにルーティングされます。RouteLLMがルーターの訓練に使えるオープンソースフレームワークを提供しています。¹¹ ここから始めましょう。

パターン2：タスクタイプルーティング。 操作を種類別に分類し、決定論的にルーティングします。ファイルの読み取り、テストの実行、フォーマットはHaikuへ。コードレビュー、アーキテクチャの判断、曖昧な要件はOpusへ。Anthropicの「Building Effective Agents」ガイドはこれをルーティングパターンと呼んでいます。「入力を分類し、簡単な・よくある質問を小型でコスト効率の良いモデルに振り分ける」方式です。²

パターン3：学習型エスカレーション。 SWE-Protegeのアプローチです。強化学習を通じて、プロテジェ自身がエスカレーションポイントを判断するよう訓練します。¹ プロテジェは自身の限界について真の判断力を身につけます。最も洗練され最高性能のパターンですが、RLインフラストラクチャとエキスパートがラベル付けした訓練データが必要です。

各パターンは、実装の複雑さとコスト削減・自律性をトレードオフします。パターン1には確信度キャリブレーション用データセットが必要です。パターン2にはタスク分類体系が必要です。パターン3にはRL訓練の実行が必要です。3つすべてが、コスト調整後の性能でシングルティアデプロイメントを上回ります。

重要なポイント

• プロテジェパターンはロードバランシングではありません。プロテジェが自身の限界について判断を下します。エキスパートが提供するのは判断力であり、スループットではありません。
• エージェント作業の大半は機械的です。その作業を5分の1のコストのモデルにルーティングすることで、フロンティアの推論が必要な意思決定のためにコスト予算を取り戻せます。
• より優れたプロテジェはより優れたエキスパートを生み出します。協調性の現象は、小規模モデルの出力がフロンティアモデルの推論を改善することを意味します。¹³
• Lattnerの指摘はこのパターン自体にも当てはまります。「コードを書くことが容易になるにつれ、ソフトウェアを設計することがこれまで以上に重要になります。」⁵ プロテジェがより容易な「書く」作業を担い、エキスパートがより困難な「設計する」作業を担います。

AIエンジニアリングシリーズの一部です。関連記事：Context Is the New Memory、Claude Code as Infrastructure、The 10% Wall。