O Padrão Protegido

Um modelo de 7 bilhões de parâmetros resolveu 42,4% das tarefas do SWE-bench Verified. O recorde anterior para modelos pequenos era 17,0%. O modelo não ficou mais inteligente. O modelo aprendeu quando pedir ajuda.¹

Kon et al. treinaram um modelo Qwen2.5-Coder-7B-Instruct para colaborar com um modelo de fronteira como especialista. O especialista respondeu aproximadamente quatro perguntas por tarefa, consumindo 11% do total de tokens.¹ Os 89% restantes dos tokens vieram do modelo pequeno executando operações rotineiras: leitura de arquivos, execução de testes, aplicação de patches. O custo caiu de $0,54-$1,24 por instância (apenas especialista) para $0,13-$0,15 (protegido com especialista).¹ Uma redução de custo de 8,2x com um ganho de 25 pontos de desempenho em relação ao estado da arte anterior para modelos pequenos.

O resultado valida um padrão para o qual praticantes têm convergido de forma independente: o padrão protegido.

Resumo

O padrão protegido divide o trabalho do agente entre um modelo pequeno e barato (o protegido) que lida com execução rotineira e um modelo de fronteira (o especialista) que lida com decisões de julgamento. O SWE-Protege demonstrou uma melhoria de 25,4 pontos e uma redução de custo de 8,2x.¹ O próprio sistema de pesquisa multi-agente da Anthropic usa a mesma divisão em camadas: Claude Opus para o agente líder, Claude Sonnet para subagentes.³ O padrão funciona porque a maior parte do trabalho de agentes é mecânica. Rotear esse trabalho mecânico para um modelo 5x mais barato por token recupera 80% do orçamento de custo sem sacrificar a qualidade nas decisões que importam.

O Framework Especialista-Protegido

O SWE-Protege define a relação com precisão.¹ O protegido é o único tomador de decisões. O especialista nunca inicia. O protegido escolhe quando escalar, que pergunta fazer e como incorporar a resposta. O aprendizado por reforço treina o protegido para otimizar dois objetivos concorrentes: resolver a tarefa E minimizar o uso do especialista.

A estrutura de recompensa do RL penaliza três modos de falha:

Loop degenerativo. O protegido faz a mesma pergunta repetidamente. A penalidade desencoraja o desamparo aprendido.

Colaboração improdutiva. O protegido faz uma pergunta, ignora a resposta e continua com seu plano original. A penalidade desencoraja a escalação performática.

Dependência excessiva. O protegido roteia toda decisão para o especialista. A penalidade desencoraja o protegido de se tornar uma camada de passagem.

O resultado é um protegido que desenvolve julgamento genuíno sobre suas próprias limitações. O modelo de 7B aprendeu a distinguir entre tarefas que podia resolver sozinho (leituras de arquivos, execução de testes, patches diretos) e tarefas que exigiam intervenção do especialista (decisões arquiteturais, requisitos ambíguos, análise de dependências entre múltiplos arquivos).¹

Por Que o Roteamento Funciona

A base acadêmica para roteamento de modelos é anterior ao SWE-Protege. O RouteLLM demonstrou que rotear entre um modelo forte e um modelo fraco alcança até 3,66x de economia de custo mantendo 95% da qualidade do modelo forte.¹¹ O roteador aprende quais consultas exigem capacidade de fronteira e quais consultas um modelo menor resolve igualmente bem.

A IBM Research encontrou resultados semelhantes com um método de roteamento “frugal”: chamando modelos menores e especializados sequencialmente até que um produza uma resposta confiante.¹⁴ A abordagem alcança até 85% de redução de custo em consultas diretas.

A percepção subjacente é distribucional. A maioria das operações de agentes não é difícil. Ler um arquivo, executar um grep, aplicar um patch bem definido, rodar uma suíte de testes: essas operações exigem execução correta, não raciocínio profundo. Um modelo 5x mais barato por token as executa de forma idêntica a um modelo de fronteira.⁷ As operações difíceis (diagnosticar um bug sutil, escolher entre abordagens arquiteturais, avaliar se uma solução está correta) se beneficiam do raciocínio de fronteira. O padrão protegido roteia cada operação para a camada apropriada.

A própria documentação da Anthropic torna a divisão em camadas explícita. O guia “Choosing the Right Model” recomenda Haiku para “tarefas de subagente” e Opus para “engenharia de software profissional” e “agentes avançados”.⁸ A orientação não é marketing. A orientação reflete diferenças de desempenho medidas em distribuições de complexidade de tarefas.

Implementações em Produção

Três sistemas em produção demonstram o padrão protegido em escala.

Sistema de pesquisa multi-agente da Anthropic. Claude Opus lidera, Claude Sonnet executa como subagentes.³ O sistema superou o Claude Opus como agente único em 90,2% na avaliação interna. A melhoria não veio de um modelo melhor, mas de uma melhor decomposição de tarefas. Os subagentes Sonnet consumiram a maior parte dos tokens em operações de pesquisa enquanto o Opus concentrou o orçamento de raciocínio em síntese e julgamento.

Compilador C do Carlini. Dezesseis agentes Claude paralelos produziram um compilador C baseado em Rust de 100.000 linhas que compila um Linux 6.9 inicializável.⁴ Custo: $20.000 em ~2.000 sessões. Embora todos os agentes rodassem na mesma camada, o projeto revelou a propriedade de auto-organização que o padrão protegido formaliza: os agentes gravitaram naturalmente em direção ao “próximo problema mais óbvio”.⁴ Nenhum orquestrador central atribuiu tarefas.

Chris Lattner revisou o compilador e identificou a fronteira entre o que agentes de IA lidam bem e onde o julgamento humano permanece essencial: “Barreiras menores à implementação não reduzem a importância dos engenheiros; em vez disso, elevam a importância da visão, julgamento e bom gosto.”⁵⁶ Os agentes se destacaram em montar técnicas conhecidas. Os agentes tiveram dificuldade com “a generalização aberta necessária para sistemas com qualidade de produção”.⁵

Roteamento de modelos na prática. O estudo “What Claude Code Chooses” analisou 2.430 escolhas de ferramentas em três modelos Claude.⁹ O Opus 4.6 mostrou preferências prospectivas (Drizzle 100% vs Prisma 0%), enquanto o Sonnet 4.5 fez escolhas mais convencionais.⁹ A divergência gerou discussão significativa na comunidade.¹⁰ Diferentes camadas trazem diferentes vieses para decisões ambíguas. Um protegido fazendo seleções rotineiras de ferramentas não precisa de raciocínio de fronteira. Um protegido encontrando uma escolha arquitetural ambígua se beneficia da escalação.

Aritmética de Custos

A economia torna o padrão atraente mesmo antes de considerar ganhos de desempenho.

Nos preços atuais da Anthropic, a diferença entre camadas é exatamente 5x:⁷

Uma sessão típica de agente consome 50.000-200.000 tokens em cada direção. Assumindo 100K tokens de entrada e 100K tokens de saída com preços exclusivos de Opus, uma sessão custa $0,50 entrada + $2,50 saída = $3,00. Se o protegido lida com 80% dos tokens e o especialista lida com 20%, a mesma sessão custa:

• Protegido (80K tokens): $0,08 entrada + $0,40 saída = $0,48
• Especialista (20K tokens): $0,10 entrada + $0,50 saída = $0,60
• Total: $1,08 (64% de economia)

O SWE-Protege alcançou economias ainda mais agressivas porque o especialista consumiu apenas 11% dos tokens, não 20%.¹ Em 100 sessões de agente por dia, a diferença se acumula: $300/dia com apenas especialista versus $108/dia com roteamento protegido. Em um mês: $9.000 versus $3.240.

O leaderboard do SWE-bench fornece o contexto de desempenho.¹² O Claude 4.5 Opus com raciocínio alto alcança 76,8% de taxa de resolução a $0,754 por instância. Uma abordagem com roteamento protegido a 42,4% de taxa de resolução custa $0,13-$0,15 por instância.¹ Para tarefas dentro da capacidade do protegido, o custo por tarefa resolvida favorece o roteamento. Para tarefas que exigem raciocínio de fronteira, o especialista permanece disponível sob demanda.

O Fenômeno da Colaboratividade

Wang et al. descobriram uma propriedade que explica por que o padrão protegido produz resultados melhores do que qualquer modelo sozinho.¹³ O artigo “Mixture-of-Agents” descobriu que modelos geram respostas melhores quando apresentados a saídas de outros modelos, mesmo quando esses outros modelos são menos capazes.¹³

A descoberta inverte a hierarquia esperada. Um modelo de fronteira lendo a análise inicial e as leituras de arquivos de um modelo pequeno produz saídas melhores do que o modelo de fronteira começando do zero. O trabalho do modelo pequeno não é apenas mão de obra barata terceirizada do especialista. O trabalho do modelo pequeno fornece contexto estruturado que melhora o raciocínio do especialista.

A pesquisa multi-agente da Anthropic confirmou o padrão: atualizar subagentes do Sonnet 3.7 para o Sonnet 4 produziu “um ganho de desempenho maior do que dobrar o orçamento de tokens no Claude Sonnet 3.7”.³ A qualidade do modelo na camada do protegido importa. Um protegido melhor produz um especialista melhor.

O Que Você Pode Construir

Três padrões de escalação mapeiam para implementações progressivamente mais autônomas.

Padrão 1: Roteamento baseado em confiança. A implementação mais simples. O protegido gera uma resposta e uma pontuação de confiança. Abaixo de um limiar, a consulta é roteada para o especialista. O RouteLLM fornece um framework de código aberto para treinar o roteador.¹¹ Comece por aqui.

Padrão 2: Roteamento por tipo de tarefa. Classifique operações por tipo e roteie deterministicamente. Leituras de arquivos, execução de testes e formatação para o Haiku. Revisão de código, decisões de arquitetura e requisitos ambíguos para o Opus. O guia “Building Effective Agents” da Anthropic chama isso de padrão de roteamento: “classificar entradas e direcionar perguntas fáceis/comuns para modelos menores e mais eficientes em custo”.²

Padrão 3: Escalação aprendida. A abordagem do SWE-Protege. Treinar o protegido para decidir seus próprios pontos de escalação por meio de aprendizado por reforço.¹ O protegido desenvolve julgamento genuíno sobre suas limitações. O padrão mais sofisticado e de maior desempenho, mas requer infraestrutura de RL e dados de treinamento rotulados por especialistas.

Cada padrão troca complexidade de implementação por economia de custo e autonomia. O Padrão 1 requer um dataset de calibração de confiança. O Padrão 2 requer uma taxonomia de tarefas. O Padrão 3 requer execuções de treinamento com RL. Todos os três superam a implantação em camada única em desempenho ajustado por custo.

Principais Conclusões

• O padrão protegido não é balanceamento de carga. O protegido toma decisões sobre suas próprias limitações. O especialista fornece julgamento, não capacidade de processamento.
• A maior parte do trabalho de agentes é mecânica. Rotear esse trabalho para um modelo 5x mais barato recupera o orçamento de custo para as decisões que exigem raciocínio de fronteira.
• Protegidos melhores produzem especialistas melhores. O fenômeno da colaboratividade significa que saídas de modelos pequenos melhoram o raciocínio de modelos de fronteira.¹³
• A observação de Lattner se aplica ao próprio padrão: “À medida que escrever código se torna mais fácil, projetar software se torna mais importante do que nunca.”⁵ O protegido lida com a escrita mais fácil. O especialista lida com o projeto mais difícil.

Parte da série AI Engineering. Veja também: Context Is the New Memory, Claude Code as Infrastructure e The 10% Wall.