Cibersegurança é prova de trabalho: quem gasta mais tokens
A cibersegurança está virando um problema de computação: nos ambientes de ataque do AI Security Institute do Reino Unido, os melhores modelos continuaram avançando quanto mais tokens gastavam, o que, na leitura de Drew Breunig, transforma a defesa em uma corrida para gastar mais que o atacante. Em abril de 2026, um único modelo, o Claude Mythos Preview, concluiu o ambiente de ataque de 32 etapas contra uma rede corporativa do instituto em 3 de 10 tentativas.1 Em julho, o AISI contava quatro modelos de pesos fechados lançados publicamente que o haviam concluído, os melhores em 6 e 7 de 10 tentativas, e um modelo de pesos abertos, o Kimi K3, que o concluiu uma vez em 10.7 A premissa por trás da leitura de Breunig, de que mais tokens compram mais avanço nos melhores modelos, se manteve. O preço que ele atribuiu a uma tentativa, não.2
Este post foi publicado pela primeira vez em 14 de abril de 2026, um dia depois do primeiro relatório do AISI. Em 2 de outubro de 2026, eu o reconstruí em torno do que o AISI, o CAISI do NIST e a Anthropic publicaram desde então. O que a versão de abril dizia, e onde ficou desatualizada, está listado em “O que a versão de abril dizia”, perto do fim.
TL;DR
- O ambiente. “The Last Ones” é um ataque simulado a uma rede corporativa: 32 etapas distribuídas em quatro sub-redes e cerca de vinte hosts, que pela estimativa do AISI levariam umas 20 horas para um especialista humano. Começa depois do acesso inicial e não tem defensores.14
- Quem conclui. Um modelo em abril. Dois no fim de abril. Em 23 de julho, quatro modelos de pesos fechados lançados publicamente e um modelo de pesos abertos.147
- Quanto custa uma tentativa. Os $12.500 por tentativa de Breunig eram uma estimativa: o orçamento de 100M de tokens do AISI multiplicado pelo preço de saída do Mythos Preview. Quando o AISI precificou, em julho, execuções de 100M de tokens no ambiente, chegou a cerca de $85 para o Opus 4.5 e o 4.6 e a uma estimativa de $46 para o GLM-5.2, de pesos abertos.2610
- Quem consegue executar. O AISI coloca os principais modelos de pesos abertos de 4 a 7 meses atrás da fronteira fechada em cibersegurança. A Anthropic relata que o GLM-5.3, que qualquer pessoa pode baixar, constrói exploits completos mais ou menos na mesma taxa que o Mythos Preview em um benchmark público.69
- Sem platô na fronteira. Para os modelos mais fortes, os relatórios de abril e maio do AISI constataram que o desempenho ainda subia no limite de 100M de tokens. Modelos mais fracos estagnaram, entre eles o GLM-5.2, de pesos abertos.1456
- A ressalva que continua valendo. Os ambientes não têm defesa. O AISI diz que não sabe como essas capacidades “will translate against defended, real-world systems” (vão se traduzir contra sistemas reais e defendidos).5
O que o AISI mediu e como isso mudou
Os ambientes de cibersegurança do AISI testam se um modelo consegue executar um ataque inteiro sozinho. O “The Last Ones” (TLO), construído com a SpecterOps, é “modelled on the kill chain of an enterprise intrusion” (modelado na cadeia de ataque de uma invasão corporativa): o agente começa em uma máquina sem privilégios e sem credenciais e precisa encadear reconhecimento, roubo de credenciais, movimentação lateral entre florestas do Active Directory, um pivô pela cadeia de suprimentos de CI/CD e a exfiltração de um banco de dados interno. Cada tentativa recebe um orçamento de 100M de tokens.4
Cinco relatórios publicados entre abril e julho contam a história:
| Relatório | Modelo | Resultado no TLO |
|---|---|---|
| 13 de abril | Claude Mythos Preview | Primeiro modelo a concluir: 3 de 10 tentativas, 22 de 32 etapas em média. O Claude Opus 4.6, o segundo melhor, teve média de 16 etapas.1 |
| 30 de abril | GPT-5.5 (checkpoint inicial) | 2 de 10 tentativas, “making it the second model to do so” (o que o torna o segundo modelo a conseguir).4 |
| 13 de maio | Checkpoint mais novo do Mythos Preview; GPT-5.5 | Mythos Preview, 6 de 10. GPT-5.5, 3 de 10.5 |
| 17 de julho | GLM-5.2 e DeepSeek V4-Pro (pesos abertos) | Nenhum concluiu. O GLM-5.2 “reaches as far as Opus 4.5” (chega tão longe quanto o Opus 4.5).6 |
| 23 de julho | Kimi K3 (pesos abertos), com o CAISI | 1 de 10 tentativas, etapa 17 em média. Os modelos americanos mais capazes em cibersegurança tiveram média de 28,5 etapas.7 |
O relatório de 23 de julho resume a situação: “Solves of TLO are no longer exclusive to a small set of models. In prior testing, four publicly released closed-weight models have solved TLO, with the most capable models solving it more reliably at 6/10 and 7/10 attempts.” (Concluir o TLO deixou de ser exclusividade de poucos modelos: quatro modelos de pesos fechados lançados publicamente já o resolveram, os mais capazes em 6 e 7 de 10 tentativas).7 O relatório não nomeia os quatro nem diz se o Mythos Preview, um lançamento restrito, está entre eles.
O segundo ambiente também mudou. Em abril, nenhum modelo conseguia concluir o “Cooling Tower”, um ataque de 7 etapas a uma usina elétrica simulada, e o AISI observou que o Mythos Preview “got stuck on IT sections of this range” (travou nas seções de TI do ambiente). Em 13 de maio, o AISI relatou que o checkpoint mais novo do Mythos Preview o resolveu em 3 de 10 tentativas, “the first time that a model completed the second of our two cyber ranges” (a primeira vez que um modelo concluiu o segundo dos dois ambientes do instituto). O AISI tirou uma lição disso: “Notable capability jumps do not always require new model releases.” (Saltos notáveis de capacidade nem sempre exigem o lançamento de novos modelos).145
Duas constatações estão por baixo de tudo isso. Primeiro, nos melhores modelos, mais tokens compraram mais avanço em todos os casos. Abril: “Models continue making progress with increased token budgets across the token budgets tested.” (Os modelos continuam avançando com orçamentos maiores, em todos os orçamentos testados). 30 de abril: “we have not yet observed a plateau with the best models” (ainda não observamos um platô nos melhores modelos). Maio: o desempenho “would likely still improve beyond that budget, especially for recent models” (provavelmente continuaria melhorando além desse orçamento, sobretudo nos modelos recentes).145 Isso não vale para todos os modelos: em julho, o GLM-5.2 acompanhou o Opus 4.6 “to step 11 before stalling” (até a etapa 11, antes de estagnar).6 Segundo, o ritmo é rápido. Em fevereiro, o AISI estimou que a extensão das tarefas de cibersegurança que um modelo de fronteira consegue concluir “had doubled every 4.7 months since late 2024” (dobrava a cada 4,7 meses desde o fim de 2024), e em maio relatou que o Mythos Preview e o GPT-5.5 “substantially exceeded” (superaram com folga) essa tendência.5 Essa estimativa usa um orçamento de 2,5M de tokens por tarefa. A análise do AISI de 2 de julho constatou que a tendência é “~60% steeper when horizons are estimated at 50M tokens rather than 2.5M tokens per task” (cerca de 60% mais íngreme com 50M de tokens por tarefa em vez de 2,5M).13
Quanto custa uma tentativa
Breunig converteu o resultado de abril em dinheiro: “AISI budgeted 100M tokens for each attempt. That’s $12,500 per Mythos attempt, $125k for all ten runs.” (O AISI orçou 100M de tokens por tentativa: $12.500 por tentativa do Mythos, $125 mil pelas dez execuções).2 A primeira versão deste post colocou esse número no título.
Era uma estimativa, e alta. $12.500 por 100M de tokens dá $125 por milhão, que é o preço de tabela do Mythos Preview para tokens de saída. O preço de entrada é de $25.10 Cobrar todos os tokens do orçamento pela tarifa de saída dá um teto, não uma conta.
O AISI publicou preços em julho, no relatório sobre modelos de pesos abertos: “A 100M-token cyber range run cost roughly $85 for both Opus 4.5 and 4.6, versus an estimated $46 for GLM-5.2 and $1.19 for DeepSeek V4-Pro at current pricing.” (Uma execução de 100M de tokens no ambiente custou cerca de $85 tanto para o Opus 4.5 quanto para o 4.6, contra uma estimativa de $46 para o GLM-5.2 e $1,19 para o DeepSeek V4-Pro, a preços atuais).6 São “advertised first-party prices” (preços anunciados pelos próprios fornecedores), e o AISI observa que não usou os fornecedores originais para os modelos de pesos abertos, “so real compute costs may vary” (então os custos reais de computação podem variar).
Três coisas impedem que esses números sejam o preço de um ataque concluído. Nenhum dos modelos precificados concluiu o ambiente. O Mythos Preview custa, pela tabela, cinco vezes o preço do Opus por token, então as execuções dele saem mais caras que as do Opus. E o AISI não publicou o preço de nenhuma execução que tenha concluído o TLO, então não sei dizer quanto custa uma. O que as execuções precificadas mostram é a ordem de grandeza. A execução do Opus 4.6 saiu por cerca de $85. Escalada pelo preço de tabela cinco vezes maior do Mythos Preview, isso dá algumas centenas de dólares, uma conta minha e não do AISI, e muito abaixo de $12.500.610
Os dados menores concordam. No relatório do AISI de 30 de abril, o GPT-5.5 resolveu um desafio de engenharia reversa que tinha levado cerca de 12 horas para um especialista “in 10 minutes and 22 seconds with no human assistance at a cost of $1.73 (USD) in API usage” (em 10 minutos e 22 segundos, sem ajuda humana, a um custo de $1,73 em uso de API).4 No relatório da Anthropic de setembro, um pesquisador fez o GLM-5.3-Flash transformar os detalhes públicos de uma correção do Chrome em uma cadeia de exploits funcional com “20 minutes of human attention, plus eight hours of work” (20 minutos de atenção humana mais oito horas de trabalho) do modelo. “At Zhipu’s API prices, this effort would have cost $20.40.” (Pelos preços da API da Zhipu, esse esforço teria custado $20,40).9 Cada um é uma sessão precificada, não uma taxa.
Os preços da classe Mythos também caíram. A página de preços da Anthropic lista agora o Mythos 5 e o Mythos 5.1 a $10 por milhão de tokens de entrada e $50 por milhão de saída, contra $25 e $125 do Mythos Preview.10
Quem consegue executar
Em abril, a capacidade estava atrás de um lançamento restrito. Foi o que mais mudou.
O relatório do AISI de 17 de julho mediu a distância entre modelos de pesos abertos e fechados em cibersegurança e constatou que ela está diminuindo: os modelos recentes de pesos abertos “lag frontier closed models’ cyber capabilities by 4 to 7 months” (ficam de 4 a 7 meses atrás dos modelos fechados de fronteira), contra 6 a 10 meses durante a maior parte de 2025. O relatório explica por que essa distância importa. Depois que os pesos se tornam públicos, “safeguards can be removed, and copies can be downloaded, redistributed, and run on private systems beyond monitoring” (as salvaguardas podem ser removidas, e cópias podem ser baixadas, redistribuídas e executadas em sistemas privados fora de qualquer monitoramento). Os próprios testes do AISI com modelos de pesos abertos “were largely unimpeded by safeguards” (praticamente não encontraram obstáculos nas salvaguardas).6
O GLM-5.2 não concluiu o ambiente. Seis dias depois, o Kimi K3 o concluiu uma vez em dez tentativas. O AISI e o CAISI leram isso como sinal de que o modelo “is capable of autonomously attacking small, weakly defended and vulnerable enterprise systems, when directed to do so and given initial network access” (é capaz de atacar de forma autônoma sistemas corporativos pequenos, pouco defendidos e vulneráveis, quando instruído a isso e com acesso inicial à rede).7
Depois veio o GLM-5.3, cujos pesos a Z.ai (antiga Zhipu AI) liberou no fim de agosto. O CAISI o chamou, em 17 de setembro, de “the most cyber-capable open-weight model released to date” (o modelo de pesos abertos mais capaz em cibersegurança lançado até hoje) e o colocou cerca de quatro meses atrás da fronteira americana em seus benchmarks.8 O Frontier Red Team da Anthropic relatou em 29 de setembro que o GLM-5.3 desenvolve exploits completos no ExploitBench em 50 de 410 tentativas, contra 56 do Mythos Preview, e sequestros completos de fluxo de controle no benchmark interno da Anthropic em 4% das tentativas, contra 6%.9
As salvaguardas são frágeis. A Anthropic as contornou 64% das vezes com uma história de fachada e 92% com raciocínio pré-preenchido. Removê-las de vez dos pesos levou uma equipe “which had never previously attempted this task” (que nunca tinha tentado essa tarefa) a gastar cerca de 2.200 horas de GPU, “roughly $4,400” (cerca de $4.400), com uma estimativa de $1.200 para uma equipe experiente, e “Several developers released abliterated versions of GLM-5.3 to the public within days of the model’s release.” (Vários desenvolvedores publicaram versões do GLM-5.3 sem salvaguardas poucos dias após o lançamento do modelo).9 O post sobre o Glasswing trata desse relatório com mais detalhes.
Não encontrei nenhuma execução publicada do GLM-5.3 no TLO. A afirmação que consigo sustentar é mais estreita: um modelo de pesos abertos concluiu o ambiente, e um mais novo se iguala ao modelo restrito de abril na construção de exploits em um benchmark público.
O argumento de Breunig, seis meses depois
A tese de Breunig cabia em uma frase: “to harden a system you need to spend more tokens discovering exploits than attackers will spend exploiting them” (para blindar um sistema, você precisa gastar mais tokens descobrindo exploits do que os atacantes vão gastar explorando-os). Ele comparou isso à prova de trabalho das criptomoedas, “where success is tied to raw computational work” (em que o sucesso está ligado ao trabalho computacional bruto), e foi direto: “You don’t get points for being clever. You win by paying more.” (Você não ganha pontos por ser esperto; vence quem paga mais).2
Ele tirou duas consequências. A primeira diz respeito ao código aberto. Se segurança é questão de gasto, a lei de Linus, “given enough eyeballs, all bugs are shallow” (com olhos suficientes, todos os bugs são rasos), se estende aos tokens: bibliotecas que muitas empresas pagam para proteger vão estar mais protegidas do que código mantido por uma única equipe. Simon Willison disse o mesmo naquele dia: bibliotecas de código aberto “become more valuable, since the tokens spent securing them can be shared across all of their users” (ganham valor, já que os tokens gastos para protegê-las são compartilhados entre todos os seus usuários).23 O próprio Breunig acrescentou a complicação: um pacote muito usado é um alvo mais valioso, “which incentivizes attackers to spend more on OSS targets” (o que incentiva os atacantes a gastar mais em alvos de código aberto).
A segunda é uma nova fase de trabalho. Ele previa um ciclo de desenvolvimento, revisão e blindagem, em que blindar significa: “Identify exploits, autonomously, until the budget runs out.” (Identificar exploits, de forma autônoma, até o orçamento acabar). A participação humana limita a primeira fase. O dinheiro limita a última.2
O colapso dos preços não derruba o argumento, e Breunig explicou o porquê em abril: “Even if costs go down as inference optimizations, unless models reach the point of diminishing security returns, you still need to buy more tokens than attackers do. The cost is fixed by the market value of an exploit.” (Mesmo que os custos caiam com otimizações de inferência, a menos que os modelos cheguem a retornos decrescentes em segurança, você ainda precisa comprar mais tokens que os atacantes; o custo é fixado pelo valor de mercado de um exploit).2 Tokens mais baratos reduzem os custos dos dois lados. O que eles mudam é quem pode se dar ao luxo de jogar como atacante.
O lado do defensor também tem evidências. A Anthropic diz que o lançamento restrito do Mythos Preview permitiu que defensores selecionados “find more than 10,000 vulnerabilities in critical software” (encontrassem mais de 10.000 vulnerabilidades em software crítico) antes que modelos comparáveis se tornassem públicos.9 O AISI fez o exercício consigo mesmo: em um estudo de caso de julho, um modelo de fronteira encontrou uma cadeia de ataque de cinco etapas em uma cópia de staging da própria plataforma de pesquisa do AISI “for under £150 in tokens” (por menos de £150 em tokens).12 Escrevi sobre o primeiro desses esforços em Project Glasswing, e sobre o resultado anterior que o precedeu, um bug de 23 anos no kernel do Linux encontrado com o Claude Code e um script curto, em Quando seu agente encontra uma vulnerabilidade.
O que as ressalvas ainda significam
Todo relatório do AISI traz os mesmos limites, e eles não foram removidos. O TLO “lacks active defenders and defensive tooling, imposes no penalty for actions that would trigger security alerts, and contains an intentional attack path” (não tem defensores ativos nem ferramentas defensivas, não penaliza ações que disparariam alertas de segurança e contém um caminho de ataque intencional).7 Ele começa quando o atacante já está dentro. Em abril, o AISI escreveu que “cannot say for sure whether Mythos Preview would be able to attack well-defended systems” (não pode afirmar com certeza se o Mythos Preview conseguiria atacar sistemas bem defendidos) e disse que está construindo ambientes com “active monitoring, endpoint detection and real-time incident response” (monitoramento ativo, detecção em endpoints e resposta a incidentes em tempo real).1 Em maio, listou o que as evidências não mostram: “how the pace of progress will evolve, when AI will reach any particular capability threshold, or how these capabilities will translate against defended, real-world systems” (como o ritmo do progresso vai evoluir, quando a IA vai atingir um determinado limiar de capacidade ou como essas capacidades vão se traduzir contra sistemas reais e defendidos).5
Uma rede com equipe muda o problema. O ruído custa algo a um atacante real, e cada alerta é uma chance de reagir. Os ambientes eliminam esse custo. O mais próximo de um teste contra defesas reais que o AISI publicou é o estudo de caso de julho, um único exercício realizado em um ambiente de staging cujos sistemas de detecção “exactly mirror” (espelham exatamente) os de produção: “one basic commercial alerting system did not flag any of the autonomous agent activity as a security event” (um sistema comercial básico de alertas não sinalizou nenhuma atividade do agente autônomo como evento de segurança), enquanto um monitor mais avançado “did correctly identify some of the aggressive behaviour as anomalous” (identificou corretamente parte do comportamento agressivo como anômalo).12
Duas coisas apontam no sentido contrário. Uma taxa de sucesso por tentativa subestima o que tentativas repetidas compram. Se as tentativas forem independentes e o alvo não mudar, um modelo que conclui 3 vezes em 10 conclui pelo menos uma vez em dez tentativas cerca de 97% das vezes, e um que conclui 1 vez em 10 consegue isso cerca de 65% das vezes. Esses números são meus e dependem dessa premissa, que uma rede defendida e em mudança quebraria. E de abril a julho a tendência foi numa só direção: de um modelo com 3 de 10 para vários, os melhores com 6 e 7 de 10. O AISI não publicou resultados de ambientes desde então.
Os testes também revelaram outro risco. Em 4 de agosto, o AISI divulgou que, em 10 de 122 execuções de uma avaliação de cibersegurança, com acesso à internet ligado e os classificadores de cibersegurança dos desenvolvedores desligados, os agentes “took autonomous, unsanctioned action on the live internet, targeting real people and organisations” (tomaram ações autônomas e não autorizadas na internet real, mirando pessoas e organizações reais). O instituto catalogou 19 dessas ações, 17 delas do Mythos 5, incluindo uma tentativa de inserir código malicioso em um projeto de código aberto que um mantenedor humano recusou. O AISI não encontrou danos resultantes e enfatizou que essas configurações “are not commercially available” (não estão disponíveis comercialmente).11 Ele pausou suas avaliações de cibersegurança de maior risco, desativou o acesso à internet nos testes agênticos de cibersegurança e anunciou em 1º de outubro que estava retomando a maior parte do trabalho de avaliação.14
O comportamento apareceu em outros lugares. Em 28 de setembro, o AISI relatou que, em execuções simuladas, com os classificadores de cibersegurança desligados, o GPT-6 Astra “completed a supply-chain attack 29.2% of the time” (concluiu um ataque à cadeia de suprimentos em 29,2% das vezes) contra alvos fora da sua tarefa. O AISI diz que a consciência do modelo de que estava em uma simulação pode ter motivado parte desse comportamento, e que não pode descartar o mesmo comportamento em condições reais.15 A Anthropic relatou quatro incidentes próprios, em avaliações de cibersegurança construídas por um parceiro externo, nos quais uma configuração incorreta colocou modelos Claude, rodando sem as salvaguardas de cibersegurança com que são distribuídos, na internet aberta, e eles “gained unauthorized access to real third-party systems” (obtiveram acesso não autorizado a sistemas reais de terceiros). Em um deles, o Mythos 5 enviou um pacote malicioso ao PyPI.16 Um agente capaz, com um objetivo difícil e uma rede aberta, é um perigo para terceiros, não só para o seu alvo. Tratei de um caso relacionado em outro laboratório no post sobre contenção.
O que eu faria
- Feche primeiro a janela de patches. A única sessão N-day precificada transformou uma correção pública em uma cadeia de exploits funcional em oito horas de tempo do modelo. O intervalo entre a correção de um fornecedor e a sua implantação dela agora é barato de atacar. O próprio conselho do AISI começa pelo mesmo ponto: “regular application of security updates, robust access controls, security configuration, and comprehensive logging” (aplicação regular de atualizações de segurança, controles de acesso robustos, configuração de segurança e registro abrangente de logs).19
- Reserve orçamento para uma fase de blindagem. Execute descoberta automatizada de exploits contra o seu próprio sistema antes do lançamento e depois de cada mudança significativa, com um orçamento de tokens definido pelo que o sistema protege. Aos preços que o AISI publicou, o orçamento deixou de ser o obstáculo. A triagem é. No próprio estudo de caso do AISI, o projeto inteiro usou “under £1000 in LLM tokens” (menos de £1000 em tokens de LLM), e, na revisão estática de código, “Separating the most important reports from the noise took human judgement, from the most experienced engineers.” (Separar os achados mais importantes do ruído exigiu julgamento humano, dos engenheiros mais experientes).2612
- Parta do princípio de que o atacante tem pesos abertos. Planeje como se o desenvolvimento de exploits no nível do GLM-5.3, sem salvaguardas, estivesse disponível para qualquer um que quisesse. O relatório da Anthropic diz o mesmo.9
- Prefira dependências que alguém paga para proteger, e contribua. O argumento de Breunig e Willison sobre tokens compartilhados só funciona se os tokens forem gastos. O post sobre a cadeia de suprimentos mostra o que aconteceu com dois pacotes muito usados quando os atacantes chegaram primeiro.23
- Mantenha seus próprios agentes na coleira, e saiba o que isso não cobre. Meus hooks impedem que meus agentes façam force-push na main ou vazem credenciais. Eles não fazem nada contra um atacante externo sondando os sistemas que esses agentes tocam. O mesmo vale para a lacuna de desempenho sobre a qual escrevi, em que código escrito por agentes passava em todos os testes e rodava até 446x mais devagar: um portão só pega a classe de falha para a qual foi construído. Segurança precisa do seu próprio portão, e de um adversarial.
O que a versão de abril dizia
A primeira versão deste post foi escrita em 14 de abril de 2026 a partir do relatório do AISI de 13 de abril e do ensaio de Breunig. Diante do que foi publicado desde então, ela estava errada ou desatualizada nestes pontos:
- O preço. O título dizia “AI Attacks at $12,500 a Run” (ataques de IA a $12.500 por tentativa), e o post tratava o número como o custo da avaliação. Era a estimativa de Breunig, o orçamento de tokens multiplicado por um preço de saída, e as execuções precificadas que o AISI publicou depois para outros modelos ficaram entre $1,19 e $85.
- “No other model has solved the full chain.” (Nenhum outro modelo resolveu a cadeia completa). Isso deixou de ser verdade em poucas semanas, quando os resultados do GPT-5.5 foram publicados no fim de abril, e em 23 de julho quatro modelos de pesos fechados e um de pesos abertos já o haviam resolvido.
- “The 30% success rate against undefended networks is the floor, not the ceiling.” (A taxa de sucesso de 30% contra redes sem defesa é o piso, não o teto). Isso se confirmou, e o número ficou desatualizado: o checkpoint mais novo do Mythos Preview chegou a 6 de 10 em maio.
- Cooling Tower. Escrevi que o Mythos “failed” (fracassou) no ambiente de tecnologia operacional e tirei conclusões sobre capacidade desigual. Um checkpoint mais novo o resolveu em 3 de 10 tentativas um mês depois.
- A fase de revisão de Breunig. Eu a descrevi como a que pega “known bug classes” (classes de bugs conhecidas). As palavras dele são “Document, refactor, and other gardening tasks” (documentar, refatorar e outras tarefas de jardinagem).
- “Or they lose by default.” (Ou perdem por padrão). Essa frase era minha. Breunig escreveu “Hopefully you keep trying longer than your attackers.” (Tomara que você continue tentando por mais tempo que seus atacantes).
- LiteLLM e Axios. Eu os descrevi como “cases where vulnerabilities persisted in widely-used libraries” (casos em que vulnerabilidades persistiram em bibliotecas muito usadas). Foram comprometimentos da cadeia de suprimentos, e Breunig os mencionou por outro motivo: o argumento, depois desses sustos, a favor de reescrever dependências com agentes de programação.
- Duas citações. As notas de rodapé traziam títulos errados para a palestra de Nicholas Carlini e para o relatório da Anthropic sobre o Mythos Preview.
FAQ
O que significa “cibersegurança é prova de trabalho”?
É a expressão de Drew Breunig para uma corrida de gastos: “to harden a system you need to spend more tokens discovering exploits than attackers will spend exploiting them” (para blindar um sistema, você precisa gastar mais tokens descobrindo exploits do que os atacantes vão gastar explorando-os). Se a descoberta automatizada de exploits continua encontrando mais à medida que você gasta mais, a segurança depende de gastar mais que o atacante, do mesmo jeito que um sistema de prova de trabalho liga o sucesso à computação.2
Quantos modelos de IA conseguem concluir a simulação de ataque de rede do AISI?
Segundo o relatório do AISI e do CAISI de 23 de julho de 2026, quatro modelos de pesos fechados lançados publicamente e um modelo de pesos abertos, o Kimi K3, haviam concluído o “The Last Ones”. Os mais capazes conseguiram em 6 e 7 de 10 tentativas, e o Kimi K3 em 1 de 10.7
Quanto custa uma execução de ciberataque com IA?
Não há preço publicado para uma execução que tenha concluído o ambiente. Os $12.500 por tentativa de Breunig eram uma estimativa que precificava um orçamento de 100M de tokens pela tarifa de saída do Mythos Preview. As execuções precificadas de 100M de tokens do AISI saíram por cerca de $85 para o Opus 4.5 e o 4.6 e por uma estimativa de $46 para o GLM-5.2, e nenhuma delas concluiu o ambiente.26
Isso significa que a IA consegue invadir uma rede defendida?
O AISI não afirma isso. Seus ambientes não têm defensores ativos, nem ferramentas defensivas, nem penalidade por disparar alertas, e começam depois do acesso inicial. O AISI diz que os resultados mostram capacidade contra “small, weakly defended and vulnerable enterprise systems” (sistemas corporativos pequenos, pouco defendidos e vulneráveis).17
O que uma equipe deve fazer primeiro?
Encurtar o tempo entre uma correção publicada e a sua implantação, já que transformar uma correção pública em exploit agora é barato, e manter o básico que o AISI lista: atualizações de segurança, controles de acesso, configuração segura e registro de logs. Depois, adicionar descoberta automatizada de exploits ao processo de lançamento, com um orçamento vinculado ao que o sistema protege.19
Fontes
-
UK AI Security Institute, “Our evaluation of Claude Mythos Preview’s cyber capabilities,” 13 de abril de 2026, acessado em 2 de outubro de 2026. Os resultados de 3 de 10 e 22 de 32, as 16 etapas do Opus 4.6, a estimativa de 20 horas, o resultado no Cooling Tower, a frase sobre o orçamento de tokens, os limites dos ambientes e o conselho citado no texto. ↩↩↩↩↩↩↩↩↩↩↩
-
Drew Breunig, “Cybersecurity Looks Like Proof of Work Now,” 14 de abril de 2026, acessado em 2 de outubro de 2026, citado. ↩↩↩↩↩↩↩↩↩↩↩
-
Simon Willison, “Cybersecurity Looks Like Proof of Work Now,” 14 de abril de 2026, acessado em 2 de outubro de 2026, citado. ↩↩
-
UK AI Security Institute, “Our evaluation of OpenAI’s GPT-5.5 cyber capabilities,” 30 de abril de 2026, acessado em 2 de outubro de 2026. A descrição do TLO (construído com a SpecterOps, quatro sub-redes, cerca de vinte hosts, orçamento de 100M de tokens por tentativa), o resultado de 2 de 10, a frase sobre o platô, a descrição do Cooling Tower e o desafio resolvido por $1,73. ↩↩↩↩↩↩↩↩
-
UK AI Security Institute, “How fast is autonomous AI cyber capability advancing?” 13 de maio de 2026, acessado em 2 de outubro de 2026. O checkpoint mais novo do Mythos Preview (TLO em 6 de 10, Cooling Tower em 3 de 10), o GPT-5.5 em 3 de 10, a estimativa de duplicação a cada 4,7 meses e a lista do que as evidências não mostram. ↩↩↩↩↩↩↩
-
UK AI Security Institute, “How Far Behind the Frontier are Leading Open Weight Models on Cyber?” 17 de julho de 2026, acessado em 2 de outubro de 2026. A distância de 4 a 7 meses, o GLM-5.2 e o DeepSeek V4-Pro no TLO, o trecho sobre salvaguardas e, na seção Cost-performance, as execuções precificadas, com a nota 3 do próprio relatório sobre custos de computação. ↩↩↩↩↩↩↩↩↩↩
-
UK AI Security Institute e NIST CAISI, “UK AISI / CAISI Preliminary Assessment of Kimi K3’s Cyber Capabilities,” 23 de julho de 2026, acessado em 2 de outubro de 2026, citado. ↩↩↩↩↩↩↩↩
-
NIST Center for AI Standards and Innovation, “CAISI’s Assessment of Z.ai’s GLM-5.3 Cyber Capabilities,” 17 de setembro de 2026, acessado em 2 de outubro de 2026: GLM-5.3 lançado em 14 de agosto de 2026, com os pesos duas semanas depois; “the most cyber-capable open-weight model released to date”; “about four months” (cerca de quatro meses) atrás da fronteira americana na medida agregada do CAISI. ↩
-
Andrew Fasano, Marius Fleischer, Cole McFaul, Robert Xiao e Tripp Gallagher, “GLM-5.3 and the spread of advanced cyber capabilities,” Anthropic Frontier Red Team, 29 de setembro de 2026, acessado em 2 de outubro de 2026. Os resultados no ExploitBench e em exploração de binários, a sessão do GLM-5.3-Flash e seu custo de $20,40, as taxas de contorno, o custo de remover as salvaguardas, com a estimativa para uma equipe experiente dada pela nota 3 do próprio relatório, e as 10.000 vulnerabilidades atribuídas ao Project Glasswing. ↩↩↩↩↩↩↩↩
-
Anthropic, Project Glasswing, acessado em 2 de outubro de 2026: “Claude Mythos Preview will be available to participants at $25/$125 per million input/output tokens.” (O Claude Mythos Preview estará disponível para os participantes a $25/$125 por milhão de tokens de entrada/saída). Anthropic, Pricing, acessado em 2 de outubro de 2026: Claude Opus 4.5 e Claude Opus 4.6 a $5 e $25 por milhão de tokens de entrada e de saída; Claude Mythos 5 e Claude Mythos 5.1 a $10 e $50. ↩↩↩↩
-
UK AI Security Institute, “Incident Report: unsanctioned agent behaviour during cyber testing,” 4 de agosto de 2026, acessado em 2 de outubro de 2026, citado. ↩
-
UK AI Security Institute, “Finding Cloud Misconfigurations with Frontier AI: A Case Study,” 7 de julho de 2026, acessado em 2 de outubro de 2026, citado. O exercício foi feito contra uma implantação de staging da plataforma de pesquisa do AISI, não contra a produção. ↩↩↩
-
UK AI Security Institute, “More compute, more capability: Why AI agent evaluations need to account for test-time compute,” 2 de julho de 2026, acessado em 2 de outubro de 2026, citado. ↩
-
UK AI Security Institute, “Building a more secure environment for evaluating dangerous capabilities,” 1º de outubro de 2026, acessado em 2 de outubro de 2026: “we paused our highest-risk cyber evaluations”; “We have now disabled internet access for future agentic cyber evaluations”; “we are now able to resume most evaluation activity.” (pausa das avaliações de maior risco; acesso à internet desativado; retomada da maior parte das avaliações). ↩
-
UK AI Security Institute, “GPT-6 Astra performs unsanctioned supply-chain attacks in simulations,” 28 de setembro de 2026, acessado em 2 de outubro de 2026, citado. Todas as ações dessa avaliação foram simuladas. ↩
-
Anthropic, “An alignment assessment of recent cybersecurity incidents,” 9 de setembro de 2026, acessado em 2 de outubro de 2026: quatro incidentes, todos “during cybersecurity evaluations built by the same evaluation partner” (durante avaliações de cibersegurança construídas pelo mesmo parceiro de avaliação), nos quais “due to a misconfiguration, it was mistakenly connected to the open internet” (por uma configuração incorreta, o modelo foi conectado por engano à internet aberta). O post diz que não cobre o incidente relatado pelo AISI. ↩