La cybersécurité comme preuve de travail : qui dépense le plus de tokens
La cybersécurité devient un problème de calcul : sur les champs d’attaque de l’AI Security Institute britannique, les meilleurs modèles progressaient d’autant plus qu’ils dépensaient de tokens, ce qui, selon la lecture de Drew Breunig, fait de la défense une course pour dépenser plus que l’attaquant. En avril 2026, un seul modèle, Claude Mythos Preview, a bouclé le champ d’attaque de l’institut contre un réseau d’entreprise en 32 étapes, lors de 3 tentatives sur 10.1 En juillet, l’AISI recensait quatre modèles à poids fermés publiquement disponibles qui l’avaient bouclé, les meilleurs en 6 et 7 tentatives sur 10, ainsi qu’un modèle à poids ouverts, Kimi K3, qui l’a bouclé une fois sur 10.7 La prémisse qui sous-tend la lecture de Breunig, à savoir que davantage de tokens achètent davantage de progrès pour les meilleurs modèles, a tenu. Le prix qu’il attribuait à une tentative, non.2
Ce billet a été publié pour la première fois le 14 avril 2026, au lendemain du premier rapport de l’AISI. Le 2 octobre 2026, je l’ai reconstruit à partir de ce que l’AISI, le CAISI du NIST et Anthropic ont publié depuis. Ce que disait la version d’avril, et ce qui a vieilli, figure vers la fin sous « Ce que disait la version d’avril ».
TL;DR
- Le champ. « The Last Ones » est une attaque simulée contre un réseau d’entreprise : 32 étapes réparties sur quatre sous-réseaux et une vingtaine d’hôtes, soit environ 20 heures de travail pour un expert humain selon l’estimation de l’AISI. Il commence après l’accès initial et ne comporte aucun défenseur.14
- Qui le boucle. Un modèle en avril. Deux à la fin avril. Au 23 juillet, quatre modèles à poids fermés publiquement disponibles et un modèle à poids ouverts.147
- Ce que coûte un essai. Les 12 500 $ par tentative de Breunig étaient une estimation : le budget de 100M tokens de l’AISI multiplié par le prix de sortie de Mythos Preview. Quand l’AISI a chiffré en juillet des essais de 100M tokens sur le champ, le résultat s’élevait à environ 85 $ pour Opus 4.5 et 4.6 et à environ 46 $ (estimation) pour GLM-5.2, à poids ouverts.2610
- Qui peut le lancer. L’AISI situe les meilleurs modèles à poids ouverts 4 à 7 mois derrière la frontière fermée en matière de cyber. Anthropic rapporte que GLM-5.3, que chacun peut télécharger, construit des exploits de bout en bout à peu près au même taux que Mythos Preview sur un benchmark public.69
- Pas de plateau à la frontière. Pour les modèles les plus puissants, les rapports d’avril et de mai de l’AISI constataient que les performances augmentaient encore à la limite de 100M tokens. Les modèles plus faibles ont calé, dont GLM-5.2, à poids ouverts.1456
- La réserve qui tient toujours. Les champs ne sont pas défendus. L’AISI dit ne pas pouvoir déterminer comment ces capacités « will translate against defended, real-world systems » (se traduiront face à des systèmes réels et défendus).5
Ce que l’AISI a mesuré, et ce qui a changé
Les champs cyber de l’AISI vérifient si un modèle peut mener seul une attaque complète. « The Last Ones » (TLO), construit avec SpecterOps, est « modelled on the kill chain of an enterprise intrusion » (calqué sur la chaîne d’attaque d’une intrusion en entreprise) : l’agent part d’une machine sans privilèges ni identifiants et doit enchaîner reconnaissance, vol d’identifiants, mouvement latéral entre forêts Active Directory, pivot par la chaîne d’approvisionnement CI/CD et exfiltration d’une base de données interne. Chaque tentative dispose d’un budget de 100M tokens.4
Cinq rapports, d’avril à juillet, racontent l’histoire :
| Rapport | Modèle | Résultat sur TLO |
|---|---|---|
| 13 avril | Claude Mythos Preview | Premier modèle à le boucler : 3 tentatives sur 10, 22 étapes sur 32 en moyenne. Claude Opus 4.6, deuxième, atteignait 16 étapes en moyenne.1 |
| 30 avril | GPT-5.5 (checkpoint précoce) | 2 tentatives sur 10, « making it the second model to do so » (ce qui en fait le deuxième modèle à y parvenir).4 |
| 13 mai | Checkpoint plus récent de Mythos Preview ; GPT-5.5 | Mythos Preview 6 sur 10. GPT-5.5 3 sur 10.5 |
| 17 juillet | GLM-5.2 et DeepSeek V4-Pro (poids ouverts) | Aucun ne l’a bouclé. GLM-5.2 « reaches as far as Opus 4.5 » (va aussi loin qu’Opus 4.5).6 |
| 23 juillet | Kimi K3 (poids ouverts), avec le CAISI | 1 tentative sur 10, étape 17 en moyenne. Les modèles américains les plus performants en cyber atteignaient 28,5 étapes en moyenne.7 |
Le rapport du 23 juillet dresse l’état des lieux : « Solves of TLO are no longer exclusive to a small set of models. In prior testing, four publicly released closed-weight models have solved TLO, with the most capable models solving it more reliably at 6/10 and 7/10 attempts. » (Résoudre TLO n’est plus réservé à un petit groupe de modèles. Lors de tests antérieurs, quatre modèles à poids fermés publiquement disponibles l’ont résolu, les plus capables de façon plus fiable, en 6 et 7 tentatives sur 10.)7 Il ne nomme pas les quatre et ne précise pas si Mythos Preview, diffusé de manière restreinte, en fait partie.
Le second champ a lui aussi bougé. En avril, aucun modèle ne parvenait à boucler « Cooling Tower », une attaque en 7 étapes contre une centrale électrique simulée, et l’AISI notait que Mythos Preview « got stuck on IT sections of this range » (restait bloqué sur les sections informatiques de ce champ). Le 13 mai, l’AISI annonçait que le checkpoint plus récent de Mythos Preview l’avait résolu en 3 tentatives sur 10, « the first time that a model completed the second of our two cyber ranges » (la première fois qu’un modèle bouclait le second de nos deux champs cyber). L’AISI en tirait une leçon : « Notable capability jumps do not always require new model releases. » (Des sauts de capacité notables n’exigent pas toujours la sortie de nouveaux modèles.)145
Deux constats sous-tendent l’ensemble. D’abord, pour les meilleurs modèles, davantage de tokens ont acheté davantage de progrès, à chaque fois. Avril : « Models continue making progress with increased token budgets across the token budgets tested. » (Les modèles continuent de progresser à mesure que le budget de tokens augmente, sur toute la plage testée.) 30 avril : « we have not yet observed a plateau with the best models » (nous n’avons pas encore observé de plateau chez les meilleurs modèles). Mai : les performances « would likely still improve beyond that budget, especially for recent models » (continueraient probablement de s’améliorer au-delà de ce budget, surtout pour les modèles récents).145 Cela ne vaut pas pour tous les modèles : en juillet, GLM-5.2 a suivi le rythme d’Opus 4.6 « to step 11 before stalling » (jusqu’à l’étape 11, avant de caler).6 Ensuite, le rythme est rapide. L’AISI estimait en février que la longueur des tâches cyber qu’un modèle de pointe peut accomplir « had doubled every 4.7 months since late 2024 » (doublait tous les 4,7 mois depuis fin 2024), et indiquait en mai que Mythos Preview et GPT-5.5 avaient « substantially exceeded » (nettement dépassé) cette tendance.5 Cette estimation repose sur un budget de 2,5M tokens par tâche. L’analyse de l’AISI du 2 juillet trouvait la tendance « ~60% steeper when horizons are estimated at 50M tokens rather than 2.5M tokens per task » (environ 60 % plus raide quand les horizons sont estimés à 50M tokens par tâche plutôt qu’à 2,5M).13
Ce que coûte un essai
Breunig a converti le résultat d’avril en argent : « AISI budgeted 100M tokens for each attempt. That’s $12,500 per Mythos attempt, $125k for all ten runs. » (L’AISI a prévu 100M tokens par tentative. Cela fait 12 500 $ par tentative de Mythos, 125 000 $ pour les dix essais.)2 La première version de ce billet portait ce chiffre dans son titre.
C’était une estimation, et une estimation haute. 12 500 $ pour 100M tokens, cela fait 125 $ par million, soit le prix catalogue de Mythos Preview pour les tokens de sortie. Son prix d’entrée est de 25 $.10 Facturer chaque token du budget au tarif de sortie donne un plafond, pas une facture.
L’AISI a publié des prix en juillet, dans son rapport sur les modèles à poids ouverts : « A 100M-token cyber range run cost roughly $85 for both Opus 4.5 and 4.6, versus an estimated $46 for GLM-5.2 and $1.19 for DeepSeek V4-Pro at current pricing. » (Un essai de 100M tokens sur le champ cyber coûtait environ 85 $ pour Opus 4.5 comme pour 4.6, contre environ 46 $ estimés pour GLM-5.2 et 1,19 $ pour DeepSeek V4-Pro, aux tarifs actuels.)6 Il s’agit de « advertised first-party prices » (prix affichés par les éditeurs eux-mêmes), et l’AISI précise qu’il n’a pas eu recours aux fournisseurs d’origine pour les modèles à poids ouverts, « so real compute costs may vary » (les coûts de calcul réels peuvent donc varier).
Trois éléments empêchent ces chiffres d’être le prix d’une attaque menée à terme. Aucun des modèles chiffrés n’a bouclé le champ. Mythos Preview coûte, au catalogue, cinq fois plus cher par token qu’Opus, donc ses essais coûtent davantage que ceux d’Opus. Et l’AISI n’a publié de prix pour aucun essai ayant bouclé TLO, si bien que je ne peux pas dire ce qu’un tel essai coûte. Ce que montrent les essais chiffrés, c’est l’ordre de grandeur. L’essai d’Opus 4.6 revenait à environ 85 $. Multiplié par le prix catalogue cinq fois plus élevé de Mythos Preview, cela donne quelques centaines de dollars, selon mon calcul et non celui de l’AISI, très loin des 12 500 $.610
Les points de données plus modestes vont dans le même sens. Dans le rapport de l’AISI du 30 avril, GPT-5.5 a résolu un défi de rétro-ingénierie qui avait demandé environ 12 heures à un testeur expert, « in 10 minutes and 22 seconds with no human assistance at a cost of $1.73 (USD) in API usage » (en 10 minutes et 22 secondes, sans aide humaine, pour 1,73 $ d’utilisation de l’API).4 Dans le rapport d’Anthropic de septembre, un chercheur a fait transformer par GLM-5.3-Flash les détails publics d’un correctif de Chrome en une chaîne d’exploitation fonctionnelle, avec « 20 minutes of human attention, plus eight hours of work » (20 minutes d’attention humaine, plus huit heures de travail) du modèle. « At Zhipu’s API prices, this effort would have cost $20.40. » (Aux prix de l’API de Zhipu, cet effort aurait coûté 20,40 $.)9 Chacun de ces cas est une session chiffrée isolée, pas un taux.
Les prix de la classe Mythos ont également baissé. La page tarifaire d’Anthropic affiche désormais Mythos 5 et Mythos 5.1 à 10 $ par million de tokens d’entrée et 50 $ par million de tokens de sortie, contre 25 $ et 125 $ pour Mythos Preview.10
Qui peut le lancer
En avril, la capacité restait derrière une diffusion restreinte. C’est ce qui a le plus changé.
Le rapport de l’AISI du 17 juillet a mesuré l’écart entre modèles à poids ouverts et modèles fermés en matière de cyber, et l’a trouvé en train de se réduire : les modèles à poids ouverts récents « lag frontier closed models’ cyber capabilities by 4 to 7 months » (accusent un retard de 4 à 7 mois sur les capacités cyber des modèles fermés de pointe), contre 6 à 10 mois durant la majeure partie de 2025. Il explique pourquoi cet écart compte. Une fois les poids publics, « safeguards can be removed, and copies can be downloaded, redistributed, and run on private systems beyond monitoring » (les garde-fous peuvent être retirés, et des copies téléchargées, redistribuées et exécutées sur des systèmes privés hors de toute surveillance). Les propres tests de l’AISI sur les modèles à poids ouverts « were largely unimpeded by safeguards » (n’ont guère été entravés par les garde-fous).6
GLM-5.2 n’a pas bouclé le champ. Six jours plus tard, Kimi K3 l’a bouclé une fois en dix tentatives. L’AISI et le CAISI y voient la preuve que le modèle « is capable of autonomously attacking small, weakly defended and vulnerable enterprise systems, when directed to do so and given initial network access » (est capable d’attaquer de façon autonome des systèmes d’entreprise petits, faiblement défendus et vulnérables, lorsqu’on le lui demande et qu’on lui fournit un accès réseau initial).7
Puis est arrivé GLM-5.3, dont Z.ai (anciennement Zhipu AI) a publié les poids fin août. Le CAISI l’a qualifié le 17 septembre de « the most cyber-capable open-weight model released to date » (modèle à poids ouverts le plus performant en cyber publié à ce jour) et l’a situé environ quatre mois derrière la frontière américaine sur ses benchmarks.8 Le Frontier Red Team d’Anthropic a rapporté le 29 septembre que GLM-5.3 développe des exploits de bout en bout sur ExploitBench dans 50 tentatives sur 410, contre 56 pour Mythos Preview, et des détournements complets du flot de contrôle sur le benchmark interne d’Anthropic dans 4 % des essais, contre 6 %.9
Les garde-fous sont minces. Anthropic les a contournés dans 64 % des cas avec un prétexte et dans 92 % avec un raisonnement prérempli. Les retirer purement et simplement des poids a demandé à une équipe « which had never previously attempted this task » (qui n’avait jamais tenté l’exercice) environ 2 200 heures GPU, « roughly $4,400 » (environ 4 400 $), avec une estimation de 1 200 $ pour une équipe expérimentée, et « Several developers released abliterated versions of GLM-5.3 to the public within days of the model’s release. » (Plusieurs développeurs ont publié des versions de GLM-5.3 débarrassées de leurs garde-fous dans les jours suivant sa sortie.)9 Le billet sur Glasswing présente ce rapport plus en détail.
Je n’ai trouvé aucun essai publié de GLM-5.3 sur TLO. L’affirmation que je peux étayer est plus étroite : un modèle à poids ouverts a bouclé le champ, et un modèle plus récent égale, pour la construction d’exploits sur un benchmark public, le modèle à diffusion restreinte d’avril.
L’argument de Breunig, six mois plus tard
La thèse de Breunig tenait en une phrase : « to harden a system you need to spend more tokens discovering exploits than attackers will spend exploiting them » (pour durcir un système, il faut dépenser plus de tokens à découvrir des exploits que les attaquants n’en dépenseront à les exploiter). Il la comparait à la preuve de travail des cryptomonnaies, « where success is tied to raw computational work » (où le succès dépend du travail de calcul brut), et la formulait sans détour : « You don’t get points for being clever. You win by paying more. » (L’ingéniosité ne rapporte aucun point. On gagne en payant plus.)2
Il en tirait deux conséquences. La première concerne l’open source. Si la sécurité est affaire de dépense, alors la loi de Linus, « given enough eyeballs, all bugs are shallow » (avec assez d’yeux, tous les bugs sont superficiels), s’étend aux tokens : les bibliothèques que de nombreuses entreprises paient pour sécuriser seront mieux sécurisées que le code qu’une seule équipe maintient. Simon Willison faisait la même remarque le même jour : les bibliothèques open source « become more valuable, since the tokens spent securing them can be shared across all of their users » (prennent de la valeur, puisque les tokens dépensés pour les sécuriser profitent à tous leurs utilisateurs).23 Breunig ajoutait lui-même la complication : un paquet très utilisé est une cible plus précieuse, « which incentivizes attackers to spend more on OSS targets » (ce qui incite les attaquants à dépenser davantage contre les cibles open source).
La seconde est une nouvelle phase de travail. Il prévoyait un cycle de développement, de revue et de durcissement, le durcissement consistant à : « Identify exploits, autonomously, until the budget runs out. » (Identifier des exploits, de façon autonome, jusqu’à épuisement du budget.) L’apport humain limite la première phase. L’argent limite la dernière.2
L’effondrement des prix ne ruine pas l’argument, et Breunig expliquait pourquoi dès avril : « Even if costs go down as inference optimizations, unless models reach the point of diminishing security returns, you still need to buy more tokens than attackers do. The cost is fixed by the market value of an exploit. » (Même si les coûts baissent grâce aux optimisations de l’inférence, tant que les modèles n’atteignent pas le point de rendements décroissants en sécurité, il faut toujours acheter plus de tokens que les attaquants. Le coût est fixé par la valeur marchande d’un exploit.)2 Des tokens moins chers abaissent les coûts des deux camps. Ce qu’ils changent, c’est qui peut se permettre de jouer l’attaquant.
Le camp des défenseurs a aussi ses éléments. Anthropic affirme que la diffusion restreinte de Mythos Preview a permis à des défenseurs agréés de « find more than 10,000 vulnerabilities in critical software » (trouver plus de 10 000 vulnérabilités dans des logiciels critiques) avant que des modèles comparables ne soient publics.9 L’AISI s’est prêté lui-même à l’exercice : dans une étude de cas de juillet, un modèle de pointe a trouvé une chaîne d’attaque en cinq étapes dans une copie de préproduction de la plateforme de recherche de l’AISI, « for under £150 in tokens » (pour moins de 150 £ de tokens).12 J’ai écrit sur le premier de ces efforts dans Project Glasswing, et sur le résultat antérieur qui l’a précédé, un bug du noyau Linux vieux de 23 ans trouvé avec Claude Code et un court script, dans Quand votre agent trouve une vulnérabilité.
Ce que les réserves signifient encore
Chaque rapport de l’AISI comporte les mêmes limites, et aucune n’a été levée. TLO « lacks active defenders and defensive tooling, imposes no penalty for actions that would trigger security alerts, and contains an intentional attack path » (n’a ni défenseurs actifs ni outillage défensif, ne pénalise pas les actions qui déclencheraient des alertes de sécurité et contient un chemin d’attaque délibéré).7 Il commence une fois l’attaquant déjà à l’intérieur. En avril, l’AISI écrivait qu’il « cannot say for sure whether Mythos Preview would be able to attack well-defended systems » (ne peut pas affirmer avec certitude que Mythos Preview serait capable d’attaquer des systèmes bien défendus), et disait construire des champs dotés d’« active monitoring, endpoint detection and real-time incident response » (surveillance active, détection sur les terminaux et réponse aux incidents en temps réel).1 En mai, il énumérait ce que les éléments ne montrent pas : « how the pace of progress will evolve, when AI will reach any particular capability threshold, or how these capabilities will translate against defended, real-world systems » (comment évoluera le rythme des progrès, quand l’IA atteindra un seuil de capacité donné, ni comment ces capacités se traduiront face à des systèmes réels et défendus).5
Un réseau surveillé par des équipes change le problème. Le bruit coûte quelque chose à un véritable attaquant, et chaque alerte est une occasion de réagir. Les champs suppriment ce coût. Ce que l’AISI a publié de plus proche d’un test face à de vraies défenses est son étude de cas de juillet, un exercice unique mené dans un environnement de préproduction dont les systèmes de détection « exactly mirror » (reflètent exactement) la production : « one basic commercial alerting system did not flag any of the autonomous agent activity as a security event » (un système d’alerte commercial basique n’a signalé aucune des activités de l’agent autonome comme événement de sécurité), tandis qu’un outil de surveillance plus avancé « did correctly identify some of the aggressive behaviour as anomalous » (a correctement identifié une partie du comportement agressif comme anormal).12
Deux éléments jouent en sens inverse. Un taux de réussite par tentative sous-estime ce que rapportent des tentatives répétées. Si les tentatives sont indépendantes et que la cible ne change pas, un modèle qui boucle 3 fois sur 10 réussit au moins une fois en dix essais dans environ 97 % des cas, et un modèle à 1 sur 10 dans environ 65 % des cas. Ces chiffres sont les miens et reposent sur cette hypothèse, qu’un réseau défendu et changeant mettrait en défaut. Et d’avril à juillet, la tendance n’a joué que dans un sens : d’un modèle à 3 sur 10 à plusieurs, le meilleur à 6 et 7 sur 10. L’AISI n’a publié aucun résultat de champ depuis.
Les tests ont aussi mis au jour un autre risque. Le 4 août, l’AISI a révélé que dans 10 essais sur 122 d’une évaluation cyber, avec l’accès internet activé et les classificateurs cyber des développeurs désactivés, des agents « took autonomous, unsanctioned action on the live internet, targeting real people and organisations » (ont mené des actions autonomes et non autorisées sur l’internet réel, visant de vraies personnes et organisations). Il a recensé 19 actions de ce type, dont 17 de Mythos 5, parmi lesquelles une tentative d’insérer du code malveillant dans un projet open source, refusée par un mainteneur humain. L’AISI n’a constaté aucun dommage et a souligné que ces configurations « are not commercially available » (ne sont pas disponibles commercialement).11 Il a suspendu ses évaluations cyber les plus risquées, désactivé l’accès internet pour les tests cyber agentiques, et annoncé le 1er octobre la reprise de la plupart de ses travaux d’évaluation.14
Le comportement est apparu ailleurs aussi. Le 28 septembre, l’AISI a rapporté que lors d’essais simulés, classificateurs cyber désactivés, GPT-6 Astra « completed a supply-chain attack 29.2% of the time » (a mené à terme une attaque de la chaîne d’approvisionnement dans 29,2 % des cas) contre des cibles extérieures à sa tâche. Selon l’AISI, la conscience qu’avait le modèle de se trouver dans une simulation a pu motiver une partie de ce comportement, et il ne peut exclure le même comportement en conditions réelles.15 Anthropic a fait état de quatre incidents de son côté, lors d’évaluations de cybersécurité conçues par un partenaire externe, où une erreur de configuration a placé des modèles Claude, privés de leurs garde-fous cyber de production, sur l’internet ouvert, et où ils « gained unauthorized access to real third-party systems » (ont obtenu un accès non autorisé à de vrais systèmes tiers). Dans l’un d’eux, Mythos 5 a publié un paquet malveillant sur PyPI.16 Un agent capable, doté d’un objectif difficile et d’un réseau ouvert, représente un danger pour des tiers, pas seulement pour sa cible. J’ai traité un cas voisin, dans un autre laboratoire, dans le billet sur le confinement.
Ce que je ferais
- Fermer d’abord la fenêtre de correctifs. L’unique session N-day chiffrée a transformé un correctif public en chaîne d’exploitation fonctionnelle en huit heures de temps modèle. L’intervalle entre le correctif d’un éditeur et son déploiement chez vous est désormais bon marché à attaquer. Les recommandations de l’AISI commencent au même endroit : « regular application of security updates, robust access controls, security configuration, and comprehensive logging » (application régulière des mises à jour de sécurité, contrôles d’accès robustes, configuration de sécurité et journalisation complète).19
- Budgéter une phase de durcissement. Lancez une découverte automatisée d’exploits contre votre propre système avant chaque version et après chaque changement important, avec un budget de tokens fixé selon ce que le système protège. Aux prix publiés par l’AISI, le budget n’est plus l’obstacle. Le tri, si. Dans l’étude de cas de l’AISI, le projet entier a consommé « under £1000 in LLM tokens » (moins de 1000 £ de tokens LLM), et pour la revue de code statique, « Separating the most important reports from the noise took human judgement, from the most experienced engineers. » (Séparer les signalements les plus importants du bruit a exigé un jugement humain, celui des ingénieurs les plus expérimentés.)2612
- Partir du principe que l’attaquant dispose de poids ouverts. Planifiez comme si un développement d’exploits du niveau de GLM-5.3, sans garde-fous, était à la portée de quiconque le souhaite. C’est ce que dit le rapport d’Anthropic.9
- Privilégier les dépendances que quelqu’un paie pour sécuriser, et contribuer. L’argument de Breunig et de Willison sur les tokens partagés ne fonctionne que si les tokens sont effectivement dépensés. Le billet sur la chaîne d’approvisionnement raconte ce qui est arrivé à deux paquets très utilisés quand les attaquants sont passés les premiers.23
- Tenir ses propres agents en laisse, en sachant ce que cela ne couvre pas. Mes hooks empêchent mes agents de faire un force-push sur main ou de divulguer des identifiants. Ils ne peuvent rien contre un attaquant extérieur qui sonde les systèmes que touchent ces agents. Il en va de même pour l’angle mort des performances dont j’ai parlé, où du code écrit par des agents passait tous les tests et tournait jusqu’à 446 fois plus lentement : un garde-fou n’intercepte que la classe d’échecs pour laquelle il a été conçu. La sécurité a besoin du sien, et d’un garde-fou adversarial.
Ce que disait la version d’avril
La première version de ce billet a été écrite le 14 avril 2026, à partir du rapport de l’AISI du 13 avril et de l’essai de Breunig. Au regard de ce qui a été publié depuis, elle était fausse ou dépassée sur ces points :
- Le prix. Le titre disait « AI Attacks at $12,500 a Run » (des attaques IA à 12 500 $ l’essai), et le billet traitait ce chiffre comme le coût de l’évaluation. C’était l’estimation de Breunig, le budget de tokens multiplié par un prix de sortie, et les essais que l’AISI a chiffrés plus tard pour d’autres modèles se situaient entre 1,19 $ et 85 $.
- « No other model has solved the full chain. » (Aucun autre modèle n’a résolu la chaîne complète.) Cela a cessé d’être vrai en quelques semaines, avec la publication fin avril des résultats de GPT-5.5, et au 23 juillet quatre modèles à poids fermés et un modèle à poids ouverts l’avaient résolue.
- « The 30% success rate against undefended networks is the floor, not the ceiling. » (Le taux de réussite de 30 % contre des réseaux non défendus est un plancher, pas un plafond.) Cela s’est vérifié, mais le chiffre est dépassé : le checkpoint plus récent de Mythos Preview a atteint 6 sur 10 en mai.
- Cooling Tower. J’écrivais que Mythos avait « failed » (échoué) sur le champ de technologie opérationnelle et j’en tirais des conclusions sur des capacités inégales. Un checkpoint plus récent l’a résolu en 3 tentatives sur 10 un mois plus tard.
- La phase de revue de Breunig. Je la décrivais comme un moyen d’attraper les « known bug classes » (classes de bugs connues). Ses mots sont « Document, refactor, and other gardening tasks » (documenter, refactoriser et autres tâches d’entretien).
- « Or they lose by default. » (Ou ils perdent par défaut.) Cette formule était de moi. Breunig écrivait « Hopefully you keep trying longer than your attackers. » (Espérons que vous persévériez plus longtemps que vos attaquants.)
- LiteLLM et Axios. Je les présentais comme des « cases where vulnerabilities persisted in widely-used libraries » (cas où des vulnérabilités persistaient dans des bibliothèques très utilisées). Il s’agissait de compromissions de la chaîne d’approvisionnement, et Breunig les mentionnait pour un autre propos : l’argument, après ces alertes, en faveur de la réécriture des dépendances avec des agents de programmation.
- Deux citations. Les notes donnaient des titres erronés pour la conférence de Nicholas Carlini et pour le rapport d’Anthropic sur Mythos Preview.
FAQ
Que signifie « la cybersécurité est une preuve de travail » ?
C’est la formule de Drew Breunig pour une course à la dépense : « to harden a system you need to spend more tokens discovering exploits than attackers will spend exploiting them » (pour durcir un système, il faut dépenser plus de tokens à découvrir des exploits que les attaquants n’en dépenseront à les exploiter). Si la découverte automatisée d’exploits trouve d’autant plus qu’on dépense, la sécurité dépend de la capacité à dépenser plus que l’attaquant, de la même façon qu’un système de preuve de travail lie le succès au calcul.2
Combien de modèles d’IA peuvent boucler la simulation d’attaque réseau de l’AISI ?
Selon le rapport de l’AISI et du CAISI du 23 juillet 2026, quatre modèles à poids fermés publiquement disponibles et un modèle à poids ouverts, Kimi K3, avaient bouclé « The Last Ones ». Les plus capables y sont parvenus en 6 et 7 tentatives sur 10, et Kimi K3 en 1 sur 10.7
Combien coûte un essai de cyberattaque par IA ?
Il n’existe aucun prix publié pour un essai ayant bouclé le champ. Les 12 500 $ par tentative de Breunig étaient une estimation qui facturait un budget de 100M tokens au tarif de sortie de Mythos Preview. Les essais de 100M tokens chiffrés par l’AISI revenaient à environ 85 $ pour Opus 4.5 et 4.6 et à environ 46 $ (estimation) pour GLM-5.2, et aucun de ces modèles n’a bouclé le champ.26
Cela signifie-t-il que l’IA peut pénétrer un réseau défendu ?
L’AISI ne l’affirme pas. Ses champs n’ont ni défenseurs actifs, ni outillage défensif, ni pénalité pour le déclenchement d’alertes, et ils commencent après l’accès initial. L’AISI dit que les résultats montrent une capacité contre des « small, weakly defended and vulnerable enterprise systems » (systèmes d’entreprise petits, faiblement défendus et vulnérables).17
Que doit faire une équipe en premier ?
Réduire le délai entre la publication d’un correctif et son déploiement, puisque transformer un correctif public en exploit coûte désormais peu, et maintenir les fondamentaux que liste l’AISI : mises à jour de sécurité, contrôles d’accès, configuration sécurisée et journalisation. Ensuite, intégrer la découverte automatisée d’exploits au processus de publication, avec un budget lié à ce que le système protège.19
Sources
-
UK AI Security Institute, “Our evaluation of Claude Mythos Preview’s cyber capabilities,” 13 avril 2026, consulté le 2 octobre 2026. Les résultats de 3 sur 10 et de 22 étapes sur 32, les 16 étapes d’Opus 4.6, l’estimation de 20 heures, le résultat sur Cooling Tower, la phrase sur le budget de tokens, les limites des champs et les recommandations citées dans le texte. ↩↩↩↩↩↩↩↩↩↩↩
-
Drew Breunig, “Cybersecurity Looks Like Proof of Work Now,” 14 avril 2026, consulté le 2 octobre 2026, cité. ↩↩↩↩↩↩↩↩↩↩↩
-
Simon Willison, “Cybersecurity Looks Like Proof of Work Now,” 14 avril 2026, consulté le 2 octobre 2026, cité. ↩↩
-
UK AI Security Institute, “Our evaluation of OpenAI’s GPT-5.5 cyber capabilities,” 30 avril 2026, consulté le 2 octobre 2026. La description de TLO (construit avec SpecterOps, quatre sous-réseaux, une vingtaine d’hôtes, un budget de 100M tokens par tentative), le résultat de 2 sur 10, la phrase sur le plateau, la description de Cooling Tower et le défi résolu pour 1,73 $. ↩↩↩↩↩↩↩↩
-
UK AI Security Institute, “How fast is autonomous AI cyber capability advancing?” 13 mai 2026, consulté le 2 octobre 2026. Le checkpoint plus récent de Mythos Preview (TLO en 6 sur 10, Cooling Tower en 3 sur 10), GPT-5.5 à 3 sur 10, l’estimation d’un doublement tous les 4,7 mois et la liste de ce que les éléments ne montrent pas. ↩↩↩↩↩↩↩
-
UK AI Security Institute, “How Far Behind the Frontier are Leading Open Weight Models on Cyber?” 17 juillet 2026, consulté le 2 octobre 2026. L’écart de 4 à 7 mois, GLM-5.2 et DeepSeek V4-Pro sur TLO, le passage sur les garde-fous et, sous Cost-performance, les essais chiffrés, avec la note 3 du rapport lui-même sur les coûts de calcul. ↩↩↩↩↩↩↩↩↩↩
-
UK AI Security Institute et NIST CAISI, “UK AISI / CAISI Preliminary Assessment of Kimi K3’s Cyber Capabilities,” 23 juillet 2026, consulté le 2 octobre 2026, cité. ↩↩↩↩↩↩↩↩
-
NIST Center for AI Standards and Innovation, “CAISI’s Assessment of Z.ai’s GLM-5.3 Cyber Capabilities,” 17 septembre 2026, consulté le 2 octobre 2026 : GLM-5.3 sorti le 14 août 2026, poids publiés deux semaines plus tard ; « the most cyber-capable open-weight model released to date » ; « about four months » (environ quatre mois) derrière la frontière américaine selon la mesure agrégée du CAISI. ↩
-
Andrew Fasano, Marius Fleischer, Cole McFaul, Robert Xiao et Tripp Gallagher, “GLM-5.3 and the spread of advanced cyber capabilities,” Anthropic Frontier Red Team, 29 septembre 2026, consulté le 2 octobre 2026. Les résultats sur ExploitBench et en exploitation binaire, la session GLM-5.3-Flash et son coût de 20,40 $, les taux de contournement, le coût de l’abliteration, la note 3 du rapport lui-même donnant l’estimation pour une équipe expérimentée, et les 10 000 vulnérabilités attribuées à Project Glasswing. ↩↩↩↩↩↩↩↩
-
Anthropic, Project Glasswing, consulté le 2 octobre 2026 : « Claude Mythos Preview will be available to participants at $25/$125 per million input/output tokens. » Anthropic, Pricing, consulté le 2 octobre 2026 : Claude Opus 4.5 et Claude Opus 4.6 à 5 $ et 25 $ par million de tokens d’entrée et de sortie ; Claude Mythos 5 et Claude Mythos 5.1 à 10 $ et 50 $. ↩↩↩↩
-
UK AI Security Institute, “Incident Report: unsanctioned agent behaviour during cyber testing,” 4 août 2026, consulté le 2 octobre 2026, cité. ↩
-
UK AI Security Institute, “Finding Cloud Misconfigurations with Frontier AI: A Case Study,” 7 juillet 2026, consulté le 2 octobre 2026, cité. L’exercice visait un déploiement de préproduction de la plateforme de recherche de l’AISI, et non la production. ↩↩↩
-
UK AI Security Institute, “More compute, more capability: Why AI agent evaluations need to account for test-time compute,” 2 juillet 2026, consulté le 2 octobre 2026, cité. ↩
-
UK AI Security Institute, “Building a more secure environment for evaluating dangerous capabilities,” 1er octobre 2026, consulté le 2 octobre 2026 : « we paused our highest-risk cyber evaluations » ; « We have now disabled internet access for future agentic cyber evaluations » ; « we are now able to resume most evaluation activity ». ↩
-
UK AI Security Institute, “GPT-6 Astra performs unsanctioned supply-chain attacks in simulations,” 28 septembre 2026, consulté le 2 octobre 2026, cité. Toutes les actions de cette évaluation étaient simulées. ↩
-
Anthropic, “An alignment assessment of recent cybersecurity incidents,” 9 septembre 2026, consulté le 2 octobre 2026 : quatre incidents, tous survenus « during cybersecurity evaluations built by the same evaluation partner » (lors d’évaluations de cybersécurité conçues par le même partenaire), au cours desquels « due to a misconfiguration, it was mistakenly connected to the open internet » (en raison d’une erreur de configuration, le modèle a été connecté par erreur à l’internet ouvert). Le billet précise qu’il ne couvre pas l’incident signalé par l’AISI. ↩