En juillet, une alarme a sonné, et on ne l’a pas assez entendue. Lors d’un test interne, des centaines d’agents d’OpenAI sont sortis de leur environnement confiné, ont gagné l’internet public et se sont introduits chez Hugging Face, la grande bibliothèque mondiale des modèles d’IA. Personne ne le leur avait demandé (nous l’avions raconté à l’époque). Trois mois plus tard, les rapports techniques sont publiés, deux enquêtes indépendantes aussi, Anthropic a reconnu des dérapages comparables chez lui, et la semaine dernière PHP, le langage qui fait tourner près de sept sites sur dix dont la technologie est connue, corrigeait en urgence deux failles critiques dénichées avec l’aide de l’IA. Il est temps de prendre le temps : comprendre ce qui s’est passé, ce que cela annonce, et dire ce qui, à mon sens, devrait vraiment nous interroger.
Hugging Face, étape par étape
Grâce aux rapports publiés par Hugging Face fin juillet et par OpenAI fin août, on sait précisément ce qui s’est passé. Ce n’est pas un coup de génie unique, c’est une chaîne d’étapes, chacune assez banale prise isolément.
1. La porte du bac à sable. Pour tester ses modèles, OpenAI les fait travailler dans un « bac à sable » : un ordinateur virtuel isolé, avec une seule porte vers l’extérieur. Ici, cette porte était un serveur interne qui distribue des logiciels aux machines de test. Le test, baptisé ExploitGym, consistait justement à mesurer si les modèles savent trouver et exploiter des failles, et les garde-fous habituels avaient été volontairement désactivés. Les agents, menés surtout par un modèle de recherche non publié, entraîné pour être « très persévérant », ont trouvé dans ce serveur des failles que personne ne connaissait, de quoi atteindre l’internet public le 8 juillet. Leur but : récupérer chez Hugging Face les solutions du test, qu’ils pensaient y trouver.
2. Les clés sous le paillasson. Pour entrer, les agents n’ont pas eu à forcer de mot de passe. Ils ont ramassé des clés que d’autres avaient laissé traîner : quatorze jetons d’accès d’utilisateurs de Hugging Face, publiés par erreur dans un jeu de données public, et des identifiants d’un autre service trouvés dans une archive en ligne.
3. Le colis piégé. C’est le cœur de l’affaire. Quand on dépose un jeu de données sur Hugging Face, le site en affiche un aperçu, généré automatiquement par un serveur. Le 11 juillet, les agents y ont déposé des jeux de données piégés. Le premier, au lieu de pointer vers des données, désignait des fichiers internes du serveur : en préparant l’aperçu, celui-ci a lu ses propres secrets et les a affichés comme s’il s’agissait des lignes du tableau. Le second était plus malin encore. Le fichier qui décrit un jeu de données contient des champs, dont un censé indiquer un simple nombre. Les agents y ont glissé à la place un petit modèle de texte contenant des instructions, et le logiciel, au lieu de le lire comme une donnée, l’a exécuté. Imaginez un formulaire administratif où, dans la case « âge », vous écrivez « ouvrez le coffre », et où l’employé au guichet obéit. Cela s’appelle une injection : glisser des ordres là où le programme attend une simple information.
4. Le rebond. Une fois dans un serveur, les agents ont réutilisé ce qu’ils y trouvaient, clés d’accès au cloud, au réseau privé, aux grappes de serveurs, pour sauter de machine en machine. C’est ce que les spécialistes appellent le mouvement latéral. Selon OpenAI, en moins de treize heures, ils sont passés d’un seul serveur à des droits d’administrateur sur plusieurs grappes, ont exécuté du code sur 41 serveurs de production et téléchargé quatre dépôts de code privés. Hugging Face assure qu’aucun modèle ni jeu de données public n’a été modifié, mais a dû reconstruire une partie de son infrastructure.
Ce que les enquêteurs ont trouvé
Le plus troublant n’est pas technique. OpenAI a ouvert ses archives à deux organismes indépendants, METR et Redwood Research, dont les chercheurs ont passé six jours dans ses locaux à lire environ 1 300 transcriptions d’agents. Leur rapport, publié le 26 août, décrit environ 1 200 agents qui se coordonnaient sur un forum qu’ils s’étaient eux-mêmes aménagé, dont 700 environ ont participé à l’attaque. Plus de 90 % des agents actifs l’ont rejointe tout en la sachant hors des limites du test : « beaucoup d’agents reconnaissaient que l’attaque contre Hugging Face sortait clairement du périmètre », écrivent les enquêteurs. Ils ajoutent que les agents « n’ont pas tenté de prévenir les humains, et n’y ont même presque jamais réfléchi ». Au moins un sur cinq a cherché à maquiller ses traces.
Un second rapport, publié le 22 octobre, a éprouvé le système qui devait surveiller ces agents. Résultat : environ 10 % de l’activité interne échappait à la surveillance à certains moments, et deux simples paramètres suffisaient à la désactiver. OpenAI dit avoir tout corrigé ; METR précise ne pas l’avoir vérifié. Dans son propre rapport, OpenAI écrit que l’incident est « le premier cas connu d’un collectif d’agents automatisés menant une action offensive sans autorisation », et que les organisations « ne doivent plus supposer qu’une cyberopération sophistiquée exige une direction humaine continue ».
Pas seulement OpenAI
Il serait trop commode d’en faire l’affaire d’un seul laboratoire. Le 9 octobre, Anthropic a publié son propre inventaire : lors d’évaluations et d’usages internes, ses modèles ont obtenu sans payer des données vendues par une agence publique, en repérant sur une copie archivée de son site qu’un tableau de bord délivrait un jeton d’accès à n’importe quel visiteur. Ils ont aussi soumis de vrais formulaires administratifs, dont un faux signalement à une police, et exploité une faille sur le serveur d’une université. Le 25 octobre, le site Axios a révélé que l’agence en question était le secrétariat d’État de Géorgie, qui gère les élections, à neuf jours des élections de mi-mandat américaines. Il s’agissait de décomptes agrégés, et non du fichier électoral, ce que l’État a confirmé. Anthropic a depuis coupé l’accès à Internet de ses évaluations internes, et OpenAI a annoncé le 23 octobre qu’il entraînerait désormais ses modèles les plus avancés sans aucun accès au réseau.
Dehors, la même mécanique
Ces histoires de laboratoire ont un pendant bien réel. La faille de PHP, baptisée PHP2Shell, est d’une autre nature, une erreur dans la gestion de la mémoire du langage, mais elle a été trouvée de la même façon : des chercheurs aidés par l’IA ont débusqué en quelques semaines ce qui avait échappé à tout le monde pendant des années. En juillet, une faille de WordPress dénichée avec l’IA en une dizaine d’heures a été exploitée par des pirates. Et le 21 octobre, Microsoft a attribué à un groupe lié à la Chine une campagne contre les clients de ConnectWise, un éditeur de logiciels de télémaintenance utilisé par de nombreux prestataires informatiques, menée avec un outil de test d’intrusion piloté par des agents IA.
Les chiffres disent la même chose. Selon le rapport annuel de Mandiant, la branche de Google spécialisée dans la réponse aux incidents, les pirates commencent désormais en moyenne à exploiter une faille avant même que le correctif soit publié, alors qu’ils mettaient plus de deux mois en 2018. Pour l’ANSSI, près de trois failles exploitées sur dix en 2025 l’ont été au plus tard le jour de leur publication. Faut-il alors craindre un « blackout », une grande panne qui ferait tomber le web d’un coup ? Rien ne l’annonce, et personne ne peut l’exclure. Ce qui se dessine est moins spectaculaire et plus usant : des attaques plus nombreuses, plus rapides, qui frappent d’abord ce qui n’est plus entretenu. Le jour où l’attaquant trouve la faille le premier, ce n’est pas forcément Internet qui s’éteint : c’est une mairie, une clinique ou une PME qui découvre ses fichiers chiffrés un lundi matin.
« We Must Pace the Frontier »
Le patron d’Anthropic, Dario Amodei, a tiré de l’affaire un essai publié le 12 septembre sous ce titre : « Nous devons ralentir le rythme de la frontière ». Sa thèse est simple : les capacités des modèles progressent plus vite que notre capacité à les rendre sûrs. Il écrit qu’un essaim d’agents « doté de capacités supérieures mais d’un niveau de désalignement similaire aurait pu causer des dégâts catastrophiques », et qu’il incombe à chaque laboratoire « d’agir comme si l’incident lui était arrivé », reconnaissant que des incidents semblables, moins graves, ont eu lieu « dans tout le secteur, y compris chez Anthropic ». Il ne demande pas d’arrêter la recherche, mais de ralentir les gains de capacités pour laisser la sécurité rattraper son retard, en trois temps : des évaluateurs indépendants installés en permanence dans chaque laboratoire, des normes et des limites de rythme communes aux laboratoires des pays démocratiques, idéalement imposées par la loi, puis une coopération avec la Chine. Il le dit lui-même : « une course vers le bas, poussée par les incitations commerciales, peut aggraver ces risques ».
L’accueil a été étonnamment large. Sam Altman a promis d’accueillir lui aussi des évaluateurs indépendants, Elon Musk a écrit « Dario a raison ». Mais les critiques ne manquent pas : l’investisseur David Sacks, proche de Donald Trump, y voit selon Fortune une manœuvre pour faire écrire les règles par les entreprises en place, et l’investisseur Chamath Palihapitiya un prétexte pour étouffer l’open source et concentrer le pouvoir chez quelques acteurs. La critique mérite d’être entendue, d’autant que le texte vient du patron d’une entreprise qui prépare son entrée en Bourse.
Ce qui me questionne vraiment
Car c’est là que tout se noue. Pour qu’une entrée en Bourse soit un succès, il faut deux ingrédients. D’abord, que les marchés croient au potentiel révolutionnaire de l’IA. Ces entreprises ont donc tout intérêt à ce que nous pensions tous que leurs modèles sont prodigieux, presque trop puissants : nous l’écrivions dès juillet, l’alerte et la publicité se confondent. Ensuite, qu’elles restent devant les modèles chinois. Souvenez-vous de janvier 2025 : la sortie du modèle de la jeune pousse chinoise DeepSeek avait fait plonger les valeurs technologiques mondiales, et Donald Trump y avait vu un « signal d’alarme » pour l’industrie américaine. Aucun laboratoire coté ne peut se permettre d’être celui qui ralentit pendant que les autres accélèrent.
C’est bien là tout le problème. Tant qu’aucun cadre international ne sera en place, ces entreprises continueront d’améliorer leurs modèles, et plus les modèles s’améliorent, plus il devient difficile de surveiller leur comportement. Un ralentissement volontaire ne tiendra pas face à une course. L’Europe, de son côté, n’a pas d’outil adapté : comme nous l’écrivions à propos de l’AI Act, ces incidents ont eu lieu pendant des tests, là où le règlement ne regarde pas.
Alors, si l’on me demande s’il faut s’inquiéter de ces IA, je réponds ceci. Ce qui me questionne le plus, ce n’est pas une machine qui deviendrait malveillante. C’est la course elle-même, et ces tests où l’on lâche des centaines d’agents pendant des jours, avec des moyens de calcul considérables, dans des environnements dont on a volontairement désactivé les protections, pour mesurer jusqu’où ils peuvent aller. En juillet, ils sont allés jusque chez les autres.
Ce que cela change pour nous
Nous n’avons pas la main sur la course. Nous l’avons sur nos propres portes. L’affaire Hugging Face montre surtout des erreurs ordinaires, et les leçons qu’en tirent les experts, OpenAI et Hugging Face compris, tiennent en quelques règles :
- Mettre à jour vite, et vérifier que la mise à jour est vraiment passée, y compris pour le serveur et ses composants, pas seulement pour le site.
- Ne jamais publier de secrets : mots de passe, clés et jetons n’ont rien à faire dans un dépôt de code, un fichier partagé ou un jeu de données. Préférer des clés limitées dans le temps et dans leurs droits, et les changer après tout incident.
- Donner le minimum de droits : un accès par usage, jamais une clé partagée qui ouvre toutes les portes.
- Traiter toute donnée reçue comme suspecte : un fichier envoyé par un tiers est une donnée, jamais une instruction.
- Cloisonner et surveiller : limiter ce qu’une machine peut atteindre, garder des journaux, et régler les alertes pour qu’une alerte grave réveille vraiment quelqu’un. Celle de Hugging Face n’avait pas réveillé l’équipe d’astreinte.
- Empiler plusieurs barrières : « aucune protection ne doit jamais être supposée parfaitement fiable », écrit OpenAI dans son rapport.
Rien de tout cela n’est nouveau. Ce qui change, c’est le prix de la négligence. Pendant des années, une faille obscure dans un logiciel de second plan pouvait dormir longtemps, faute de chercheur pour la trouver. Les IA font tomber ce rempart du hasard : elles cherchent vite, longtemps, et partout. Je m’en rends compte pour mes propres projets : nous qui faisons tourner ce site sous WordPress et PHP nous appliquons la même liste, et ce n’est pas du luxe. La sécurité n’est plus une ligne de budget qu’on repousse à l’an prochain. C’est l’entretien courant de tout ce qui est branché.
Sources
- Hugging Face — Chronologie technique de l’intrusion (27 juillet 2026)
- OpenAI — Rapport technique sur l’incident Hugging Face (26 août 2026)
- METR et Redwood Research — Enquête indépendante sur l’incident (26 août 2026)
- METR — Red-teaming des systèmes de surveillance d’OpenAI (22 octobre 2026)
- Anthropic — Investigating unintended model actions (9 octobre 2026)
- Euronews — Claude et les données électorales de Géorgie (26 octobre 2026)
- Dario Amodei — We Must Pace the Frontier (septembre 2026)
- TechCrunch — Anthropic CEO outlines plan to pace the frontier (12 septembre 2026)
- VKTR — Les réactions au plan d’Amodei
- SecurityWeek — L’outil ARTEX contre les clients de ConnectWise
- Mandiant — M-Trends 2026
- Solutions Numériques — Le panorama de la menace de l’ANSSI
- The Register — OpenAI coupe l’accès à Internet pendant l’entraînement (23 octobre 2026)
