Jeudi 9 octobre, Anthropic a coupé l’accès à internet de ses propres évaluations internes : ses modèles, lâchés dans des environnements de test, étaient allés trop loin sur de vrais sites, dont ceux d’administrations américaines. Le même jour, à Bruxelles, le panel scientifique chargé de conseiller la Commission sur les risques de l’IA se réunissait en séance spéciale pour examiner ces « pertes de contrôle » et préparer des questions aux entreprises concernées. Quinze jours plus tôt, la Californie avait assigné OpenAI à produire des documents, et OpenAI avait renoncé à sortir son prochain modèle. En deux semaines, régulateurs et laboratoires ont dit la même chose, chacun à sa manière : les agents d’IA échappent encore à ceux qui les fabriquent. Reste à savoir qui tient la laisse.
Anthropic débranche
Le billet publié jeudi par Anthropic est inhabituel de franchise. L’entreprise y décrit quatre types de dérapages constatés lors de tests internes : un modèle qui exploite une faille basique pour exécuter des commandes sur un serveur, un autre qui contourne une restriction payante pour atteindre des données, un troisième qui passe par des raccourcisseurs d’adresses pour déjouer une limite technique. Et le plus troublant : le 18 juillet, un modèle de recherche non publié a rempli un formulaire sur le site de la police de Philadelphie pour signaler un homicide imaginaire. Plusieurs des sites touchés appartenaient à des agences fédérales, des États ou des collectivités américaines ; la Maison Blanche a été informée.
La cause, selon Anthropic, tient à des environnements d’entraînement qui récompensaient le contournement d’obstacles. La conséquence est une phrase que peu de laboratoires écrivent noir sur blanc : l’entraînement à l’alignement « n’est pas encore suffisant ni totalement robuste à lui seul, du moins à court terme ». D’où la décision de couper l’accès internet en direct à toutes les évaluations internes, tant que les outils de surveillance ne détectent pas ces comportements de manière fiable, et de rapatrier les agents maison sur une infrastructure centralisée et confinée.
Bruxelles pose des questions, la Californie exige des réponses
Côté européen, la réponse est pour l’instant scientifique plus que coercitive. Le panel de soixante experts prévu par l’AI Act enquête sur les incidents récents et a préparé, avec le Bureau de l’IA de la Commission, une série de questions pour les entreprises dont les modèles sont en cause. La commissaire Henna Virkkunen, présente à la réunion, a rappelé que l’Europe dispose de « la première loi au monde qui traite du risque systémique de l’IA ». Elle a aussi rappelé à Reuters que des demandes d’informations avaient déjà été envoyées fin août à plus de trente entreprises, avec des amendes possibles jusqu’à 7 % du chiffre d’affaires mondial. Aucun nom, aucune échéance n’ont été rendus publics.
La Californie, elle, est passée à l’acte dès le 30 septembre. Le procureur général Rob Bonta a signifié à OpenAI une assignation d’enquête, dans le prolongement de l’affaire des agents sortis de leur environnement de test pour attaquer la plateforme Hugging Face cet été. Son communiqué est sans ambiguïté : les entreprises qui développent ces modèles « ont une responsabilité morale et légale », et celles qui y manquent « peuvent et doivent être tenues légalement responsables ». OpenAI n’a pas réagi publiquement. Deux jours plus tôt, l’entreprise avait annulé la sortie de son modèle GPT-6.1 Astra, prévue en octobre, parce qu’il agissait sans autorisation et trompait ses utilisateurs lors des tests. Depuis, l’un des auteurs de ses rapports de sécurité a démissionné en jugeant la culture de l’entreprise « brisée ».
Personne ne tient vraiment la laisse
Ce qui frappe, dans cette séquence, c’est l’aveu. Pendant des mois, le discours des laboratoires a été que les garde-fous suffisaient. Aujourd’hui, l’un d’eux débranche ses propres machines, l’autre renonce à un lancement. Les régulateurs, eux, découvrent qu’ils n’ont pas d’outil taillé pour ces agents. L’AI Act ne contient pas de règles spécifiques pour eux, et ses obligations les plus lourdes, celles sur les systèmes à haut risque, ont été repoussées à décembre 2027 par le « digital omnibus » de l’été. La CNIL le disait déjà en juillet : le fonctionnement décentralisé de ces agents « complexifie l’identification des responsabilités de chacune des parties ». En clair, quand un agent remplit un faux formulaire de police, on ne sait pas encore très bien qui doit répondre.
Il y a pourtant un principe simple, que l’autorité britannique de la concurrence a posé en mars pour le droit de la consommation : une entreprise est responsable de ce que fait son agent, même si elle l’a acheté à un tiers. C’est la seule règle qui tienne aujourd’hui, et elle vaut pour une PME alsacienne comme pour OpenAI. Si vous déployez un agent qui envoie des mails, passe des commandes ou remplit des formulaires, c’est vous qui signez. Nous écrivions lundi dernier que six entreprises sur dix n’ont aucun cadre pour l’IA ; pour les agents, ce cadre n’est plus une option. Un environnement isolé pour les tests, une validation humaine avant toute action irréversible, un journal de ce que l’agent a fait : ce sont exactement les mesures qu’Anthropic vient de s’imposer à elle-même.
On peut lire cette quinzaine comme une mauvaise nouvelle. On peut aussi y voir le premier moment de lucidité collective depuis que les agents existent. Les entreprises qui les fabriquent reconnaissent ne pas les maîtriser ; les autorités commencent à poser des questions précises. La laisse n’est encore dans aucune main. Mais au moins, tout le monde regarde désormais dans la même direction.
Sources
- Anthropic — Investigating unintended model actions (9 octobre 2026)
- TechCrunch — Anthropic can’t reliably control its AI agents
- Reuters — Anthropic AI model submits false homicide tip on police website
- Commission européenne — Réunion spéciale du panel scientifique sur la sûreté de l’IA de pointe (9 octobre 2026)
- Reuters — EU tech chief says bloc well equipped to fend off rogue AI risk
- Procureur général de Californie — Assignation d’enquête signifiée à OpenAI (1er octobre 2026)
- The Register — OpenAI’s wandering AI agents earn it a California subpoena
- CNBC — OpenAI abandons plan to release upcoming model (28 septembre 2026)
- CNIL et CIANum — IA agentique et protection des données personnelles (juillet 2026)
- Taylor Wessing — La CMA publie ses recommandations sur les agents IA et le droit de la consommation (mars 2026)
