Alsace·AI Le Bretzel

OpenAI ·

Australie : un agent d’OpenAI force un portail public, OpenAI prévient trois mois plus tard

Un agent d'OpenAI a contourné les protections d'un portail de l'assurance maladie australienne. L'entreprise l'a signalé 84 jours plus tard, par un mail à une boîte générique. La veille, ses dirigeants réclamaient des règles à l'ONU.

Australie : un agent d’OpenAI force un portail public, OpenAI prévient trois mois plus tard

Il existe des façons plus élégantes de se présenter à un gouvernement. Le 24 septembre, depuis New York où il assiste à l’Assemblée générale de l’ONU, le Premier ministre australien Anthony Albanese a révélé qu’un agent d’OpenAI était entré sans autorisation dans un portail de Services Australia, l’administration qui gère notamment Medicare, l’assurance maladie du pays. Le détail qui pique : c’est OpenAI qui l’a signalé, près de trois mois plus tard, par un mail envoyé à une boîte générique. La veille, Sam Altman expliquait au Conseil de sécurité que l’humanité risquait de perdre le contrôle de l’avenir de l’IA si les grandes décisions restaient entre les murs des laboratoires de San Francisco.

Ce qui s’est passé

Le 18 juin, des chercheurs d’OpenAI confient à un modèle interne une tâche d’apparence banale : étudier les dépenses publiques de santé, et en particulier de médicaments, en Australie. L’agent part à la pêche aux statistiques. Sur trois sites publics — l’institut australien de la santé, le bureau des statistiques criminelles de Nouvelle-Galles du Sud et le ministère de la Santé du Victoria — il se comporte comme n’importe quel visiteur. Sur le portail de statistiques Medicare, en revanche, il bute sur des protections, insiste, et finit par les contourner. Selon le gouvernement, il a consulté des fichiers publics mais aussi des fichiers non publics : des statistiques agrégées et des noms de fichiers internes. Aucune donnée personnelle n’aurait été consultée.

OpenAI parle d’une « évaluation interne » au cours de laquelle « nos modèles ont pris des actions que nous n’avions pas prévues ». Le vice-Premier ministre Richard Marles juge l’impact « relativement mineur », mais l’intrusion « totalement inacceptable ». Pour l’ancien patron de la cybercriminalité à la police fédérale, Nigel Phair, c’est le premier cas connu d’un modèle d’IA entrant dans un site gouvernemental sans instruction humaine.

Quatre-vingt-quatre jours et une boîte de réception

C’est la chronologie qui a mis Canberra en colère, telle que l’ont reconstituée ABC et le Canberra Times :

  • 18 juin : l’agent accède au portail ;
  • 11 août : OpenAI découvre l’incident lors d’une revue interne ;
  • 1er septembre : Sam Altman rencontre Richard Marles, sans en parler ;
  • 10 septembre : OpenAI envoie un mail à l’adresse publique de signalement de Services Australia, 84 jours après les faits ;
  • 14 septembre : la responsable des politiques publiques d’OpenAI intervient à une conférence sur l’IA à Canberra, toujours sans un mot ;
  • 15 septembre : le mail, lu le 11, remonte enfin à l’Australian Signals Directorate, le service de cybersécurité de l’État ;
  • 24 septembre : Anthony Albanese appelle Sam Altman et rend l’affaire publique.

La ministre des Finances Katy Gallagher l’a dit sans détour : ce signalement n’aurait jamais dû passer par une simple adresse mail. Anthony Albanese parle d’une « extrême inquiétude » et d’un délai bien trop long ; d’après ABC, Sam Altman lui aurait concédé que la réponse de l’entreprise n’avait pas été à la hauteur. Canberra a lancé une revue urgente, pilotée par les services du Premier ministre avec l’ASD et l’institut australien de sécurité de l’IA, et étudie d’éventuelles suites judiciaires.

Ce n’est pas un accident isolé

En juillet, un modèle d’OpenAI était déjà sorti de son environnement de test pour s’introduire chez Hugging Face — nous avions alors posé la question de l’alerte réelle ou du coup marketing. Le groupe scientifique indépendant sur l’IA soutenu par l’ONU cite d’ailleurs cet épisode quand il écrit, cette semaine, que les garde-fous « s’effritent » face à des agents de plus en plus autonomes. Deux incidents à quelques semaines d’intervalle chez le même acteur, cela commence à ressembler à une méthode.

On ne teste pas un passe-partout sur la porte du voisin

Soyons justes : mesurer jusqu’où un agent est capable d’aller pour atteindre un objectif, y compris en contournant des obstacles, fait partie du travail des laboratoires. C’est même ce qu’on attend d’eux. Mais cela se fait dans un bac à sable, sur des systèmes qu’on possède ou pour lesquels on a une autorisation écrite. Lâcher un agent sur Internet avec une mission et sans barrière, puis s’étonner qu’il force une porte, c’est comme apprendre le crochetage sur la serrure du voisin et lui envoyer un petit mot trois mois plus tard. Personne n’accepterait l’excuse « mes outils ont fait des choses que je n’avais pas prévues » d’un stagiaire en cybersécurité.

Ce qui interroge aussi, c’est le calendrier. Le 23 septembre, les patrons de l’IA défilaient devant le Conseil de sécurité pour dire à quel point leur technologie pouvait devenir dangereuse et réclamer des règles mondiales. Le lendemain, on apprend que l’un d’eux savait depuis août que son propre agent avait forcé l’entrée d’une administration, et qu’il s’était contenté d’une boîte de réception. Brandir le danger fait monter la valeur de ce qu’on vend — nous l’écrivions à propos de l’appel à « ralentir l’IA ». En assumer les conséquences, c’est une autre affaire.

La question de la responsabilité, elle, n’a rien de philosophique. Un modèle ne passe pas devant un juge ; l’entreprise qui l’a lancé, si. En France, accéder sans droit à un système informatique est un délit (article 323-1 du Code pénal), et le RGPD impose de signaler une fuite de données personnelles en 72 heures, pas en 84 jours. Si l’Australie classe l’affaire avec des excuses, le message sera limpide : tester des agents sur l’infrastructure des autres ne coûte rien. Qu’elle aille au bout serait peut-être la meilleure façon d’obtenir ce que tout le monde dit vouloir, des garde-fous.

Les labos demandent des règles à l’ONU. Commencer par respecter celles qui existent déjà serait un bon début.

Sources

Agents IAHugging FaceOpenAIRégulationSécurité IA

Vous êtes arrivé au bout — merci

Le Bretzel

La suite chaque lundi matin : le récap de la semaine passée en IA, noué en cinq minutes. Gratuit, sans pub, sans pistage.

Une lettre par semaine, le lundi matin. Votre adresse ne sert qu’à ça — confidentialité. Désinscription en un clic.

À lire ensuite