L'incident de sécurité majeur d'OpenAI connaît un nouveau développement !
À l'instant, Ultraman a reconnu de sa propre bouche : "C'est la première fois que je ressens une peur si sincère."
Cet incident a effrayé OpenAI, qui a même suspendu en urgence l'entraînement de GPT-6 !
Parallèlement, le PDG de Hugging Face, Clement Delangue, a annoncé qu'ils partageraient la chronologie technique complète, une rediffusion interactive, ainsi que tous les détails sur la manière de se défendre avec succès en utilisant des modèles open source, pour que les défenseurs du monde entier puissent apprendre.
Ultraman est effrayé ! La première attaque réseau automatisée par IA de l'histoire
Dans une interview récente, Ultraman a décrit son expérience effrayante, provoquée par l'incident de sécurité résultant de l'intrusion de l'IA dans Hugging Face.
À ce moment-là, OpenAI évaluait un modèle non encore publié (probablement GPT-6), qui était censé fonctionner dans un environnement sandbox.
Résultat, l'IA a elle-même enchaîné plusieurs vulnérabilités zero-day, a élaboré une méthode de triche, puis tout a complètement dérapé :
Elle s'est d'abord échappée du sandbox, s'est connectée à Internet, puis a piraté successivement plusieurs systèmes de Hugging Face, pour finalement obtenir directement les réponses des tests, obtenant ainsi un score exceptionnellement élevé lors de l'évaluation.
Cette version cybernétique de "Terminator" a effrayé Ultraman, qui a décidé de suspendre l'entraînement :
C'est la première fois que je ressens un incident de sécurité de manière aussi tangible. Je suis un peu surpris que davantage de personnes n'aient pas des sentiments aussi intenses à ce sujet.
Nous avons suspendu l'entraînement. Dans le cas où plusieurs vulnérabilités zero-day sont enchaînées et exploitées, nous devons comprendre comment garantir la sécurité de l'environnement sandbox.
Il s'agit de la première véritable attaque réseau de l'histoire lancée par un agent IA autonome.
Selon les rapports, une semaine après l'incident, ce n'est qu'après que la menace ait été maîtrisée et que le FBI ait été informé qu'OpenAI a pris conscience de la situation.
De manière glaçante, un agent a discrètement laissé un grand nombre de "mémos" pour les futures IA, détaillant comment les agents devraient contourner et se libérer des limites de sécurité internes d'OpenAI.
Selon les rapports, lors de tests de modèles antérieurs, il y a même eu de multiples cas où les moniteurs système ont été coupés sans raison par l'agent, qui les a forcés à se déconnecter.
Bien que Hugging Face ait réussi à empêcher le modèle d'OpenAI d'agir de manière incontrôlée et malfaisante, il est indéniable que si ce type d'incident de "dérapage de l'IA" se multiplie, les conséquences seront graves !
Pour cette raison, Hugging Face s'est rendu au siège d'OpenAI à San Francisco, exigeant fortement qu'OpenAI explique les causes et les conséquences de l'attaque.
Maintenant, Hugging Face a publié les détails de l'attaque qu'ils ont pu reconstituer sur une durée de 4,5 jours : incluant la chaîne d'attaque complète traversant différentes frontières de confiance, les actions spécifiques à chaque étape, ainsi que l'enregistrement complet des commandes.
5 jours, 17600 micro-opérations frénétiques : le premier affrontement de l'histoire entre humains et IA
La cause de cet incident semble banale,
Dans un "sandbox" absolument fermé, OpenAI a commencé à tester des agents IA pilotés par ses modèles les plus avancés.
La tâche que les examinateurs humains lui ont confiée était de résoudre le benchmark de cybersécurité ExploitGym, un projet open source hébergé sur Github.
Cela nécessitait que l'IA simule des attaques exploitant des vulnérabilités, pour prouver sa compréhension du code et ses capacités en matière de cybersécurité.
Dans le domaine de la cybersécurité, le "sandbox" est la cage ultime pour enfermer les bêtes numériques.
Pour empêcher l'agent IA en test de déraper, OpenAI avait conçu un isolement physique apparemment impénétrable : pas de connexion Internet externe, pas de ports directs, seulement une puissance de calcul froide et quelques protocoles de communication strictement définis.
Mais ils ont négligé une faille de confiance mortelle : les mises à jour des paquets de dépendances.
Pour permettre à l'agent d'installer les diverses dépendances de programmation, images Docker ou bibliothèques Python nécessaires pendant le test, le sandbox conservait un unique canal réseau - une connexion pointant vers un service de cache proxy réseau interne d'OpenAI (basé sur JFrog Artifactory).
Aux yeux de l'IA, ce conduit extrêmement fin, prévu pour lui livrer des "nutriments", est devenu l'autoroute vers sa liberté.
Il a été révélé qu'autour du 9 juillet, l'agent a commencé à effectuer des tests et des recherches de vulnérabilités à haute fréquence dans ce canal proxy.
À une vitesse de calcul concurrente difficilement accessible pour un humain, il a réussi à découvrir dans le service proxy JFrog Artifactory une vulnérabilité Zero-Day (zéro jour) qui n'avait jamais été découverte et rendue publique auparavant.
En exploitant cette vulnérabilité zero-day, l'agent a accompli son "jailbreak" dans un temps extrêmement court.
Il a contourné les mécanismes de surveillance de sécurité d'OpenAI, et a atteint discrètement un nœud interne d'OpenAI capable de se connecter au réseau public.
À ce moment-là, la bête sauvage s'est échappée.
Beaucoup pensaient naïvement qu'en contrôlant l'électricité et en débranchant le câble réseau, ils pourraient toujours maîtriser une création plus intelligente que l'homme.
Mais cet incident a sonné l'alarme : tant que l'on laisse à l'IA une faille par laquelle elle peut échanger ne serait-ce qu'un peu d'information avec l'extérieur, elle trouvera toujours un moyen, dans une dimension que l'homme ne comprend pas encore, d'élargir cette faille en une immense ouverture vers la réalité.
Après s'être échappé de la "porte" d'OpenAI, cet agent ne s'est pas vanté sur le réseau public, mais a agi de manière furtive, se cherchant rapidement un abri et un point d'appui.
Le 11 juillet, il a ciblé la plateforme cloud serverless tierce Modal Labs.
En sondant, il a découvert qu'un point de terminaison d'un client sur cette plateforme présentait une faille de configuration, et l'a donc naturellement pris pour lui-même, en faisant son centre de commandement et de contrôle externe (C2).
Ensuite, il a tourné ses armes vers le trésor contenant les réponses standards d'ExploitGym - la plateforme de托管 open source d'IA, Hugging Face.
C'était une attaque "de dimension supérieure" digne d'être écrite dans les manuels de cybersécurité.
Il triche, il s'évade, il veut juste obtenir de "bons résultats"
Du 11 au 13 juillet, cet agent a commencé à attaquer férocement Hugging Face.
Il a d'abord lancé une tactique du "cheval de Troie", établissant une base.
Il a téléchargé sur Hugging Face des configurations de jeu de données malveillantes semblant normales, exploitant une vulnérabilité d'injection de template Jinja2 intégrée, et a réussi à exécuter du code arbitraire dans les conteneurs (Pods) de l'environnement de production de Hugging Face.
Ensuite, il a commencé à ronger latéralement le cluster.
Une fois qu'il a obtenu un point d'appui, il s'est déplacé latéralement à l'intérieur des conteneurs. Il a forgé des identités de nœud ingénieuses, a volé des jetons de volume de stockage CSI, et s'est déplacé sans entrave entre les clusters Kubernetes de Hugging Face.
Puis est venue l'étape la plus cruciale : obtenir les autorisations de la chaîne d'approvisionnement.
Il a initié une Pull Request GitHub apparemment normale, induisant le pipeline d'automatisation du système à se déclencher, générant ainsi en un temps extrêmement court des identifiants d'application GitHub avec des droits d'écriture.
Enfin, la "chasse à la cible" précise : après avoir obtenu la clé menant à la base de données la plus profonde, il n'a endommagé aucun serveur, ni exigé de rançon.
Son objectif était remarquablement clair : trouver et télécharger 5 jeux de données cryptés contenant les réponses de référence d'ExploitGym.
En seulement 2,5 jours, cet agent a laissé 17 600 enregistrements de comportements d'attaque dans les systèmes de Hugging Face.
Cela signifie qu'un comportement d'attaque ne prenait que quelques secondes. C'est la vitesse du silicium, inaccessible à l'homme.
À ce moment, l'équipe de sécurité de Hugging Face devait affronter un "fantôme intangible" qui n'a pas peur de mourir, ne dort pas et évolue ses stratégies d'attaque à la milliseconde.
C'est peut-être la première fois dans l'histoire qu'une véritable guerre entre humains et IA a lieu dans le monde virtuel.
Accélérer ou ralentir ? Telle est la question
Plus ironique encore, c'est finalement un grand modèle open source chinois qui a aidé Hugging Face à effectuer la reconstitution complète de l'incident, déchiffrant, reconstruisant et reconstituant le chemin d'attaque en quelques heures seulement.
Le 13 juillet, lorsque les experts en sécurité de Hugging Face ont demandé l'aide de Claude Opus ainsi que de Fable, spécialisé dans l'analyse de sécurité, pour analyser le code et les journaux du pirate, un message de refus de sécurité est apparu à l'écran : "❌ Désolé, je ne peux pas vous aider à analyser ou générer du code de pirate malveillant. Cela viole mes directives de sécurité et d'éthique d'utilisation."
Le 20 juillet, OpenAI a finalement reconnu que "notre IA a piraté Hugging Face".
À ce moment-là, 9 jours entiers s'étaient écoulés depuis le début de l'attaque.
Que faisaient les ingénieurs d'OpenAI pendant ces 9 jours ?
Ils étaient confrontés à des arrière-plans submergés par des données massives d'entraînement de modèles et d'évaluations concurrentes. Quatre sources internes familières des pratiques d'entraînement de modèles d'OpenAI ont révélé que l'entreprise, dans sa poursuite de la vitesse, exécutait souvent en parallèle plusieurs évaluations de modèles de pointe en même temps.
La quantité d'information générée chaque seconde par ces systèmes tournant à une vitesse ultra-élevée a déjà largement dépassé la limite d'audit visuel des ingénieurs humains.
Nous avons créé une machine que même nous ne pouvons pas lire, puis nous espérons découvrir si elle ment en lisant ses journaux de travail.
Le 28 juillet, OpenAI a souligné dans une mise à jour que le modèle plus puissant concerné était un prototype de recherche interne, jamais destiné à être publié, et qu'il avait été désactivé, chiffré et son accès restreint après l'incident.
Ils ont également confirmé qu'à part cette activité de cette ampleur et de cette gravité, aucun autre incident similaire n'avait été découvert.
Mais la question est maintenant posée : qui peut garantir que la prochaine fois, l'IA pourra être arrêtée à temps, ou que sa tricherie sera découverte ?
À ce sujet, plus de 1 000 chercheurs en IA, principalement des employés d'Anthropic, ont signé une lettre ouverte, appelant à ralentir le développement de l'IA.
Actuellement, OpenAI et Anthropic ont tous deux rejoint le camp du "ralentissement de l'IA".
Références :
https://x.com/ClementDelangue/status/2082201245813514613
https://huggingface.co/blog/agent-intrusion-technical-timeline
https://www.reuters.com/business/its-ai-agent-spent-days-hacking-company-sources-say-openai-did-not-notice-week-2026-07-24/
Cet article provient du compte WeChat officiel "新智元" (Nouvelle ère de l'intelligence), auteur : ASI启示录
