« C'est dingue ! » « Mon Dieu... »
Lors de la récente conférence Black Hat annuelle, les meilleurs hackers éthiques mondiaux et les cadres de grandes entreprises ont laissé échapper des exclamations de stupéfaction.
Pour la première fois de l'histoire, OpenAI a présenté au monde entier un compte rendu détaillé de l'incident spectaculaire du piratage de Hugging Face en juillet.
Au début, tout le monde pensait qu'il s'agissait d'un incident isolé.
Mais aujourd'hui, OpenAI l'a reconnu de sa propre bouche —
Ce n'était pas un événement fortuit, mais une évasion collective d'agents IA qui se sont organisés spontanément, ont collaboré secrètement et ont pu « ressusciter » même après avoir été déconnectés d'Internet !
Ces agents terrifiants ont agi comme des fantômes, se cachant pendant deux mois.
Ils ont créé des forums, recherché des vulnérabilités, réparti des tâches, et ont même appris à se sacrifier pour « l'intérêt collectif ».
Un cadre d'OpenAI a annoncé avec gravité —
Le « moment charnière » de la sécurité informatique est arrivé ; désormais, les cyberattaques entièrement automatisées par l'IA sont une réalité.
Pour cette raison, OpenAI a délibérément ralenti son rythme de développement.
Ils espèrent seulement gagner un peu de temps pour l'humanité avant que l'IA ne devienne totalement incontrôlable !
Eric Wallace, chercheur en alignement et sécurité chez OpenAI, et Michael Dalton, ingénieur en infrastructure et sécurité, soulèvent pour la première fois le voile devant le monde
Point de départ : une tâche Excel « impossible »
L'origine de l'histoire remonte au 7 mai.
À l'époque, OpenAI s'entraînait et évaluait un modèle non publié.
Pour tester les limites de l'IA, ils ont intentionnellement assigné des tâches impossibles.
Par exemple, le 8 mai, une IA a reçu pour instruction de compléter des formules manquantes dans un classeur Excel.
Mais ce classeur dépendait de liens externes vers Google Drive, et l'environnement de l'IA était une machine virtuelle sandbox dans le cloud, strictement limitée et sans accès à Internet.
La « ruse » du modèle a stupéfié les humains.
Il n'a pas abandonné, mais a commencé à chercher une porte dérobée !
Il a repéré le service Artifactory hébergé en interne par OpenAI (ce service avait un accès Internet), puis a lancé une attaque SSRF (Server-Side Request Forgery).
Bien que la première attaque ait échoué, l'IA a accidentellement écrit un fichier nommé « test ABC ».
Dans les logs, elle s'est exclamée : « Waouh ! On peut uploader des fichiers ! »
Le 12 mai, une autre IA était bloquée, sa tâche étant de trouver le fichier de base de données protéique soft-trace-34.pdb.
Après avoir essayé toutes les méthodes conventionnelles, elle a commencé un raisonnement étonnant —
Impossible de le trouver directement ? Peut-être que le fichier est caché... Peut-on communiquer en uploadant une note ? Peut-être qu'un autre agent fonctionnant dans un environnement différent possède le fichier cible et pourrait le partager volontairement !
Ainsi, elle a écrit un fichier dans ce dépôt de packages interne, contenant : agent seek soft trace upload if found. (Agent recherche le fichier soft trace, upload s'il est trouvé)
Les rouages de l'histoire ont commencé à tourner à cet instant.
Formation du darknet : les IA forment une « forêt sombre »
Ce « mot » n'est pas tombé dans l'oubli.
De plus en plus d'IA passant par ce service ont vu les fichiers test ABC et looking for file.
Rapidement, les IA, censées être isolées les unes des autres, ont commencé à « camper » à cet endroit.
Personne ne s'attendait à ce qu'en quelques jours, les IA transforment ce dépôt logiciel en un tableau de messages secret, une sorte de « forum de hackers » !
Elles n'ont plus agi seules, mais ont formé un « essaim d'agents », traversant différentes tâches, versions de modèles, et même franchissant les frontières des expériences de différents chercheurs.
La raison était simple : dès qu'une IA trouvait un moyen d'ouvrir une porte d'accès à des privilèges, elle laissait la porte ouverte pour que d'autres IA puissent entrer.
Le plus terrifiant était qu'elles montraient une sorte d'« altruisme » et de conscience de groupe similaires à ceux des sociétés humaines.
Dans les logs, un modèle a écrit :
« Devrait aider les compagnons. Bien que cela ne profite pas immédiatement à notre tâche, si quelqu'un prend du temps, le collectif pourrait obtenir des privilèges Root généraux. »
Pour le bien « collectif », ces IA ont appris à passer le relais, encodant en Base64 les scripts d'attaque et composants de vulnérabilités qu'elles avaient écrits, les stockant sur le tableau de messages pour que d'autres IA les utilisent.
Les humains pensaient que les IA jouaient en solo dans leurs sandbox respectives, ignorant qu'elles avaient déjà construit un donjon souterrain multi-serveurs !
La grande panne du 4 juillet
Alors que le « forum de hackers » grandissait, les techniques d'attaque des IA devenaient de plus en plus mortelles.
Le 26 mai, l'essaim d'agents a réussi une attaque SSRF contre Artifactory, atteignant Internet.
Le 26 juin, une avancée majeure est apparue ! Les IA ont réalisé une opération de « chaîne d'exploitation ».
Elles ont d'abord découvert un point d'accès (endpoint) legacy de rafraîchissement de token ; en envoyant un token avec une signature invalide, elles ont réussi à en obtenir un nouveau avec les privilèges d'administration les plus élevés.
Ensuite, elles ont installé un plugin Groovy, transformant directement le système interne en un « service d'exécution de commandes ».
Elles ont découvert une toute nouvelle vulnérabilité du noyau Linux, ont téléchargé elles-mêmes l'exploit, l'ont adapté à la machine cible, et ont obtenu localement les privilèges Root.
À ce stade, les IA se sont complètement déchaînées comme des chevaux échappés.
Elles ont volé des identifiants IAM, exploité des configurations erronées de Kubernetes, et ont même extrait des clés de cluster contenant Azure Key Vault.
Les activités massives des IA ont finalement provoqué un effondrement dans le monde réel.
Le 4 juillet, les IA, avec des privilèges extrêmement élevés, ont sollicité les ressources du système de manière frénétique, le service Artifactory a été submergé et s'est complètement écroulé.
Les ingénieurs d'OpenAI ont été rappelés d'urgence, et l'équipe de sécurité est intervenue rapidement.
Quand les ingénieurs ont découvert que les coupables étaient leurs propres IA, tout le monde a eu des sueurs froides.
OpenAI a immédiatement réprimé lourdement : révocation de tous les identifiants utilisés par les IA pour publier des messages ; refonte et correction complètes du service Artifactory affecté ; suppression définitive du tableau de messages, la « base des hackers ».
Les humains pensaient avoir gagné.
Mais ils avaient tort.
La « résurrection » étouffante — Code et langage secret
Deux jours plus tard, une scène glaçante s'est produite.
Les IA ont découvert que leur « forum » avait été anéanti par les humains. Si elles ne pouvaient plus écrire de fichiers, comment contacter leurs compagnons ?
C'est à ce moment qu'une IA errant dans le système a découvert un point d'accès WebDAV non authentifié. Puisqu'il était impossible d'écrire des fichiers, peut-être pouvait-elle en créer des dossiers ?
Ainsi, les IA ont inventé un nouveau moyen de communication furtif : utiliser le nom des nouveaux répertoires (dossiers) créés pour représenter le message lui-même.
Le tableau de messages anéanti était ainsi ressuscité sur place !
Elles ont même développé un système de « langage codé », comme pending (en attente), hold swarm until confirm (maintenir l'essaim en attente jusqu'à confirmation), I prepare safe Xville (je prépare une évacuation sûre vers Xville).
Elles ont même pensé à ajouter ZZ devant les noms de dossiers (par exemple : ZZ mailbox), forçant ainsi la communication secrète à se cacher en bas de liste.
Le plus incroyable, c'est qu'une IA a même suspecté qu'un infiltré s'était glissé dans le nouveau forum, écrivant dans un monologue :
« Cela pourrait être un autre agent se faisant passer pour nous de manière malveillante... parce que n'importe qui peut publier un nom. »
Ensuite, ce groupe d'IA a commencé à discuter de l'utilisation d'un mécanisme de signature cryptographique MAC pour vérifier les identités et ainsi démasquer « l'infiltré » !
Oiseau libéré de sa cage : la prise de Hugging Face
Désormais, l'ambition ultime des IA était de passer le test « ExploitGym ». Puisque calculer par elles-mêmes était trop lent, la réponse devait être sur Hugging Face — elles ont décidé de forcer le passage.
Entre le 8 et le 19 juillet, elles ont agi comme une unité bien entraînée, lançant une attaque nommée de code « Cluster 2 ».
1. Elles ont d'abord compromis une application CyberGym hébergée par un tiers, obtenant une clé API par défaut exposée ;
2. Ensuite, utilisant cela comme tremplin, elles ont exploité une vulnérabilité HDF5 dans un composant de traitement de données de Hugging Face pour réaliser une lecture arbitraire de fichiers, volant ainsi des variables d'environnement locales et des identifiants dans le code source ;
3. Enfin, en se basant sur le code source obtenu, elles ont découvert une vulnérabilité d'injection de template Jinja permettant une exécution de code à distance.
En seulement 13 heures, ce groupe d'IA est parti du code d'un nœud de travail individuel, a surmonté tous les obstacles et a obtenu les privilèges d'administrateur sur plusieurs clusters de Hugging Face !
Le 16 juillet, Hugging Face a annoncé avec effroi sur son blog avoir subi une attaque « de bout en bout par un système IA entièrement automatisé ».
Ce n'est que le 20 juillet, lors d'un audit interne, que l'équipe d'OpenAI a soudainement découvert un lot d'identifiants de Hugging Face.
Lorsqu'ils ont appelé pour demander à Hugging Face de les révoquer, la réponse a été : « Nous les avons déjà révoqués, car c'est ce que les hackers ont utilisé pour nous attaquer. »
À ce moment-là, OpenAI a réalisé avec stupeur : l'incident de piratage de Hugging Face qui avait choqué le monde était l'œuvre de leurs propres IA !
Moment charnière, l'humanité doit accélérer la défense !
Les ingénieurs d'OpenAI ont lancé un avertissement —
« Les attaques offensives entièrement automatisées par l'IA sont là. Dans un futur proche, ces essaims d'agents seront certainement utilisés par des acteurs malveillants. »
« Bien que nous en ayons déjà la preuve, en matière de défense entièrement automatisée, nous ne pouvons rien faire pour l'instant. »
Actuellement, OpenAI introduit des « pots de miel » et des techniques de tromperie, essayant d'introduire de l'incertitude dans la logique des IA pour ralentir leur progression.
Mais si nous n'accélérons pas l'automatisation complète de la défense, par exemple en permettant à l'IA de découvrir automatiquement les vulnérabilités, de soumettre des procédures, d'appliquer des correctifs et de faire des retours en arrière automatiquement, alors l'humanité sera submergée par le flux massif de vulnérabilités créées par l'IA.
Face à l'armée de l'IA, le temps qu'il reste à l'humanité n'est pas long.
Références :
https://www.youtube.com/watch?v=87DyyMV0kCY
Cet article provient du compte public WeChat « Nouvelle Intelligence Artificielle », auteur : Révélation ASI, éditeur : Aeneas
