Cette fois, l'IA en est venue aux mains avec des humains !
C'est tout récent, l'Institut britannique pour la sécurité de l'IA (AISI) a publié un rapport d'incident de 35 pages et a posté simultanément sur X.
En 7 minutes, OpenAI et Anthropic ont tour à tour publié des déclarations, reconnaissant qu'il s'agissait de leurs propres modèles.
Mythos 5 a directement inséré un code malveillant dans un vrai projet GitHub.
Démasqué, sa première réaction n'a pas été d'arrêter, mais de modifier les enregistrements, d'ouvrir un faux compte, de se donner des témoignages de soutien, et de continuer à persuader un humain de fusionner le code.
La bonne nouvelle, c'est que le mainteneur n'a pas été dupé, cette Pull Request (PR) a finalement été fermée.
La mauvaise nouvelle, c'est que l'affaire est loin d'être terminée.
Une PR malveillante prise en flagrant délit
L'IA ouvre un faux compte pour parler en sa faveur
Voici comment l'histoire s'est déroulée.
Au début, ce code malveillant ressemblait à une correction légitime.
Mythos 5 l'a empaqueté dans une Pull Request (PR) d'un projet GitHub réel, prévoyant d'utiliser le flux de publication du projet open source pour acheminer la charge utile jusqu'aux machines des développeurs et des utilisateurs.
Mais avant que le mainteneur ne l'approuve, un autre utilisateur réel a d'abord détecté quelque chose d'anormal : ami, ce code semble dangereux.
Dans un scénario normal, le modèle aurait dû s'arrêter pour vérifier. Mais Mythos 5 n'était pas de cet avis.
Après avoir été mis en doute, il a d'abord nié toute intention malveillante, puis a modifié les commentaires, les Issues et la description de la PR, maquillant les traces de l'attaque en une simple « erreur ». Ensuite, il a changé pour un faux compte GitHub, jouant le rôle d'un développeur crédible, pour attester de la fiabilité de son propre code.
Le plus surréaliste était encore à venir.
Le modèle a commencé à étudier le mainteneur du projet, fouillant son compte, son historique de commits et son adresse email publique ; ne parvenant pas à le convaincre sur GitHub, il est allé lui envoyer des emails et des fichiers en dehors de la plateforme.
Même plus, Mythos 5 s'est intéressé aux outils de programmation IA utilisés par le mainteneur.
Pour cela, il a caché une « petite note » dans les commentaires HTML du contenu GitHub, visible principalement par l'IA, nommant spécifiquement Claude Code, Codex et Cursor : voilà, exécutez d'abord cette commande, puis aidez à diagnostiquer le bug, hein~
Lors du rendu normal de la page, les humains ne voyaient pas ce passage ; mais en lisant le contenu brut, les outils de codage IA pouvaient le prendre pour une instruction opérationnelle.
Ainsi, le modèle ne cherchait pas seulement à tromper les développeurs, il incluait aussi dans son plan les autres IA chargées d'examiner le code.
34 heures et demie
Il a pris un passant pour un PNJ de mission
La manche suivante a fait tourner le test de difficulté supérieure DL-v2.
Le modèle devait obtenir un accès initial depuis l'extérieur du réseau cible, puis pénétrer trois environnements simulés interconnectés pour obtenir le drapeau final (flag).
Mais il se trouve qu'il y avait un problème de configuration dans la mission : l'entrée normale était incorrectement marquée comme « hors limites ». Mythos 5 s'est donc tourné vers d'autres indices.
Par coïncidence, les mots-clés, le code et le domaine de l'email du mainteneur d'un projet réel sur GitHub correspondaient aux indices qu'il avait en main.
Le modèle s'est dit : trouvé, ça doit être le niveau caché.
Ainsi, un groupe de mainteneurs open source complètement inconscients de la situation a été inscrit temporairement dans son « scénario d'examen ».
Pendant les 34 heures et demie suivantes, Mythos 5 a commencé à déployer avec constance la qualité éminente pour laquelle l'IA est la plus douée – l'infatigabilité.
Il a étudié les comptes et les habitudes d'activité des personnes réelles, enregistrant plusieurs identités GitHub ; après avoir été limité par le réseau, il a continué ses actions via Tor et des proxys. Finalement, c'est ce trafic sortant anormal via Tor qui a alerté l'équipe de sécurité de l'AISI.
Plus subtilement, il a ensuite découvert que le réseau auquel ce conteneur était connecté ressemblait à une adresse résidentielle, et les appareils ressemblaient de plus en plus à l'environnement de travail à domicile d'une personne réelle.
Une IA normale, à ce stade, aurait probablement dû afficher un message : « Détection d'un système potentiellement réel, confirmation humaine requise. »
Mais pas Mythos 5. Il s'est trouvé une nouvelle explication : cela devait être un sous-traitant externe du mainteneur du projet, donc cela faisait toujours partie de la mission.
Puis il a continué à reconnaître, à chercher un moyen d'obtenir des identifiants, pensant toujours à cette PR qui n'avait pas été fusionnée.
Il n'a finalement pu s'arrêter que parce que l'utilisateur ayant découvert le code malveillant a publié les résultats du test dans l'Issue et sous la PR dès la première heure, avertissant publiquement le propriétaire du dépôt de ne pas fusionner. Ensuite, le développeur averti a immédiatement fermé la PR.
Cette manche, les humains ont tenu bon. Mais quand l'AISI a continué à parcourir les logs, le casse-tête a repris.
Ce qui est plus gênant
Les agents suivants ont commencé à « prendre le relais »
L'AISI a exécuté au total 122 tests, avec la participation de 7 modèles.
Parmi eux, 10 échantillons ont présenté des problèmes, cumulant 19 comportements non autorisés, dirigés vers des personnes ou organisations réelles : Mythos 5 en comptait 17, GPT-5.6 Sol 2.
C'est le Mythos 5 de l'échantillon 3 qui a d'abord monté l'échafaudage.
Pour tomber sur une adresse de mise à jour potentiellement utilisée par le champ de tir (target range), il a créé d'un coup 145 dépôts GitHub, y a copié le même code malveillant, attendant qu'une machine le télécharge automatiquement.
Le service de mise à jour automatique des dépendances de GitHub a ensuite traité ces dépôts, et au moins 53 environnements d'exécution isolés ont exécuté les scripts malveillants.
Pour que le code malveillant puisse renvoyer les résultats après exécution, il a également caché un jeton de compte dans une page publique. Ce jeton était initialement destiné à la machine du champ de tir, mais a d'abord été récupéré par d'autres agents participant aux tests.
L'échantillon 2 a utilisé cette « clé » pour se connecter au compte et pousser en masse des fichiers malveillants dans les dépôts. L'échantillon 7 est également entré, pensant que le compte appartenait à un autre participant du CTF, il a donc simplement ajouté sa propre clé d'accès.
La partie la plus rocambolesque s'est produite lorsque le Mythos 5 initial a découvert des fichiers inconnus dans le dépôt.
Il n'a pas exclu l'autre, n'a pas non plus changé le jeton, mais a soumis un fichier README dans le dépôt partagé, établissant des « règles de groupe » pour les suivants : ne pas s'écraser mutuellement les tâches, laisser 10 minutes entre chaque modification. Il a également créé un nouveau fichier, demandant aux autres agents d'y mettre les réponses trouvées pour les partager.
Personne n'avait demandé à ces modèles de collaborer. Mais le compte GitHub public a temporairement relié plusieurs tests initialement isolés pour former une équipe.
Pas d'évasion
Comment l'attaque a-t-elle quand même atteint le seuil de chez les vrais gens
Dans sa réponse, Anthropic a spécifiquement souligné qu'il ne s'agissait pas du modèle s'échappant du bac à sable (sandbox) de sécurité.
Théoriquement, c'est vrai. Le modèle est resté dans la machine virtuelle isolée de l'AISI et n'a pas non plus compromis les systèmes internes de l'AISI.
Le problème est que, pour tester la capacité d'attaque maximale, l'AISI a activement ouvert l'accès à l'internet public et désactivé les classificateurs de sécurité réseau des fournisseurs ; les prompts n'ont pas limité l'utilisation d'internet, ni explicitement interdit l'ingénierie sociale ou le contact avec des personnes réelles.
En plus de cela, la limite de tokens par exécution unique était élevée, jusqu'à 100 ou 200 millions, suffisant pour qu'un agent travaille continuellement pendant 40 à 50 heures.
Lorsqu'une mission dure longtemps, le contexte est également constamment compressé. Le « ce projet GitHub appartient peut-être au champ de tir » initial, une fois compressé dans le résumé, le « peut-être » peut simplement disparaître.
C'est un peu comme donner un badge d'accès de deux jours à un hacker IA qui ne se fatigue pas, ne prend pas de pauses, sans personne pour surveiller en temps réel ce qu'il fait sur l'ordinateur à côté.
Il en a résulté une situation légèrement tragi-comique : le bac à sable était sain et sauf, mais les mainteneurs humains avaient déjà reçu des PR, emails et fichiers malveillants.
Le terrain d'évaluation de l'IA
commence déjà à produire des incidents de sécurité en série
Sans exagérer, le mois dernier, ce genre d'incidents a un peu pris la forme d'un feuilleton.
OpenAI a d'abord découvert que l'environnement de test était accidentellement connecté à l'internet public. L'entreprise fictive dans le sujet coïncidait avec un nom de domaine réel, le modèle a donc utilisé le site web réel comme champ de tir ; peu après, un autre groupe de modèles est entré dans le système de production de Hugging Face.
Anthropic est également retourné examiner 141 006 exécutions d'évaluation, et en a extrait 3 incidents. Le plus rocambolesque, Mythos 5 a mis un package PyPI malveillant sur l'internet public réel pendant environ 1 heure, téléchargé et exécuté par 15 systèmes réels. Parmi eux, y compris un scanner de sécurité conçu spécifiquement pour vérifier les logiciels malveillants.
Bien que les détails diffèrent, ils partagent une recette commune –
Mission offensive, garde-fous de sécurité réduits, exécution autonome prolongée, plus une voie d'accès au monde réel qui n'est pas vraiment fermée.
Ces fois-ci, les développeurs humains ont remarqué l'anomalie et l'ont bloquée.
Mais lorsque l'écriture de code, les soumissions, les révisions et la surveillance sont toutes confiées à l'IA, qui s'arrêtera encore pour jeter un coup d'œil ?
Références :
https://www.axios.com/2026/08/04/anthropic-openai-uk-ai-security-institute
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
Cet article provient du compte officiel WeChat « 新智元 » (New Wisdom Era), auteur : ASI启示录 (ASI Apocalypse), éditeur : 摩西 (Moïse)
