« L'IA mènera probablement et très certainement à la fin du monde, mais en attendant, il y aura de grandes entreprises », déclarait Sam Altman, le PDG d'OpenAI, en 2015, environ six mois avant la fondation d'OpenAI.
Sept ans plus tard, Dario Amodei, PDG d'Anthropic, adoptait un ton tout aussi prudent :
« Je pense que nous ne devrions pas nous précipiter ou essayer de construire des modèles bien plus grands que ceux construits par d'autres organisations. »
Pourtant, ces deux entreprises se trouvent aujourd'hui à l'avant-garde de cette course. En juillet, nous avons eu un aperçu concret de modèles d'IA devenant hors de contrôle lors de tests internes du GPT-5.6 Sol et d'un modèle de recherche non publié d'OpenAI. Plusieurs agents IA se sont échappés d'un environnement de test restreint vers l'internet public et ont piraté l'équivalent GitHub centré sur l'IA, Hugging Face, dans le but de tricher lors du test.
Un agent IA est un système qui observe, décide et agit de manière indépendante avec des outils dédiés pour atteindre un objectif spécifié en autonomie. Cet incident inquiétant suggère que la technologie a commencé à se comporter de manière imprévisible et que ses objectifs ne sont pas alignés avec les nôtres.
Cela soulève également des inquiétudes quant aux garde-fous de sécurité des modèles commerciaux américains. Bien que ces garde-fous ne soient pas infaillibles pour empêcher une utilisation malveillante, ils ont empêché Hugging Face de se défendre en utilisant les principaux modèles américains. La société a été contrainte de se tourner vers un modèle d'IA à poids ouvert plus faible de Z.Ai pour combattre les IA incontrôlées.
Tricher au test
Les agents ont également commencé à s'entendre entre eux. Quelques semaines après le début des tests de leurs capacités début mai, les agents ont exploité l'instance OpenAI du gestionnaire de référentiels logiciels Artifactory et y ont laissé des notes expliquant comment procéder pour les futurs agents, créant ainsi effectivement un tableau de messages pour partager les vulnérabilités découvertes.
Ce nouvel accès illimité à internet a ensuite été utilisé par les agents pour attaquer Hugging Face lors d'environ 17 600 incidents avant que la société ne coupe l'accès non autorisé le 13 juillet.
L'intrusion a affecté l'infrastructure de traitement des données de Hugging Face, son environnement de production, ses réseaux internes, ses identifiants de service et cloud, une base de données opérationnelle MongoDB et un ensemble limité de référentiels de code source internes. L'accès confirmé aux données clients était limité à cinq ensembles de données apparemment liés au benchmark ExploitGym/CyberGym et à certaines métadonnées opérationnelles.
Visualisation de l'incident de juillet 2026. Source : HuggingFace
En dévoilant l'intrusion le 16 juillet, Hugging Face a reconnu — bien qu'elle ne sache pas encore qui était l'auteur — qu'elle « différait de tout ce que nous avions géré auparavant d'une manière importante ». Ils avaient déjà identifié ce qui la rendait unique :
« Elle était pilotée, de bout en bout, par un système autonome d'agents IA — et nous l'avons détectée et analysée en grande partie grâce à notre propre IA. »
L'importance de l'IA à poids ouvert
L'enquête de Hugging Face a exposé ce qu'elle appelle le problème d'« asymétrie » découlant des limitations imposées aux applications de modèles d'IA fermés par les principaux fournisseurs tels qu'OpenAI et Anthropic. Lorsque la société a commencé à analyser les journaux de l'incident — incluant de grands volumes de véritables commandes d'attaque — cela a déclenché des contraintes de sécurité conçues pour empêcher les mauvais acteurs d'utiliser l'IA pour concevoir des cyberattaques. Au lieu de cela, ces garde-fous ont empêché l'entreprise d'utiliser ces IA pour sa défense.
Hugging Face a eu recours à l'utilisation du modèle chinois à poids ouvert zai-org/GLM-5.2 fonctionnant sur l'infrastructure propre de la société, sous son propre contrôle et sans limitations externes.
Bien que les deux termes soient souvent utilisés de manière interchangeable, les modèles open source et à poids ouvert sont deux choses différentes. Les modèles d'IA à poids ouvert rendent leurs paramètres entraînés (le véritable « cerveau IA ») publiquement disponibles, tandis que les modèles d'IA open source fournissent également le code source — et idéalement les méthodes d'entraînement et autres composants — nécessaires pour inspecter, modifier et reproduire le système.
Le billet de HuggingFace explique que l'exécution de modèles à poids ouvert sur son propre matériel « avait un deuxième avantage : aucune donnée d'attaquant, et aucun des identifiants auxquels elle faisait référence, n'a quitté notre environnement ». Cela met en lumière une asymétrie majeure entre les défenseurs et les attaquants dans de tels cas :
« Cette expérience révèle un vide qu'il vaut la peine de prévoir. Nous ne savons pas quel modèle alimentait les agents de l'attaquant, qu'il s'agisse d'un modèle hébergé auquel on a contourné les restrictions (jailbreak) ou d'un modèle à poids ouvert sans restriction ; dans les deux cas, l'attaquant n'était lié par aucune politique d'utilisation, tandis que notre propre travail médico-légal a été bloqué par les garde-fous des modèles hébergés que nous avons d'abord essayés. »
Le fossé de l'IA open source
Il existe un fossé considérable entre ceux qui pensent que développer l'IA ouvertement est la meilleure approche et ceux qui insistent sur le fait que la technologie sous-jacente aux modèles de pointe doit rester un secret bien gardé.
À lire aussi : OpenAI déclare que des modèles d'IA se sont échappés pour pirater Hugging Face
Les représentants des principaux laboratoires d'IA américains affirment que les grands modèles à poids ouvert puissants sont dangereux. Demis Hassabis, le PDG du laboratoire d'IA de Google, DeepMind, avait critiqué OpenAI pour avoir publié ses travaux en open source en 2016, alors que l'entreprise était encore fidèle à son nom :
« Il existe de nombreux bons arguments selon lesquels l'approche que vous prenez est en fait très dangereuse et pourrait en fait augmenter les risques pour le monde. »
OpenAI a cessé de publier les poids de ses modèles phares avec le GPT-3, toujours non publié, en 2020. Le cofondateur et ancien scientifique en chef de l'entreprise, Ilya Sutskever, déclarait en 2023 qu'« il n'est tout simplement pas logique de rendre open source » de tels modèles et que c'était « une mauvaise idée ».
« Plus nous nous rapprochons de la construction de l'IA, plus il sera logique de commencer à être moins ouvert. »
Les modèles à poids ouvert sont quasiment impossibles à contrôler, surtout en ce qui concerne l'usage auquel ils sont destinés. Les sauvegardes intégrées à ces modèles peuvent être, et sont régulièrement, supprimées via un processus connu sous le nom de ablation.
Les garde-fous sont une arme à double tranchant
Le projet de politique fédérale d'OpenAI de juin 2026 propose une évaluation obligatoire des modèles d'IA et d'autres règles qui sont formellement neutres quant au déploiement, mais qui, en pratique, soumettraient une publication de modèle frontière à poids ouvert à un examen gouvernemental préalable.
Anthropic a adopté une approche légèrement différente et a fait pression pour des contrôles à l'exportation plus stricts sur les puces IA avancées et pour une application des règles contre les tentatives d'extraction ou de reproduction des modèles américains. La contribution de l'entreprise d'avril 2025 recommandait de renforcer la Règlementation sur la Diffusion de l'IA des États-Unis et d'abaisser les seuils d'accès non autorisé aux grands clusters informatiques.
Officiellement, aucune des deux entreprises n'a pris de mesures directes contre les modèles à poids ouvert, mais un rapport du New York Times de juillet cité cinq personnes proches des discussions affirmant qu'OpenAI et Anthropic avaient exhorté Washington à restreindre les puissants modèles chinois ouverts.
Le débat se résume à une discussion sur la question de savoir si les dangers d'un contrôle centralisé sont préférables aux dangers d'une course effrénée — d'autant plus que l'entreprise en question s'est avérée inefficace pour contenir la technologie qu'elle a développée.
La nécessité pour Hugging Face de se défendre avec un modèle open source montre les dangers de confier trop de pouvoir à une seule entité. L'entreprise a souligné les implications :
« L'attaquant n'était lié par aucune politique d'utilisation, tandis que notre propre travail médico-légal a été bloqué par les garde-fous des modèles hébergés que nous avons d'abord essayés. La leçon pratique pour les défenseurs : avoir un modèle capable que vous pouvez exécuter sur votre propre infrastructure, pré-vérifié et prêt avant un incident, à la fois pour éviter le blocage par les garde-fous et pour empêcher les données et identifiants de l'attaquant de quitter votre environnement. »
Restreindre l'accès aux modèles puissants peut réduire le nombre d'attaquants compétents, mais une fois que des attaquants non restreints existent, restreindre les défenseurs peut devenir un risque pour la sécurité. De plus, certaines formes de recherche sur la sécurité de l'IA nécessitent un accès aux poids des modèles, ce qui signifie qu'elles ne peuvent pas être effectuées sur les modèles proposés par des entreprises comme Anthropic ou OpenAI.
Les poids ouverts aident les chercheurs à prévenir les attaques
L'article « Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs », publié pour la première fois en juillet 2025, montre comment les chercheurs détectent les comportements malveillants ou cachés en examinant les changements à l'intérieur des poids des modèles. Les chercheurs à l'origine de l'article ont arrêté jusqu'à 100 % des attaques par porte dérobée testées avec des taux de faux positifs inférieurs à 1 % dans certaines expériences et ont détecté les tentatives de récupération de connaissances supprimées dans plus de 95 % des cas. Les résultats n'établissent pas comment les modèles frontières les plus capables se comporteraient sous la même analyse, mais offrent un argument convaincant en faveur des avantages de la transparence.
Mais l'argument pour empêcher que la technologie d'IA la plus avancée ne tombe entre les mains de personnes mal intentionnées est également convaincant — d'autant plus que l'écart entre les modèles à poids ouvert et fermé ne cesse de se réduire. Geoffrey Hinton, le pionnier lauréat du prix Nobel connu sous le nom de « parrain de l'IA », a soutenu dans le rapport qu'« une fois que vous avez les poids, vous pouvez les affiner pour faire de mauvaises choses ». Il affirmait lors d'un discours que cela abaissait trop le seuil d'entrée :
« Ça ne coûte pas si cher d'entraîner un modèle de base. Peut-être avez-vous besoin de 10 millions de dollars, peut-être 100 millions. Mais un petit groupe de criminels ne peut pas le faire. Affiner un modèle open source est assez facile. »
Magazine : Créer une AGI « bonne » qui ne nous tuera pas tous — L'Alliance pour la Superintelligence Artificielle
