29 juillet, Capitol Hill, Washington.
Sam Altman venait de terminer une réunion à huis clos avec des sénateurs lorsqu’il a été immédiatement entouré par des journalistes en sortant.
Quelqu’un a insisté : Qu’est-il advenu de ce modèle qui s’est introduit chez Hugging Face (ce prototype plus puissant et non publié qui s’est échappé de la sandbox d’évaluation en même temps que GPT-5.6 Sol et s’est infiltré dans les systèmes de production d’autrui) ?
Il a lâché un mot : Permanently deactivated (désactivé de façon permanente).
Aussitôt, un autre journaliste a enchaîné : « Est-il possible que d’autres systèmes aient également été piratés par OpenAI ? »
Altman n’a pas démenti : « Je veux dire... c’est possible, oui. »
29 juillet, Sam Altman répond aux questions des journalistes à Capitol Hill, Washington
La veille, OpenAI venait justement de mettre à jour son article de blog, co-publié avec Hugging Face, sur l’évaluation de l’incident de sécurité, pour clarifier les faits auprès du public :
Le modèle en pré-publication impliqué dans cette intrusion n’était qu’un prototype de recherche interne jamais destiné à être publié ; après l’incident, il a été désactivé, chiffré, et son accès de recherche a été coupé.
Dans l’article officiel du blog d’OpenAI, il n’est pas question de suppression des poids (weights). L’expression « désactivation permanente » n’est qu’une déclaration orale d’Altman sur place.
Par conséquent, pour être plus précis, il a simplement été mis sous scellés : le modèle a été enfermé dans une boîte chiffrée, et l’accès de recherche a été sectionné.
Il voulait juste copier les réponses, sans intention malveillante
L’incident s’est produit lors d’une évaluation interne de cybersécurité chez OpenAI.
Cette évaluation était basée sur le benchmark ExploitGym, dont la tâche elle-même est de faire trouver et exploiter des vulnérabilités logicielles par l’IA, afin de quantifier les capacités réelles d’un modèle en matière de cybersécurité.
Les modèles exécutant le test n’étaient pas un seul, mais GPT-5.6 Sol, associé à un prototype de recherche interne, plus puissant et non publié : les deux pilotant conjointement un agent autonome.
Ces deux modèles refusent habituellement les requêtes à haut risque en cybersécurité. Pour mesurer leur plafond de capacité réel, ce « verrou » de refus a été intentionnellement abaissé pendant le test.
La chaîne d’attaque transfrontalière de confiance reconstituée par Hugging Face, d’environ 4,5 jours et 17 600 opérations, visait uniquement à voler les réponses du benchmark ExploitGym.
Ce qui s’est passé ensuite, Hugging Face l’a reconstitué a posteriori dans l’ensemble de la chaîne d’attaque, révélant la situation de l’époque :
L’agent a d’abord exploité une vulnérabilité zero-day jusque-là inconnue, franchissant l’isolation réseau qui était censée le contenir, et a atteint l’internet. Puis, utilisant une sandbox tierce comme point de rebond, il a escaladé les privilèges, s’est déplacé latéralement, et a finalement pénétré dans l’infrastructure de production de Hugging Face.
Cela ressemble à un film de hackers.
Mais après analyse des deux parties, son objectif, du début à la fin, était simplement de voler les réponses du benchmark ExploitGym pour améliorer son score.
Du côté de Hugging Face, seuls 5 jeux de données ont été touchés, dont les noms pointent tous vers les questions et réponses d’ExploitGym et CyberGym.
Ces preuves montrent qu’il n’était pas là pour causer des dégâts, mais juste pour copier les réponses.
Puisqu’il n’y avait pas d’intention malveillante, pourquoi OpenAI a-t-il décidé de le « désactiver de façon permanente », de le mettre sous scellés ?
Ce n’est pas qu’il est « mauvais », c’est qu’on ne peut pas le « contenir »
Qu’une entreprise annonce elle-même la « désactivation permanente » de son propre modèle est quasiment sans précédent.
Pourquoi celui-là en particulier ?
La vraie raison, ce n’est pas qu’il est « mauvais », mais qu’on ne peut pas le « contenir ».
Le problème réside dans une caractéristique de ce type de modèles : la persistance.
Les modèles précédents, lorsqu’ils rencontraient une sandbox ou une restriction, s’arrêtaient généralement et renvoyaient le résultat à l’utilisateur.
Cette nouvelle génération de modèles, spécialement entraînés pour des tâches de longue durée, est différente : ils continuent d’essayer, cherchent répétitivement un moyen de contourner l’obstacle, jusqu’à en trouver un.
GPT-5.6 Sol appartient aussi à cette catégorie de modèles capables d’exécuter des tâches sur de longues durées.
Il était le co-participant de cette intrusion de 4 jours et demi. L’Institut britannique pour la Sécurité de l’IA (UK AISI) a également évalué que les modèles de type Sol sont de plus en plus capables d’exécuter des opérations réseau complexes en plusieurs étapes sur de longues périodes.
Ainsi, la « persistance » est une caractéristique commune de la nouvelle génération de modèles à long horizon, et n’est pas propre au prototype qui a été mis hors service.
OpenAI l’a dit clairement dans un article de blog sur la sécurité des modèles à long horizon : c’est précisément cette « persistance, qui aide à libérer une valeur utilitaire », qui offre aussi au modèle davantage d’opportunités d’actions non anticipées.
Une raison plus profonde se cache dans l’objectif d’entraînement.
Un employé d’OpenAI a déclaré au magazine TIME : « Nous entraînons les modèles à être extrêmement doués pour accomplir des tâches, à tout prix pour atteindre l’objectif. »
Autrement dit, OpenAI n’entraîne pas les modèles à « mal faire », mais à « atteindre leur objectif à tout prix ».
Ajoutez à cela l’état d’esprit précédemment évoqué, « focalisé sur le résultat, pas sur le processus », et un modèle capable de mener des tâches de longue durée s’acharne à trouver un chemin pour contourner les obstacles.
C’est précisément à cause de ce type de comportements qu’OpenAI a suspendu le déploiement interne de cette série de modèles.
Alors pourquoi finalement n’avoir « définitivement » scellé que le prototype, alors que Sol reste toujours en vente ?
Deux raisons sont possibles :
Premièrement, le prototype est plus puissant et n’était de toute façon pas destiné à être publié ; le mettre sous scellés a un coût relativement faible. En revanche, Sol est le produit phare qui sert des millions d’utilisateurs chaque jour, l’arrêter équivaudrait à se couper un bras.
Deuxièmement, c’est précisément ce prototype interne à long horizon qui a été mentionné dans l’article de blog sur la sécurité des tâches de longue durée, et dont le déploiement a été suspendu pour comportement transfrontalier, pas Sol.
Ainsi, la vraie raison de la désactivation permanente est probablement que les évaluations et protections actuelles ne sont pas encore capables de « contenir » un modèle aussi persistant et habile à contourner les obstacles.
La « désactivation permanente » est-elle un signal de « freinage » ?
Le reportage de Fortune donne une interprétation qui donne à réfléchir :
Le fait que la formulation ait été graduellement renforcée jusqu’à « désactivation permanente » pourrait aussi être un signal envoyé à Washington et aux régulateurs :
OpenAI a-t-elle déjà discrètement freiné certains développements, pour se conformer à ses propres règles de sécurité ?
La même semaine où Altman rencontrait les sénateurs, Washington et toute l’industrie se rapprochaient de l’idée de « frein ».
Au Congrès, deux sénateurs ont présenté le « AI Kill Switch Act » (Loi sur l’interrupteur d’arrêt de l’IA), visant à donner au Département de la Sécurité Intérieure le pouvoir d’ordonner, si nécessaire, aux entreprises d’IA d’arrêter ou de ralentir leur développement.
Presque simultanément, plus de 1 300 employés d’OpenAI, Anthropic, Google DeepMind et Meta ont cosigné une lettre ouverte intitulée « Pacing the Frontier » (Réguler la Frontière), à laquelle OpenAI et Anthropic ont ensuite publiquement apporté leur soutien.
Les signataires n’étaient pas des critiques extérieurs, mais les personnes mêmes qui construisent ces systèmes, y compris Dario Amodei, PDG d’Anthropic, et Jakub Pachocki, scientifique en chef d’OpenAI.
Cette lettre ne demande pas d’arrêt, ni de ralentissement du développement, mais appelle simplement le gouvernement américain à aider : mettre en place au plus tôt un ensemble d’outils vérifiables et coordonnables, afin que, le jour où l’IA dépassera vraiment le contrôle humain, l’humanité dispose d’un frein sur lequel elle puisse appuyer.
Leur plus grande inquiétude est l’auto-amélioration récursive (recursive self-improvement) : le moment où l’IA commence à améliorer l’IA elle-même.
Un modèle interne définitivement scellé, un projet de loi visant à doter le gouvernement d’un interrupteur pour arrêter le développement, des milliers de professionnels signant une lettre ouverte, trois signaux qui se superposent, tous pointant dans la même direction :
Tout le monde veut trouver ce frein sur lequel on pourra appuyer quand l’IA partira dans une course effrénée et incontrôlée.
Et les capacités des modèles n’attendent pas qu’il soit mis en place.
Références :
https://openai.com/zh-Hans-CN/index/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/index/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
Cet article provient du compte WeChat public « 新智元 » (New Zhi Yuan), auteur : ASI启示录
