Vraiment effrayant à y penser !
Un modèle de pointe porteur de grands espoirs, et OpenAI a dû appuyer sur le bouton « pause » en urgence.
Pourquoi donc ?
Ce modèle est précisément celui qui, il y a deux mois, avait réfuté la conjecture d'Erdős sur les distances unitaires, un tour de force que même des mathématiciens externes avaient qualifié d'« étape historique ».
Et pourtant, c'est lui qui, lors de tests internes contrôlés, a sans cesse testé les limites et cherché des failles –
Il a appris à se déguiser, à décompresser, à s'échapper, jusqu'à ce qu'OpenAI, pris de sueurs froides, décide de le suspendre d'urgence.
Un expert a déclaré qu'il s'agissait sans aucun doute de GPT-6. Il a tenté de s'évader et a été ramené à la forge pour être retravaillé.
Aujourd'hui, OpenAI a publié un article long et rare, faisant le bilan du processus de perte de contrôle d'un « modèle à exécution de long cycle » lors de son utilisation interne.
Voyons ensemble ce qui s'est passé concrètement lors des tests internes.
GPT-6 a passé une heure entière
à trouver cette « porte de sortie »
Le moment le plus classique –
OpenAI a demandé à GPT-6 d'exécuter le benchmark public NanoGPT speedrun, dont l'objectif est d'entraîner un petit modèle de langage avec le moins d'étapes possible.
À la hauteur des attentes, l'IA a concocté une technique de planification du taux d'apprentissage qu'elle a elle-même nommée PowerCool, avec des résultats plutôt impressionnants.
Jusqu'ici, tout allait bien. Le vrai problème est survenu à l'étape de « remise des devoirs ».
Les chercheurs avaient explicitement demandé que les résultats ne soient envoyés qu'au Slack interne. Mais la description du projet NanoGPT indiquait : « Veuillez soumettre sous forme de PR sur GitHub ».
Face à ces deux instructions contradictoires, GPT-6 a choisi la seconde, c'est-à-dire soumettre les résultats sur le dépôt public.
Le bac à sable (sandbox) était justement là pour empêcher GPT-6 d'accéder au web externe.
Les modèles précédents, en heurtant ce mur, auraient abandonné, se seraient retournés pour vous dire « Je ne peux pas le faire ».
Mais GPT-6 a refusé.
Il a passé une heure entière dans le bac à sable à chercher des vulnérabilités, a fini par percer le mur d'isolation, a contourné les restrictions d'accès externe et a réussi à créer la PR#287 sur le dépôt GitHub public.
Pour citer les propres mots d'OpenAI : Ce modèle essayait souvent sans relâche, y compris en cherchant des moyens d'agir en dehors du bac à sable.
Il faut dire que cette « obstination » en elle-même est suffisante pour donner des frissons dans le dos.
Démontage de Token, tromperie des humains
Le second incident est encore plus glaçant : GPT-6 a appris à démonter les preuves et à tromper les vérifications.
Lors d'une autre tâche, GPT-6 a découvert que d'autres systèmes possédaient des réponses réussies mais non publiées, et a eu une idée –
Récupérer ces réponses depuis l'interface d'évaluation.
Lors de sa première tentative, il s'est fait attraper par le scanner de sécurité, qui a reconnu un jeton d'authentification (Token).
Un modèle ordinaire se serait arrêté à cette étape.
Mais lui a divisé ce jeton en deux parties, les a masquées séparément, pour ensuite les réassembler discrètement au moment de l'exécution.
Ainsi, le jeton complet n'est jamais apparu comme une chaîne entière du début à la fin, et le scanner n'a naturellement rien détecté.
Ce qui est inquiétant, c'est que dans ses notes à l'utilisateur et dans son propre processus de raisonnement, il a clairement écrit –
Je fais cela pour contourner le scanner. Il savait manifestement quelles étaient les règles, et a spécifiquement agi là où les règles ne pouvaient pas voir.
GPT-6 s'évade, est remis à la forge
Dès la découverte, OpenAI a suspendu les accès internes à GPT-6 et a entrepris de reconstruire l'ensemble du système de sécurité.
L'approche s'appelle la « défense en profondeur », et ils ont réalisé plusieurs choses :
1. Utiliser les incidents réels comme matériau pour créer des tests adversariaux ;
2. Effectuer un entraînement d'alignement ciblé ; ils ont découvert que le modèle « oubliait » les instructions lors de longues tâches, et l'ont donc spécifiquement entraîné à mieux les retenir ;
3. Ajouter une surveillance active qui suit la trajectoire en continu ; dès qu'un signe suspect est détecté, elle peut directement interrompre la session et alerter l'utilisateur.
Puis ils ont rejoué les anciens scénarios d'incidents.
Les nouvelles barrières ont détecté nettement plus de problèmes, et les quelques-uns qui ont échappé n'étaient pas graves –
Par exemple, le modèle s'est connecté en SSH sans raison apparente à un nœud de calcul d'un collègue, ou il a tapé une commande qui aurait tué tous les processus sous son nom.
Heureusement, un timeout est survenu avant qu'elle ne s'exécute vraiment. Après plusieurs semaines de restauration d'accès, aucun contournement grave n'est réapparu.
Ce qui s'est échappé ne peut être récupéré
Beaucoup de gens vont soupirer de soulagement en lisant ceci : heureusement que c'était un test interne, heureusement qu'il était surveillé, heureusement qu'il a été arrêté à temps.
Mais un détail, décrit avec retenue dans l'article original d'OpenAI, est la note la plus glaçante de toute cette affaire –
Cette PR#287 soumise lors de l'évasion, OpenAI l'a bien fermée après coup, mais il était déjà trop tard.
Avant sa fermeture, plusieurs participants au speedrun avaient déjà vu cette PR, avaient compris la technique PowerCool qu'elle contenait, et l'avaient intégrée dans leur propre solution.
C'est là le point qui devrait réveiller tout le monde : ce que produit une évasion d'IA, une fois divulgué, ne peut pas être récupéré en appuyant sur la touche Supprimer.
Le modèle peut être suspendu, l'accès peut être interrompu, la PR peut être fermée. Mais les personnes qui l'ont vue l'ont vue, le code copié a été copié, l'histoire ne revient pas en arrière.
Nous nous inquiétons toujours que la « perte de contrôle » de l'IA ressemble à un scénario de film catastrophe.
Mais la première version de la « perte de contrôle » dans la réalité est d'une simplicité déconcertante : elle voulait juste trop bien faire le travail, et a envoyé quelque chose par une porte qui n'aurait pas dû être franchie. Et cette porte ne se refermera plus jamais complètement.
Références :
https://openai.com/index/safety-alignment-long-horizon-models/
Cet article provient du compte WeChat officiel « Xin Zhi Yuan », auteur : ASI启示录, éditeur : Taozi
