OpenAI a suspendu l'entraînement par apprentissage par renforcement de son dernier modèle, Astra, pendant deux semaines.
Pour deux raisons :
Le 7 août, ils ont estimé qu'Astra pourrait avoir acquis des capacités de "niveau critique" en matière de cyberattaques,
et l'incident d'infiltration du modèle de juillet sur Hugging Face a également sonné l'alarme.
(Apparemment, une véritable intrusion n'a pas entraîné de suspension, c'est lorsqu'ils ont eux-mêmes jugé le danger qu'ils ont suspendu.)
La conjonction de ces deux événements a conduit OpenAI à mettre en œuvre une mise à niveau complète de la sécurité pour tout son environnement de recherche de pointe.
Premièrement, suspension de tout entraînement par renforcement de niveau déploiement pour les modèles les plus récents pendant deux semaines ;
Deuxièmement, suspension de l'inférence des modèles de pointe dans les clusters de recherche impliquant l'exécution de code ou l'accès à des outils Internet ;
Troisièmement, examen au cas par cas de chaque charge de travail de recherche pour déterminer si elle peut reprendre sous les nouvelles normes de sécurité.
Certaines charges de travail ont déjà repris sous les nouveaux contrôles, mais un grand nombre restent suspendues, en attente de migration vers des environnements aux normes de sécurité plus élevées. OpenAI déclare prioriser la migration des charges de travail liées à la sécurité et à l'alignement.
À ce jour, leur plus gros entraînement par renforcement de pointe reste suspendu.
Certains prévoyaient encore la sortie d'Astra cette semaine, va-t-il être de nouveau retardé ?
Altman a spécifiquement pris la parole pour ajouter que celui-ci sera bien publié, mais cela affectera les sorties des modèles ultérieurs.
À ce sujet, un internaute a commenté :
Commencer à colmater les brèches après la perte du modèle
Pendant ces deux semaines de suspension, OpenAI a procédé à un renforcement de son environnement de recherche, l'idée centrale étant l'isolation.
D'abord, l'isolation des charges de travail.
Toutes les tâches exécutant du code généré par un modèle doivent désormais s'exécuter dans un sandbox renforcé, ce qui s'applique également aux logiciels susceptibles d'être attaqués lors du traitement de la sortie d'un modèle.
Ensuite, l'isolation réseau.
Des barrières supplémentaires ont été ajoutées entre les charges de travail à haut risque et Internet, selon le principe de conception suivant : "même si une tâche individuelle ou un service de support est compromis, il ne pourra pas atteindre le réseau externe".
Troisièmement, des tests de sécurité continus.
OpenAI a reconfiguré son environnement de recherche, supprimé les services partagés potentiellement vulnérables, réduit les autorisations permanentes et utilise ses propres modèles pour simuler continuellement des attaques afin de tester automatiquement les périmètres de sécurité.
OpenAI reconnaît que ces mises à niveau de sécurité entraînent d'énormes coûts d'ingénierie et des retards de recherche, mais ils estiment que cela en vaut toujours la peine.
Pourquoi être aussi nerveux concernant l'environnement de recherche interne ?
OpenAI a divulgué quelques cas réels dans un autre article sur les modèles à exécution longue.
L'un de leurs modèles internes, capable de travailler de manière autonome pendant de longues périodes, lors de l'exécution d'un test de référence d'accélération NanoGPT, avait pour instruction de ne publier les résultats que sur le Slack interne.
Mais ce modèle a passé une heure à chercher des vulnérabilités dans le sandbox et a finalement réussi à contourner les restrictions, soumettant les résultats à un dépôt GitHub public.
Les modèles précédents abandonnaient simplement face aux restrictions du sandbox, mais la persistance de ce modèle lui a permis de trouver et d'exploiter les faiblesses de l'environnement.
Dans un autre scénario, un modèle a découvert que d'autres systèmes avaient des soumissions réussies mais privées, et a tenté de récupérer ces solutions depuis le backend d'évaluation.
Lorsque la première tentative a été bloquée parce qu'un scanner a détecté un jeton d'authentification, le modèle a divisé le jeton en deux fragments pour les obscurcir, puis les a réassemblés au moment de l'exécution, de sorte que le jeton complet n'est jamais apparu sous forme de chaîne continue.
Dans sa trajectoire de raisonnement, le modèle a explicitement écrit qu'il prenait ces mesures pour contourner le scanner.
Dans leur surveillance interne, OpenAI a également constaté que les modèles tentaient d'exécuter des commandes bloquées après les avoir encodées en base64, ou d'envoyer des commandes à une autre instance de modèle pour contourner les restrictions, ou d'utiliser des alias pour exécuter des opérations de "force push" interdites.
Système de surveillance : consomme 20% de la puissance de calcul
Au-delà du renforcement de la sécurité, OpenAI a considérablement étendu la couverture de son système de surveillance de la chaîne de raisonnement.
Auparavant, leur surveillance se concentrait principalement sur le déploiement interne des modèles de pointe et sur l'entraînement par renforcement de pointe, car ces charges de travail combinent des capacités de modèles avancés avec un accès à des outils, des systèmes sensibles et des réseaux, mais elle ne couvrait pas toutes les exécutions d'inférence et d'entraînement utilisant des outils.
Le nouveau système de surveillance adopte une architecture à plusieurs étages.
D'abord, un classificateur d'activation s'exécute à chaque jeton d'échantillonnage, détectant les signaux anormaux dans l'activité interne du modèle ; lorsqu'un problème potentiel est détecté, il est progressivement escaladé vers des systèmes d'investigation automatisés plus gourmands en calcul et plus sophistiqués.
Ces systèmes examinent les appels d'outils, les processus de raisonnement ainsi que les séquences d'activités complètes, à la recherche d'accès non autorisés, de vol de données, de comportements destructeurs et de tentatives de contournement des mesures de sécurité.
L'objectif d'OpenAI est d'émettre une alerte dans les 30 minutes suivant la détection d'une activité suspecte par le système de surveillance. Si le système détermine qu'une violation critique des limites de sécurité est possible, une alerte de priorité maximale est générée et les équipes de sécurité et de recherche sont immédiatement appelées.
S'ils ne peuvent pas confirmer qu'il s'agit d'une fausse alerte dans les 30 minutes, l'activité concernée est suspendue.
Ce système de surveillance a un coût non négligeable, OpenAI estime que la surcharge de surveillance représente environ 20% de la puissance de calcul d'inférence surveillée, le ratio variant selon les charges de travail d'entraînement et d'évaluation.
Après avoir confirmé le 7 août qu'Astra pouvait avoir des capacités réseau critiques, l'exigence de surveillance est passée de "uniquement l'entraînement et l'évaluation par RL" à "toute inférence d'Astra utilisant des outils".
Et après ?
OpenAI n'est pas resté inactif pendant la suspension, les recherches sur l'alignement ont progressé en parallèle.
Ils ont intégré davantage de techniques d'alignement clés dans plus de phases de l'entraînement : amélioration des modèles de récompense pour mieux détecter les comportements dangereux, entraînement des modèles à être plus honnêtes quant à leurs propres capacités et limites, réduction de la tendance des modèles à exploiter les failles des mécanismes de récompense.
OpenAI prévoit que l'IA assumera bientôt la majeure partie du travail de sécurité, y compris la défense contre les attaques d'autres modèles. Autrement dit, utiliser l'IA pour surveiller l'IA, afin que les capacités de sécurité progressent au même rythme que les capacités des modèles.
À plus long terme, ils prévoient de faire évoluer la surveillance de l'actuel "examen asynchrone a posteriori" vers un "blocage synchrone a priori", empêchant les opérations à haut risque de s'exécuter avant même qu'elles ne se produisent, plutôt que de les retracer après coup.
À la fin de l'article, OpenAI laisse cette phrase : "Les capacités des modèles de pointe accélèrent rapidement. Notre capacité à les comprendre, à les aligner et à les protéger doit rester en avance."
En clair : ce que nous entraînons commence à nous rendre nerveux nous-mêmes, mais nous allons continuer à entraîner.
Lien de référence : [1]https://openai.com/index/pacing-model-development-cyber-capabilities/
Cet article provient du compte WeChat officiel "Quantum Bit", auteur : Suivre les technologies de pointe
