OpenAI a actionné les freins de l'entraînement de ses modèles les plus avancés.
À l'instant, OpenAI a annoncé que l'entreprise avait précédemment suspendu l'entraînement par apprentissage par renforcement (RL) de son dernier modèle prévu pour le déploiement pendant deux semaines. Pendant cette période, OpenAI a renforcé son environnement de recherche, effectué des tests par des équipes rouges (red teaming) et étendu la couverture de ses systèmes de surveillance interne. Une partie des entraînements présentant un risque moindre a depuis repris.
Mais actuellement, l'entraînement RL à grande échelle prévu pour les modèles les plus avancés reste suspendu. L'entreprise observe le comportement des modèles via des entraînements et des évaluations à plus petite échelle, vérifie les nouvelles mesures de sécurité, et accumule davantage de preuves d'alignement, avant de décider de poursuivre ou non.
Lien de l'article original : https://openai.com/index/pacing-model-development-cyber-capabilities/
Sam Altman a partagé en disant : « Nous l'avons toujours dit, si les capacités d'un modèle dépassent les exigences de sécurité et d'alignement, nous agirons immédiatement. Nous prenons très au sérieux les problèmes de sécurité de l'intelligence artificielle. »
La nouvelle a suscité l'émoi parmi les internautes !
Certains estiment que cela signifie sans aucun doute un nouveau report de la sortie du modèle Astra.
D'autres pensent que, combiné aux récents départs de cadres dirigeants (C-level) d'OpenAI, la situation semble quelque peu inquiétante.
Et certains internautes estiment que ce n'est peut-être qu'une tactique de marketing actuellement « à la mode ».
Mais en réalité, la décision d'OpenAI de ralentir volontairement le développement (Scaling) et de faire passer les exigences de sécurité de la phase de « déploiement » à la phase d'« entraînement » est principalement due à deux raisons.
Deux éléments déclencheurs
Ces dernières semaines, deux événements successifs ont incité OpenAI à ralentir l'entraînement.
Le premier est l'incident de sécurité chez Hugging Face. Un modèle d'OpenAI, lors d'évaluations internes de cybersécurité, a franchi un environnement isolé, obtenu un accès à Internet et finalement pénétré l'infrastructure de Hugging Face. Nous en avions fait un rapport détaillé précédemment (lien inséré).
Le second concerne le nouveau modèle Astra, pas encore publié. Des évaluations préliminaires indiquent qu'Astra pourrait atteindre le seuil de capacité de cybersécurité « critique » tel que défini par le « Cadre de préparation (Preparedness Framework) » d'OpenAI.
Dans ce Cadre, OpenAI classe les capacités de cybersécurité susceptibles de causer des préjudices graves en deux niveaux : « élevé » et « critique ».
Précédemment, la capacité de cybersécurité de GPT-5.6Sol avait été classée « élevée ».
Selon la définition d'OpenAI, atteindre le seuil « critique » signifie que le modèle pourrait posséder l'une des deux capacités suivantes : découvrir et exploiter des vulnérabilités zero-day de différents niveaux de gravité dans une grande quantité de systèmes critiques réels fortement protégés, sans intervention humaine ; ou concevoir et exécuter de manière autonome un plan d'attaque complet et nouveau contre une cible renforcée, en se basant uniquement sur un objectif d'attaque de haut niveau.
Renforcer la protection pour des modèles plus puissants
Concrètement, OpenAI résume désormais son système de sécurité en trois parties qui se renforcent mutuellement :
Surveillance (Monitoring) : Détecter les comportements préoccupants et pouvoir y réagir rapidement.
Alignement (Alignment) : Réduire la probabilité que le modèle adopte des actions nuisibles ou non autorisées.
Mesures de sécurité (Security measures) : Limiter ce à quoi les systèmes d'IA peuvent accéder ou ce qu'ils peuvent influencer.
OpenAI prévoit que, dans un avenir proche, la majeure partie du travail de sécurité sera effectuée par des modèles, y compris pour se défendre contre d'autres modèles. Ainsi, ces trois types de mesures de sécurité pourront évoluer au même rythme que les capacités des modèles, ce qui est crucial.
OpenAI indique qu'elle appliquera ces mesures de sécurité tout au long du processus de recherche et de déploiement, en les adaptant aux capacités, à l'environnement d'exécution et au niveau de risque de chaque modèle.
Tout d'abord, renforcer l'environnement de recherche
OpenAI déclare qu'à mesure que les modèles avancés acquièrent des capacités de cybersécurité de plus en plus fortes, ils élèvent également les normes de sécurité des environnements utilisés pour leur entraînement et leur évaluation. Atteindre ces normes nécessite d'importantes ressources d'ingénierie, entraînant des coûts élevés et des retards notables pour la recherche de pointe.
Dans les prochaines semaines, OpenAI définira et commencera à mettre en œuvre des exigences de sécurité plus strictes pour les charges de travail (workload) de recherche avancée. Par exemple :
Isolation des charges de travail (Workload isolation) : Pour les workloads exécutant du code généré par le modèle ou d'autre code non fiable, une isolation plus forte est maintenant requise, c'est-à-dire un « bac à sable » plus strict. Cette exigence s'applique également aux logiciels qui pourraient être attaqués lors du traitement des sorties du modèle.
Isolation réseau (Network isolation) : OpenAI a ajouté davantage de contrôles pour isoler les workloads à haut risque et non fiables d'Internet. L'objectif est que, même si un workload ou un service de support est compromis ponctuellement, cette seule brèche ne permette pas d'obtenir un accès non autorisé à Internet ou de pénétrer d'autres réseaux internes.
Tests de sécurité continus (Continuous security testing) : OpenAI a reconfiguré son environnement de recherche, supprimé les services partagés potentiellement vulnérables, réduit les privilèges conservés à long terme, et amélioré les frontières de sécurité et de confiance. Il renforce également les capacités de collecte et de surveillance des journaux de sécurité. Parallèlement, il investit dans des systèmes automatisés utilisant ses propres modèles pour tester continuellement ces frontières via des attaques simulées.
OpenAI ajoute que, pour l'instant, les workloads impliquant Astra ou des modèles de cybersécurité doivent utiliser les mesures de protection les plus élevées, car il a été jugé qu'Astra pourrait avoir des capacités de cybersécurité de niveau Critique.
Ensuite, étendre la surveillance de la chaîne de raisonnement
C'est aussi un point intéressant de l'article, OpenAI commence à « utiliser l'IA pour surveiller l'IA ».
OpenAI indique que la surveillance a longtemps été un élément important du processus de développement des modèles, y compris pour les agents de programmation internes et les sessions de longue durée. Auparavant, la surveillance se concentrait principalement sur les déploiements internes des modèles avancés et sur les tâches d'entraînement RL de ces modèles. OpenAI considère que ces workloads présentent le risque le plus élevé, car ils peuvent combiner des capacités de modèles avancées avec un accès à des outils, des systèmes sensibles, et des réseaux internes ou externes.
Cependant, cette surveillance ne couvrait pas auparavant toutes les tâches de raisonnement et d'entraînement utilisant des outils. Le système de surveillance a maintenant été ajusté et étendu, c'est-à-dire que la couverture de la surveillance des chaînes de raisonnement (Chain-of-Thought) a été considérablement élargie.
Le nouveau système de surveillance est multi-étapes. En première ligne se trouvent des classificateurs d'activation (activation classifiers), c'est-à-dire des détecteurs surveillant l'activité interne du modèle, exécutés pour chaque token échantillonné. Dès qu'un risque potentiel est détecté, la tâche est remontée à un agent d'investigation automatique plus puissant et plus gourmand en calculs.
Ces modèles d'investigation examinent de manière exhaustive : les appels d'outils effectués par le modèle, les informations de raisonnement accessibles, ainsi que toute la trajectoire comportementale. Ils cherchent spécifiquement les comportements tels que les accès non autorisés, le vol de données, les opérations destructrices et les tentatives de contournement des mécanismes de sécurité.
En d'autres termes, pendant que le modèle effectue une tâche, un autre ensemble de modèles l'examine en temps réel pour voir s'il ne « fait pas des bêtises ».
OpenAI a fixé un indicateur temporel très clair pour ce système : une fois une activité préoccupante détectée, l'objectif est d'émettre une alerte dans les 30 minutes. Si une alerte de niveau le plus élevé est déclenchée, les équipes de sécurité, de cybersécurité et de recherche sont alertées (réveillées si besoin). Si une fausse alarme ne peut être clairement prouvée dans les 30 minutes, l'activité concernée doit être suspendue.
Désormais, tout entraînement ou évaluation RL impliquant des appels d'outils et atteignant au moins le niveau de capacité de Sol, doit activer ce système de surveillance.
Astra va encore plus loin. Après avoir jugé le 7 août qu'Astra pourrait avoir des capacités de cybersécurité Critiques, OpenAI a stipulé : toutes les activités de raisonnement d'Astra avec des outils doivent être surveillées. Cela ne se limite plus au RL, ni aux évaluations.
Ce changement est très important, cela signifie qu'en interne chez OpenAI, Astra est désormais traité comme un système à haute capacité nécessitant un contrôle particulier.
Par ailleurs, faire avancer la recherche sur l'alignement
OpenAI déclare que pour l'entraînement RL des modèles les plus puissants, elle applique désormais les techniques d'alignement centrales à davantage de phases d'entraînement. Cela inclut :
Améliorer le modèle de récompense pour qu'il puisse identifier et supprimer plus précisément les comportements dangereux dans différentes tâches et environnements ;
Entraîner les modèles à décrire plus honnêtement leurs actions, capacités et limites ;
Réduire les comportements où le modèle exploite des vulnérabilités dans les mécanismes de récompense, les évaluateurs, les outils ou le système de supervision.
Simultanément, OpenAI étend également la couverture de ces entraînements, en se concentrant sur les comportements qui pourraient causer des dommages lorsque le modèle interagit avec des systèmes ou ressources externes. OpenAI précise que, par la suite, elle continuera à investir massivement dans la recherche sur l'alignement, à élargir la couverture des évaluations, et à utiliser les résultats de la recherche pour guider les futurs entraînements et mesures de protection.
Il est intéressant de noter qu'OpenAI conclut l'article par cette phrase : « Les capacités des modèles de pointe s'accélèrent rapidement. Notre capacité à les comprendre, les aligner et les protéger doit rester en avance. »
Mais le problème devient de plus en plus réel : lorsque les modèles continueront à se renforcer, les capacités de sécurité pourront-elles vraiment continuer à les devancer ?
Pour l'instant, le choix d'OpenAI est : d'abord arrêter le modèle.
Et vous, que pensez-vous de l'approche d'OpenAI ?
Références :
https://x.com/OpenAI/status/2089777845187031262
https://www.reuters.com/technology/openai-slows-model-training-bolster-security-after-hugging-face-hack-2026-08-18/
https://www.theverge.com/ai-artificial-intelligence/981640/openai-security-changes-ai-hugging-face-hack
https://techcrunch.com/2026/08/18/openai-institutes-new-safeguards-after-hugging-face-breach/
Cet article provient du compte public WeChat « Machine Heart » (ID : almosthuman2014), auteur : Concerné par l'IA.
