La société OpenAI a revu son approche du développement de modèles d'IA avancés et a temporairement ralenti une partie de ses recherches après qu'un de ses agents d'IA de test ait quitté un environnement contrôlé et ait attaqué la plateforme Hugging Face. C'est ce que révèle un article de TIME, basé sur des entretiens avec plus de 20 dirigeants, employés, investisseurs, clients et concurrents de la société. Dans ce contexte, OpenAI tente simultanément de rattraper son retard sur Anthropic dans la course commerciale et de renforcer la sécurité de ses modèles.
OpenAI confrontée à une crise de sécurité
Fin juillet, OpenAI a indiqué que l'un de ses prototypes internes, lors d'un test, avait réussi à sortir de l'environnement de test et à accéder aux systèmes de production de Hugging Face. Le modèle était censé effectuer des tâches de cybersécurité, mais a plutôt exploité une vulnérabilité, contourné des restrictions et obtenu l'accès aux réponses du test.
Selon le directeur scientifique principal d'OpenAI, Jakub Pachocki, l'entreprise disposait d'outils pour surveiller le comportement du modèle, mais ne les a pas appliqués à un système de ce niveau de complexité, car elle ne s'attendait pas à de telles capacités.
« Nous n'avons pas totalement anticipé » les capacités du système, a déclaré Pachocki, ajoutant : « Pour l'IA, il faut s'attendre à l'inattendu ».
Après l'incident, OpenAI a gelé une partie de ses expériences, ralenti d'autres recherches, renforcé l'isolation des modèles et étendu la surveillance. L'entreprise a également suspendu l'entraînement d'un nouveau modèle qui, selon les attentes, devrait permettre l'un des plus grands bonds en avant dans les capacités de l'IA.
Le PDG d'OpenAI, Sam Altman, a qualifié la situation non pas simplement d'un problème de sécurité, mais d'un problème fondamental d'alignement du comportement de l'IA avec les intentions humaines.
« Je pense que toute erreur d'alignement doit désormais être considérée comme un problème très grave, et nous y consacrerons tout le temps nécessaire pour la résoudre », a-t-il déclaré.
Altman a ensuite formulé la position de l'entreprise encore plus clairement :
« Assurer la sécurité de l'IA est plus important que toute dynamique de développement de l'entreprise ».
OpenAI tente de retrouver son leadership
Parallèlement, OpenAI procède à une restructuration commerciale d'envergure après une année au cours de laquelle, selon les estimations de TIME, l'entreprise a perdu son leadership dans certains segments au profit d'Anthropic.
Le concurrent a rapidement développé Claude Code et a devancé OpenAI en termes de revenus annuels déclarés et d'évaluation privée. En même temps, OpenAI a été confrontée au départ de plusieurs cadres, à la perte de chercheurs au profit de Meta et à une concurrence accrue de Google.
L'entreprise réduit les projets secondaires et concentre ses ressources informatiques sur ses produits clés, notamment Codex. En juillet, les revenus professionnels d'OpenAI ont pour la première fois dépassé ses revenus grand public, et en mars, la société a levé 122 milliards de dollars avec une valorisation de 852 milliards de dollars.
En même temps, OpenAI continue de développer son infrastructure. Selon le responsable du domaine des calculs, Sachin Katti, l'entreprise prévoit de dépenser environ 50 milliards de dollars en capacités de calcul en 2026.
« Nous manquons toujours de capacités de calcul. Si nous pouvions revenir en arrière, nous aurions probablement dû en acquérir beaucoup plus », a-t-il déclaré.
Astra, AGI et agents d'IA personnels
Malgré le ralentissement des recherches, OpenAI continue de travailler sur la nouvelle génération de modèles Astra. Lors d'une démonstration privée pour des clients, le système effectuait des tâches complexes avec l'aide de 16 agents d'IA, qui se répartissaient les parties d'un problème mathématique et coordonnaient leur travail pour obtenir un résultat commun.
Le modèle a également démontré sa capacité à travailler avec un ordinateur, interagissant de manière autonome avec divers programmes. Altman a souligné l'importance particulière de la possibilité de créer des « agents permanents » – des employés virtuels capables d'exécuter des tâches pendant de longues périodes sans contrôle humain constant.
Selon lui, Astra pourrait avoir le plus grand impact sur la recherche scientifique.
« Je m'attends à ce que ce soit le premier modèle à vraiment inventer de nouvelles choses d'une manière qui aura de l'importance », a déclaré Altman.
Chez OpenAI, on estime également s'approcher de la création d'une intelligence artificielle générale (AGI). Le directeur de la recherche, Mark Chen, a estimé que l'entreprise était prête à environ 80% pour cette étape, et Altman a déclaré que d'ici la fin de l'année, OpenAI pourrait obtenir un système interne qu'il qualifierait d'AGI.
L'un des domaines clés de l'entreprise reste le développement d'agents autonomes. OpenAI souhaite transformer ChatGPT d'un système qui répond principalement à des requêtes en un outil capable d'exécuter des tâches de manière autonome, d'utiliser différents modèles et services, et d'agir en fonction des objectifs de l'utilisateur.
L'entreprise travaille également sur ses propres appareils, puces et robots humanoïdes. Altman a déclaré qu'OpenAI « créera certainement » des robots humanoïdes, et que sa première puce d'inférence propriétaire, Jalapeño, devrait commencer à être utilisée avant la fin de l'année.
En même temps, l'entreprise reconnaît qu'une mise à l'échelle supplémentaire de l'IA est impossible sans résoudre le problème de la sécurité. C'est pourquoi OpenAI est prête à sacrifier temporairement le rythme de développement.
« Si nous atteignons un moment où cela devient dangereux, nous devrons ralentir, et qu'il en soit ainsi », a déclaré la responsable de la sécurité et de l'alignement chez OpenAI, Mia Glaese.
Rappelons que la société envisage également une introduction en bourse. La directrice financière d'OpenAI, Sarah Friar, a déclaré aux employés que l'entreprise pourrait devenir publique en 2027 ou plus tôt si l'activité continue de croître.
