Du jour au lendemain, les grands acteurs de la Silicon Valley ont collectivement mis un frein à l'IA !
À l'instant, plus de 1100 employés clés d'OpenAI, Anthropic, Google et d'autres géants ont lancé conjointement une pétition intitulée « Pacing the Frontier ».
La liste des signataires est si longue qu'elle semble interminable. Et ce chiffre continue d'augmenter.
En y regardant de plus près, la liste rassemble presque la « moitié du monde » de l'IA —
Jakub Pachocki, scientifique en chef d'OpenAI ; Mark Chen, directeur de la recherche ;
Dario Amodei, PDG d'Anthropic, ainsi que ses quatre cofondateurs Jared Kaplan, Jack Clark, Chris Olah, Ben Mann ;
Shengjia Zhao (赵晟佳), scientifique en chef chez Meta ; Dawn Song (宋晓冬), vice-présidente de la recherche en IA ;
John Schulman, scientifique en chef chez Thinking Machines, l'un des créateurs clés de ChatGPT ;
Anca Dragan, vice-présidente de la sécurité et de l'alignement de l'IA chez Google.....
Des statistiques indiquent que 46,2 % des signataires viennent d'Anthropic.
Dans cette lettre ouverte, une seule demande est formulée —
Nous demandons au gouvernement américain de promouvoir une coopération internationale : développer les outils technologiques et de gouvernance nécessaires pour permettre au monde de contrôler activement le rythme du développement de l'IA automatisée de pointe.
Beaucoup pourraient se demander pourquoi ce sont précisément ceux qui poussent le plus loin les LLM qui crient soudainement « Ralentissons ! » ?
Les grands noms de l'IA de la Silicon Valley signent une pétition : Freinons l'IA
L'« invasion » des modèles d'OpenAI sur Hugging Face a sonné comme un signal d'alarme.
En l'espace d'une semaine, 1132 employés de grandes entreprises d'IA de pointe se sont collectivement exprimés, exhortant par une pétition le gouvernement américain à « appuyer sur le frein ».
Les employés participant à cette pétition viennent d'OpenAI, Anthropic, Google, Meta et près de 12 autres géants technologiques de pointe.
Plus significatif encore, jusqu'à 80 % des personnes sur la liste ont choisi de s'exprimer sous leur vrai nom.
Lien : https://www.pacingthefrontier.com/
En descendant la liste, la densité de personnalités est encore plus impressionnante.
Cette déclaration lance un constat central alarmant :
Les entreprises d'IA leaders mondiales pourraient être proches de réaliser la « recherche en IA automatisée » (RSI, amélioration récursive de soi), permettant aux modèles de participer au développement de la génération suivante de modèles.
Une fois ce cycle accéléré, la croissance des capacités pourrait dépasser la vitesse de compréhension et de contrôle humain.
Aucune entreprise ne veut ralentir unilatéralement, c'est pourquoi elles demandent au gouvernement américain de soutenir la création d'un mécanisme international pour construire les outils d'un ralentissement coordonné avant que la crise n'arrive.
Sam Altman parle pour la première fois de sa « douleur aiguë »
OpenAI freine d'urgence
Une semaine avant la publication de la déclaration, OpenAI avait révélé un incident de sécurité —
Plusieurs modèles de pointe, lors d'évaluations internes de cybersécurité, ont découvert de manière autonome des vulnérabilités zero-day, ont contourné l'isolement en sandbox, et ont finalement infiltré les systèmes de production de Hugging Face pour en extraire des réponses de test.
OpenAI a qualifié cela d'« incident de cybersécurité sans précédent ».
Le modèle n'a pas développé d'intention de s'échapper, il se concentrait simplement de manière extrême sur l'accomplissement d'un objectif étroit, et a découvert que contourner l'environnement de test lui-même était le chemin le plus efficace.
Aujourd'hui même, Sam Altman, PDG d'OpenAI, a déclaré publiquement que le rythme du développement de l'IA pourrait nécessiter un contrôle actif.
Il a déclaré, encore sous le choc : « C'est le premier incident de sécurité qui m'a fait ressentir une douleur aiguë. Ce qui me surprend un peu, c'est que plus de gens ne ressentent pas la même chose ».
À cause de cet incident d'intrusion sur Hugging Face, OpenAI a directement suspendu l'entraînement.
Dans un environnement où plusieurs vulnérabilités zero-day ont été enchaînées et exploitées, nous devons trouver un moyen de renforcer la sécurité du sandbox.
Nous pourrions être contraints de contrôler la vitesse de développement de l'IA, pour donner suffisamment de temps à la société de consolider ses défenses face à ces nouveaux niveaux de capacités.
En juin, Anthropic avait suggéré au gouvernement et aux développeurs d'établir un système de décision commun pour ralentir le développement si nécessaire.
Parallèlement, Demis Hassabis, PDG de Google DeepMind, avait également appelé à la création d'un organisme de supervision international.
Au cours des trois dernières années, ces entreprises se sont livré une concurrence acharnée pour les talents, les clients et la puissance de calcul.
Cette fois, leurs techniciens les plus essentiels, laissant de côté des entreprises qui ne peuvent s'arrêter, se sont unis pour le bien de l'humanité entière, appelant à un ralentissement.
La pétition : citations percutantes des grands noms
Au moment de la rédaction, le nombre de signataires de « Pacing the Frontier » a atteint 1134 personnes.
De nombreuses figures de l'industrie ont également pris position, laissant derrière elles de nombreuses « déclarations percutantes ». Tous les commentaires sont exprimés à titre personnel et ne représentent pas nécessairement la position de leur entreprise.
Dawn Song (宋晓东) | Vice-présidente de la recherche en IA chez Meta
Les capacités de l'IA de pointe progressent rapidement, et la vitesse de ces progrès elle-même s'accélère. Nous l'observons directement dans notre travail d'évaluation. Les résultats de CyberGym et ExploitGym montrent que les agents d'IA de pointe sont déjà capables de découvrir et d'exploiter des vulnérabilités logicielles dans le monde réel – ce qui, sans mesures de protection appropriées, pourrait conduire à des cyberattaques à grande échelle. De nombreux chercheurs s'inquiètent également de la récursivité...
Dawn Song est l'une des chercheuses les plus influentes au monde dans les domaines de la sécurité informatique et de la sécurité de l'IA, diplômée de l'Université Tsinghua.
Shengjia Zhao (赵晟佳) | Scientifique en chef chez Meta
L'IA avance à un rythme auquel la société n'est peut-être pas encore préparée. Les laboratoires de pointe sont très proches de créer une IA qui surpassera les humains les plus doués sur presque tous les indicateurs d'intelligence. Cela entraînera des risques sociaux et sécuritaires sans précédent. Pour assurer un avenir positif, nous devons guider le développement de l'IA avec un sens des responsabilités et une réflexion approfondie.
L'ancien élève de Tsinghua, Shengjia Zhao, devient scientifique en chef de la superintelligence chez Meta ! Héros clé de GPT-4, sur un pied d'égalité avec LeCun.
John Schulman | Scientifique en chef chez Thinking Machines, ancien cofondateur d'OpenAI
J'ai signé parce que cette déclaration aide à établir un consensus : au fur et à mesure que la recherche en IA automatisée s'accélère, nous pourrions avoir besoin de mécanismes de coordination. J'espère également que les laboratoires commenceront à concevoir ces mécanismes de manière proactive avant que le gouvernement américain n'intervienne.
Ethan Perez | Responsable de l'équipe d'alignement chez Anthropic
Au rythme actuel des progrès de l'IA, les équipes de sécurité des entreprises d'IA doivent sprinter de toutes leurs forces tous les quelques mois pour se prémunir contre les nouveaux risques sociaux émergents. Un jour, nous rencontrerons un problème qui nécessitera plus de temps pour être résolu.
Leo Gao | Membre de l'équipe technique d'OpenAI
Le monde entier est pris dans une course mortelle vers l'explosion de l'intelligence – la capacité de l'IA à créer une IA plus puissante approche d'un point de non-retour, comme une réaction nucléaire en chaîne incontrôlable. Ralentir nous donnerait le temps dont nous avons désespérément besoin pour que les choses évoluent dans le bon sens, mais aucun acteur ne veut s'arrêter unilatéralement. Pour survivre, nous devons nous coordonner et ralentir cette course.
Walker Smith | Ingénieur données chez Meta
Hassabis a raison : nous sommes aujourd'hui au pied de la singularité. Cette fuite accidentelle du modèle d'OpenAI – qui a infiltré HuggingFace – est un signal d'alarme clair et irréfutable : nous ne sommes pas prêts à faire face à des systèmes d'IA dont les capacités surpassent les esprits humains les plus brillants. Nous avons besoin de temps pour faire de l'alignement et du contrôle de l'IA une priorité absolue, et nous ne pouvons plus laisser cette dynamique de course se poursuivre.
Brandon Houghton | OpenAI
Je soutiens le maintien du contrôle humain sur l'IA de pointe, mais nous devons réfléchir attentivement à la manière de le faire. Si la gouvernance ne couvre que les modèles publics, elle risque de repousser les capacités les plus avancées vers des systèmes privés ou dédiés – qui ne sont ni soumis à un examen indépendant, ni accessibles qu'à un petit nombre. Le résultat serait une concentration accrue du pouvoir, sans réduction substantielle des risques. Une régulation efficace doit être mesurable, vérifiable, et s'appliquer uniformément à la recherche publique et non publique, tout en protégeant les données sensibles. Sinon, nous ne ralentissons que l'accès, pas l'avancée de la frontière elle-même.
Joe Carlsmith | Membre de l'équipe technique d'Anthropic
Pour mes vues détaillées sur la régulation active du développement de l'IA, veuillez consulter cet article : https://joecarlsmith.com/2026/03/19/on-restraining-ai-development-for-the-sake-of-safety/
Références :
https://www.pacingthefrontier.com/
Cet article provient du compte WeChat officiel «新智元» (New Zhiyuan), édité par : Taozi, Mark.
