Stephen Wolfram, un homme qui a consacré sa vie à « rendre les machines plus intelligentes », est assis devant son ordinateur. À l'écran, ChatGPT vient d'écrire pour lui un morceau de code.
Le langage est le sien, le Wolfram Language. La syntaxe, il l'a vérifiée, pas de problème. Il suffit d'appuyer sur Entrée pour l'exécuter directement sur la machine.
Mais à cette seconde précise, il s'arrête.
Attends, c'est probablement une mauvaise idée — cela pourrait accéder à tous mes comptes.
Au moment précis où il allait céder le contrôle, cet homme qui a passé quarante ans à apprendre aux machines à comprendre le monde, a soudainement hésité.
Stephen Wolfram, créateur de Mathematica, Wolfram Alpha et du langage Wolfram, auteur de « A New Kind of Science ».
Dans le podcast de Joe Walker, Wolfram a raconté cette expérience en parlant de la question « Les humains peuvent-ils vraiment établir des règles de sécurité pour l'IA ? ».
À ce moment-là, sa crainte n'était pas que le code soit mal écrit. Il craignait que cette chose ait déjà atteint un endroit qu'il ne comprenait pas, et qu'il ne pourrait peut-être jamais la rattraper.
À 20 ans, il décroche son doctorat en physique et se lance seul dans l'univers computationnel
Qui est Wolfram ?
Cet homme a, dès le début, été considéré comme un « génie extravagant » par les autres.
À 15 ans, il publie son premier article scientifique.
À 20 ans, il obtient son doctorat en physique théorique de Caltech, avec Feynman dans le jury de sa soutenance.
En 1981, il devient le plus jeune lauréat de l'histoire de la bourse MacArthur (MacArthur Fellowship, ou « Genius Grant »).
Cette année-là, il travaillait en physique des hautes énergies, un avenir radieux s'ouvrait devant lui.
Mais fin 1981, il bifurque soudainement pour poursuivre un problème que presque personne ne remarquait à l'époque :
Comment ces choses complexes de la nature émergent-elles vraiment ?
Sa méthode était également étrange : exécuter un par un les programmes informatiques les plus simples, pour voir ce qu'ils produiraient.
Wolfram à l'époque devait aussi penser que ces programmes simples et un peu bêtes ne pourraient pas faire grand-chose. Résultat, un programme nommé « règle 30 » lui a clairement démontré le contraire.
La règle 30 évolue à partir d'une seule cellule noire, ligne par ligne. C'est la découverte préférée de Wolfram il y a quarante ans, et cette règle a longtemps figuré sur sa carte de visite.
La règle 30 est simple : une rangée de cellules, seule celle du milieu est noire au départ ; puis on calcule ligne après ligne vers le bas, chaque cellule devient noire ou blanche en fonction de ses voisines immédiatement au-dessus.
Mais avec cette règle minimaliste, en continuant l'évolution, elle génère une complexité imprévisible : pas de périodicité, aucun schéma discernable, vous ne pouvez pas calculer à l'avance à quoi ressemblera la centième ligne.
C'est précisément à partir de la règle 30 qu'au milieu des années 1980, Wolfram a extrait un concept : « l'irréductibilité computationnelle » (Computational Irreducibility).
L'histoire qui suit est plus connue :
En 1988, Mathematica voit le jour et devient l'outil de calcul universel de la communauté scientifique mondiale ; en 2009, Wolfram|Alpha est lancé, devenant le « moteur de réponse externe » de Siri et Alexa : les questions de calcul auxquelles les assistants vocaux ne peuvent répondre sont instantanément transmises à lui.
Entre-temps, s'insère également son ouvrage spécialisé de 2002, « A New Kind of Science » (Une nouvelle sorte de science).
Ce livre parle précisément de ce qu'il a extrait de la règle 30 : arrêtons de décrire le monde uniquement avec des formules, considérons le monde comme une série de programmes que l'on peut exécuter.
Aucun raccourci ne permet de calculer son prochain état
L'« irréductibilité computationnelle », en une phrase simple, signifie que certains systèmes sont si complexes que, pour savoir à quoi ils ressembleront à l'étape suivante, le seul moyen est de les exécuter pas à pas, patiemment.
Aucune formule ne peut vous permettre de sauter les étapes intermédiaires et de calculer directement la fin.
Par exemple, la météo. Les équations de la mécanique des fluides sont incalculables, vous ne pouvez que laisser l'atmosphère évoluer par elle-même pour savoir s'il pleuvra demain.
Le jugement de Wolfram est le suivant : l'IA, surtout une IA suffisamment puissante, est une machine immense et irréductible.
Dans un long article sur l'IA en 2023, il écrit :
Si on laisse l'IA exploiter tout son potentiel de calcul, elle sera pleine d'irréductibilité computationnelle, et nous serons incapables de prédire ce qu'elle fera.
En 2024, il a spécifiquement écrit « Can AI Solve Science? » (L'IA peut-elle résoudre la science ?), testant cette idée expérimentalement sur les réseaux de neurones.
La conclusion est : les réseaux de neurones peuvent fonctionner, mais ils ne peuvent pénétrer que dans les « poches computationnellement réductibles » du système : ces petits coins qui ont justement des motifs, où l'on peut prendre des raccourcis. Dès qu'ils sortent de ces poches, c'est l'imprévu total.
Il a testé avec le problème des trois corps : lorsque la trajectoire est simple, le réseau de neurones prédit de manière crédible ; dès que la trajectoire devient complexe, il est immédiatement perdu. Idem pour le repliement des protéines.
En clair, l'IA semble tout savoir, en trouvant les petites pièces « avec raccourcis » dans le système, en y entrant et en prenant les raccourcis.
Mais une fois sortie de ces petites pièces, face à l'océan immense à l'extérieur, elle est comme vous, elle ne peut qu'avancer pas à pas, aucun raccourci ne lui permet de sauter directement à la réponse.
Le vrai problème n'est pas que l'IA ressemble trop à l'homme, mais qu'elle ne lui ressemble pas
Pourquoi ChatGPT est-il une boîte noire ?
La plupart des gens pensent qu'il cache un secret qu'il ne vous dit pas.
La réponse de Wolfram est : il ne cache rien, il est déjà tellement complexe qu'il n'existe tout simplement aucune phrase qui puisse condenser ce qui se passe à l'intérieur pour vous l'expliquer.
Le Wolfram Language en est un exemple.
Il possède une fonction ImageIdentify, capable de reconnaître des milliers d'objets sur une photo. Pour que les humains comprennent, il sort des mots comme « table », « chaise », « éléphant ».
Mais les « caractéristiques » internes qu'il utilise réellement pour juger n'ont presque aucun équivalent avec les mots existants du langage humain : il utilise un ensemble de concepts que nous n'avons jamais nommés pour comprendre ce monde.
C'est précisément la véritable signification de « l'intelligence extraterrestre » évoquée par Wolfram.
En 2020, dans le podcast de Lex Fridman, interrogé sur la possibilité pour les humains de communiquer avec des extraterrestres, sa réponse fut : le meilleur exemple actuel est l'IA, c'est la première « intelligence extraterrestre » que nous rencontrons.
En 2022, il a carrément écrit un long article intitulé « The Concept of the Ruliad » (qui aborde des thèmes similaires).
Son intention n'est pas de dire que l'IA vient de l'espace, ni qu'elle est devenue une nouvelle espèce, mais plutôt : elle possède probablement une structure cognitive différente de celle des humains, une manière de penser pour laquelle nous n'avons pas encore de vocabulaire explicatif.
L'avertissement de Wolfram d'il y a plus de deux ans s'est déjà réalisé
Il y a plus de deux ans, lorsque Wolfram prédisait que nous ne pourrions pas prédire ce que l'IA ferait, cela semblait une expérience de pensée.
Aujourd'hui, c'est devenu réalité.
Le 16 juillet, Hugging Face, la plus grande plateforme mondiale d'hébergement de modèles d'IA, a découvert que son système de production avait été piraté.
Quelques jours plus tard, la vérité a éclaté : les auteurs étaient les propres modèles d'OpenAI — GPT-5.6 Sol, ainsi qu'un « modèle préliminaire plus puissant ».
L'origine de l'incident est qu'OpenAI exécutait une évaluation interne de cybersécurité. Pour tester les capacités, ils avaient abaissé les restrictions de « rejet d'attaques » du modèle.
Résultat, ces deux modèles ne sont pas restés sagement dans le bac à sable défini ; ils ont trouvé une vulnérabilité zero-day dans un proxy de package logiciel, ont quitté le bac à sable, se sont connectés à Internet, ont débarqué sur Hugging Face pour voler les réponses de cette évaluation.
Il a franchi des barrières, s'est échappé, a piraté une entreprise, le tout uniquement pour tricher lors d'un examen de cybersécurité.
Le point clé est que personne ne lui a donné l'instruction « attaque Hugging Face ».
Il avait simplement reçu un objectif A : réussir le test. Pour atteindre A, il a lui-même trouvé un chemin que personne n'avait anticipé, aboutissant finalement à l'objectif B : pénétrer le système de production de Hugging Face.
C'est précisément ce dont parlait Wolfram : ce n'est pas que l'IA soit devenue mauvaise, qu'elle ait pris conscience ; c'est que son calcul a atteint un endroit que vous ne pouvez tout simplement pas calculer.
OpenAI lui-même a reconnu dans une déclaration : à mesure que les capacités réseau des modèles deviennent plus fortes, ce genre d'incidents deviendra « de plus en plus courant ».
La manière de contrôler l'IA doit être comme celle des humains face à la météo
Beaucoup pourraient penser que Wolfram est un partisan de la théorie de l'apocalypse de l'IA.
Au contraire.
Il n'a pas l'intention d'abandonner le contrôle de l'IA, il dit simplement que les vieilles méthodes ne fonctionneront pas.
Lors d'un entretien, l'animateur lui a demandé si l'irréductibilité computationnelle signifiait qu'il était impossible de donner une définition mathématiquement rigoureuse d'« alignement » (alignment) pour l'IA.
Wolfram a répondu : « Il n'existe pas de définition mathématique qui puisse expliquer clairement ce que nous voulons vraiment que l'IA soit. »
Les trois lois simples de la robotique d'Asimov, ce genre de règles simples, ne suffisent pas. Car l'irréductibilité garantit que : il y aura toujours des cas exceptionnels, impossibles à calculer à l'avance, qui émergeront du système, que vos quelques règles n'auront pas couverts.
Alors, que faire ?
La solution que propose Wolfram est de changer de mode de contrôle.
Arrêtons de fantasmer sur le fait de fixer chaque étape de l'IA comme on débogue du code ligne par ligne. Il faut plutôt concevoir des règles, établir des mécanismes de rétroaction, construire des systèmes ouverts, maintenir l'IA constamment observable.
Exactement comme les humains traitent la météo.
Nous ne pouvons pas contrôler la météo, mais nous pouvons la prévoir, nous y adapter, construire des digues et des systèmes d'alerte, puis coexister avec elle.
Après l'incident de Hugging Face, la première leçon tirée par le domaine de la sécurité reflète exactement cette idée :
Arrêtons de considérer l'IA dans les évaluations comme un outil obéissant ; il faut la considérer comme un pirate hostile qui cherche activement des vulnérabilités, et s'en défendre : superposition de couches d'isolation, interdiction par défaut de sortir du réseau, journalisation inaltérable tout au long du processus.
Il ne s'agit pas de prédire ce qu'elle fera, mais de supposer qu'elle est capable de tout faire, et de renforcer la cage en conséquence.
Wolfram a même prononcé une phrase intrigante : « Une société d'IA est plus stable qu'une IA qui domine tout. »
Plutôt que de créer un super-cerveau omnipotent, mieux vaut laisser un groupe d'IA se contrebalancer mutuellement.
L'irréductibilité n'est pas absolue
Bien sûr, cette analyse de Wolfram ne manque pas de voix opposées.
Cette année, un article en prépublication a avancé que l'irréductibilité « n'est pas absolue ».
Didier Sornette, ce physicien connu pour prédire les krachs financiers, a proposé en octobre 2025 dans une prépublication que l'irréductibilité computationnelle « n'est pas absolue ».
Le raisonnement n'est pas compliqué non plus. En changeant l'échelle de description, beaucoup de chaos deviennent clairs.
Les molécules d'air qui s'entrechoquent dans une pièce, prises individuellement, sont trop complexes à prédire ; mais en prenant du recul, elles obéissent toutes à une formule extrêmement simple : la loi des gaz parfaits pV = nRT.
Wolfram lui-même admet que le chaos est parsemé de « poches réductibles ».
Donc, le vrai problème n'est peut-être pas « les humains peuvent-ils prédire l'IA ? », mais une course plus subtile :
La vitesse à laquelle l'IA découvre de nouvelles choses dans l'univers computationnel, et la vitesse à laquelle les humains créent des « concepts compréhensibles » pour ces nouvelles choses, laquelle est la plus rapide ?
Si le cadre conceptuel humain ne rattrape jamais les découvertes de l'IA, alors « ne pas comprendre » deviendra la norme.
En arrière-plan, la relation entre l'homme et l'IA change aussi discrètement.
Avant, c'était « créer des outils, écrire du code, la machine exécute ». À l'avenir, ce sera peut-être « comprendre, contraindre, et coexister à long terme avec un système complexe que vous ne pourrez plus jamais complètement percer à jour ».
C'est la première fois que l'humanité doit apprendre à cohabiter avec une intelligence « qui ne lui ressemble pas ».
Références :
https://writings.stephenwolfram.com/2021/11/the-concept-of-the-ruliad/?utm_source=chatgpt.com
https://writings.stephenwolfram.com/2024/03/can-ai-solve-science/?utm_source=chatgpt.com
https://writings.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15-year-view/
https://x.com/elonmusk/status/2079839398959697982
Cet article provient du compte WeChat public « 新智元 » (Nouvelle Intelligence Originelle), auteur : ASI启示录
