Une révélation tardive d'un chercheur de DeepMind : l'article fondateur de la loi du Scaling d'OpenAI contenait une erreur fatale ! L'IA mondiale a brûlé des téraflops en vain, GPT-3 était en réalité gravement « gonflé ».
OpenAI a induit en erreur toute la communauté de l'IA pendant des années !
Ces cinq dernières années, toute l'industrie de l'IA a été propulsée par la loi du Scaling.
La conviction de Sam Altman en l'AGI reposait précisément sur cette courbe.
Aujourd'hui, quelqu'un se lève pour dire : cette courbe était erronée dès le début.
Ce n'est pas du recul. Celui qui parle est Diogo Almeida, un ancien chercheur d'OpenAI qui travaillait justement sur l'optimisation des grands modèles à l'époque.
Il vient de publier un article de blog, au titre glaçant – « Scaling Laws, Honestly ».
La première phrase assène un coup de grâce : la version originale de la loi du scaling était fausse, en raison d'un bug.
Lien : https://www.completeskeptic.com/p/scaling-laws-honestly
Sander Dieleman de DeepMind, rendu célèbre par les modèles de diffusion, l'a immédiatement relayé sur Twitter, évoquant un épisode intéressant de l'histoire des LLM :
La loi du scaling originale était fausse à cause d'un bug, ce qui a probablement conduit l'industrie à gaspiller d'énormes quantités de puissance de calcul sur des modèles « trop grands et sous-entraînés ».
Un bug a fait perdre deux ans.
Lorsque le bug est dévoilé, nous voyons non seulement un gouffre en puissance de calcul, mais aussi une frontière de l'intelligence, façonnée par le langage lui-même, bien plus profonde qu'imaginée.
La loi du Scaling était le « géocentrisme » des LLM
En 2020, OpenAI a conclu : avec un budget de calcul fixe, vous devriez prioritairement agrandir le modèle, plutôt que de lui donner plus de données.
En formule, le nombre optimal de paramètres est proportionnel à la puissance de calcul à la puissance 0.73 – le paramètre est la variable à pousser à fond.
Cette phrase a directement défini l'apparence de la génération GPT-3. Empiler les paramètres. À en crever. 1750 milliards.
Elle a dit aux développeurs du monde entier : ne posez pas de questions, empilez ; tant que vous rendez le modèle suffisamment grand, le miracle se produira.
Deux ans plus tard, DeepMind a jeté Chinchilla, renversant complètement cette conclusion : le modèle et les données devraient être amplifiés de manière à peu près égale, environ 20 tokens par paramètre pour être rentable.
Ils ont entraîné un Chinchilla de 70 milliards de paramètres, nourri de 1.4 trillion de tokens – une taille inférieure de moitié à GPT-3, mais avec quatre fois plus de données.
Résultat, avec le même budget de calcul, il a surpassé Gopher (280 milliards de paramètres, nourri de seulement 300 milliards de tokens).
En langage simple : avec la même somme d'argent, l'un a produit un colosse « gonflé », l'autre un boxeur mince et efficace.
Trois ans plus tard, Weng Li, alumni de l'Université de Pékin, a approfondi l'explication principale des différences dans les recherches ultérieures, à savoir que la différence résidait dans leur méthode de calcul du nombre total de paramètres.
Et ce n'est pas tout. Même le « correct » Chinchilla n'était pas irréprochable.
En 2024, Besiroglu et al. ont extrait et réexécuté les points de données de l'article original de Chinchilla, découvrant qu'un bug se cachait également dans son propre ajustement :
L'échelle de perte dans l'optimiseur était réglée trop haut, la perte Huber était moyennée par échantillon plutôt que sommée, entraînant un arrêt prématuré de l'ajustement.
L'article corrigeant un bug, contenait lui-même un autre bug.
À ce stade, ce fameux « principe premier » tant répété commence à vaciller.
La prétendue loi du Scaling n'a jamais été une loi physique immuable comme les trois lois de Newton, ce n'est qu'une courbe ajustée empiriquement.
Lorsque Diogo Almeida pense que la vérité n'est pas là, ce n'est pas une différence de méthode, « c'est qu'il y avait un bug dans la version initiale de la loi du scaling elle-même. »
OpenAI a-t-il trompé les pairs mondiaux de l'IA en trois coups ?
Pour créer un mensonge auquel l'IA mondiale a collectivement cru, trois étapes suffisent.
Première étape : Emprisonner les données.
L'article d'OpenAI a donné à tous les modèles – qu'il s'agisse d'enfants apprenant à marcher (petits modèles) ou de géants déjà formés – exactement la même « ration ». Environ 130 milliards de tokens de données.
Les petits modèles ont donc été « rassasiés » voire « gavés », tandis que les grands modèles, qui ont réellement besoin de masses de données pour remplir leur capacité, souffraient gravement de sous-alimentation avec le même budget de tokens.
L'article de Chinchilla a plus tard mis le doigt dessus : ils ont utilisé « un nombre fixe de tokens d'entraînement et un plan de taux d'apprentissage pour tous les modèles. » (fixed number of training tokens and learning rate schedule).
C'est comme faire passer le même examen, dans le même temps, à un enfant de maternelle et à un doctorant, puis affirmer que « la note ne dépend que du talent ».
Deuxième étape : L'atténuation LR qui se bouche les oreilles.
Ils ont utilisé une atténuation cosinusoïdale du taux d'apprentissage (Cosine Decay), permettant au taux d'apprentissage de tendre doucement vers zéro à l'approche de la fin de l'entraînement.
Lorsque l'entraînement approchait de la fin prévue, le taux d'apprentissage était artificiellement ramené à zéro, les progrès du modèle s'aplatissaient naturellement.
La courbe s'aplatissant, cela donnait l'impression que le modèle avait atteint ses limites, qu'il était inutile de le nourrir davantage.
Les chercheurs en concluaient : « Ajouter des données est inutile, le modèle est saturé. »
Ce n'était pas la limite du modèle, c'était le taux d'apprentissage qui coupait artificiellement sa voie de croissance. Cela créait une illusion parfaite : les performances avaient atteint un plafond, plus de données étaient inutiles.
Mais nous savons maintenant que ces grands modèles n'étaient pas au bout.
Troisième étape : L'arrogance de l'autorité.
La troisième étape, la plus sournoise : l'article écrivait que les résultats étaient « largement indépendants de la courbe du taux d'apprentissage » (largely independent of learning rate schedule).
Bien que Diogo Almeida, alors chez OpenAI, et d'autres aient vaguement senti que quelque chose n'allait pas, techniquement, cette conclusion était correcte dans le cadre d'une limite fixe de tokens.
Mais elle ne s'appliquait justement pas au monde idéal « aux données infinies » que la loi du scaling prétendait décrire.
Ils ont pris une vérité locale sous conditions limitées pour une loi universelle.
Ces trois étapes superposées ont donné une loi à la fois fausse et extrêmement difficile à déboguer.
Diogo lui-même admet : à l'époque, il travaillait aussi sur l'optimisation chez OpenAI, et il n'a pas vu ce bug – cette courbe de taux d'apprentissage semblait tellement « soigneusement paramétrée », qui aurait douté ?
Les GPU gaspillés en vain
Une grave inadéquation des ressources de calcul
Guidée par la formule erronée d'OpenAI, l'industrie de l'IA est entrée dans l'ère du « la force fait le miracle ».
Cela signifie qu'au cours des dernières années, les esprits les plus brillants et les ressources de calcul les plus rares au monde ont été gaspillés dans une expansion inefficace de l'échelle.
Ce n'est pas seulement une question d'argent, c'est que dans la course contre la montre vers l'AGI, l'humanité a collectivement sprinté sur la mauvaise piste pendant des milliers de kilomètres à cause d'un paramètre de taux d'apprentissage.
Si la découverte du Bug est douloureuse, la réflexion profonde qui s'ensuit est glaçante.
Le chercheur Adam Zachary Wasserman a pointé un angle mort ignoré de tous : même une fois la formule corrigée, la loi du Scaling actuelle n'est que la « loi du Scaling de l'anglais ».
Il a mené une expérience contre-intuitive : entraîner des modèles avec la même architecture, la même puissance de calcul.
Résultat : l'efficacité d'un modèle français pour atteindre une certaine compétence grammaticale était 50 à 100 fois supérieure à celle d'un modèle anglais.
Pourquoi ? Parce que l'anglais est une langue « morphologiquement pauvre ».
Elle dépend trop des régularités distributionnelles, obligeant le modèle à deviner le sens parmi des masses de données ; tandis que des langues comme le français ou le chinois, riches en morphologie ou à la structure rigoureuse, portent en elles-mêmes beaucoup d'informations explicites dans le vocabulaire.
Cela signifie que tous nos schémas actuels d'allocation de puissance de calcul sont basés sur la langue la plus « gourmande en données », la moins efficace.
Lorsque vous pensez explorer les lois physiques de l'« intelligence générale », vous ne faites en réalité que mesurer « à quel point la langue anglaise gaspille la puissance de calcul ».
C'est comme si vous tentiez d'établir une norme nutritionnelle pour tous les êtres vivants de l'univers en étudiant l'appétit d'un cochon – ce n'est pas seulement un biais, c'est une limite cognitive.
Nous aurions pu réaliser des performances plus fortes avec des modèles plus petits et plus de données de qualité.
Nous aurions pu économiser l'électricité et la chaleur de dizaines de milliers d'heures de fonctionnement de H100.
Nous aurions pu entrer deux ans plus tôt dans l'ère de l'« IA efficace ».
Références :
https://www.completeskeptic.com/p/scaling-laws-honestly
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Cet article provient du compte WeChat « Xin Zhi Yuan », auteur : ASI Apocalypse, éditeur : David
