L'algorithme qui entraîne toutes les IA, condamné à mort par l'IA elle-même ?
Très récemment, deux chercheurs de l'Université Tsinghua et de la Wharton School de l'Université de Pennsylvanie ont publié un nouvel article, apportant une conclusion attendue depuis 40 ans dans le domaine de la théorie de l'optimisation—
Pour que la descente de gradient atteigne sa vitesse maximale, ajuster uniquement le pas d'apprentissage ne suffit pas.
C'est la première fois dans l'histoire qu'il est prouvé que, pour la descente de gradient, il existe un plafond mathématique infranchissable par la seule conception d'une séquence de pas d'apprentissage.
Et ce qui a réalisé la preuve centrale n'est pas un humain, c'est GPT-5.6 Sol Pro.
GPT-5.6 résout un problème sans réponse depuis 40 ans
Voici comment cela s'est passé.
Tout le monde connaît la descente de gradient, c'est ce qui fait tourner tout, de GPT à Stable Diffusion en passant par la conduite autonome. La vitesse de convergence standard de la descente de gradient est O(1/T), après T étapes, l'erreur est réduite à un ordre de grandeur d'environ 1/T.
En 1983, Nesterov a ajouté de la quantité de mouvement à la descente de gradient, la poussant directement à O(1/T2). Pour les mêmes 1000 étapes, l'erreur passe d'un millième à un millionième, soit une différence de trois ordres de grandeur. Elle reste encore théoriquement optimale aujourd'hui.
Une question naturelle se pose alors : sans quantité de mouvement, sans modifier la structure, seulement en concevant soigneusement la taille du pas à chaque étape, peut-on rattraper Nesterov ?
Cette question est restée en suspens pendant 40 ans. Jusqu'en 2023, Altschuler et Parrilo du MIT ont mis au point le silver stepsize.
Cette séquence de pas n'est pas traditionnellement décroissante, mais alterne entre grandes et petites valeurs, présentant une structure fractale auto-similaire. Grâce à elle, la descente de gradient a été poussée à O(T^{-1.2716}).
Alors, ce 1.2716 est-il la limite ultime du simple ajustement des pas, ou juste un point de départ ?
Récemment, un duo mentor-élève chinois a relevé ce défi.
Jianhao Ma vient de rejoindre le Département de génie industriel de l'Université Tsinghua en juillet, docteur de l'Université du Michigan, il a obtenu son poste académique après un postdoctorat à l'Université de Pennsylvanie.
Son mentor postdoctoral, Yuxin Chen, est professeur titulaire d'une chaire à la Wharton School, docteur de Stanford, ayant quitté Princeton pour Penn, et lauréat du prix SIAM du meilleur article.
Auparavant, tout le monde faisait des ajouts, concevant des séquences de pas plus intelligentes pour voir à quel point la vitesse pouvait être augmentée.
L'idée de Ma et Chen était plutôt de prouver qu'il existe une ligne qu'aucune conception de pas, aussi ingénieuse soit-elle, ne peut franchir.
Trouver une bonne séquence de pas, il suffit d'un exemple réussi. Mais prouver qu'« aucune séquence de pas possible ne peut y arriver », c'est dire « non » à une infinité de possibilités.
Après y avoir réfléchi un moment, les deux ont directement soumis le problème à GPT-5.6 Sol Pro, laissant l'IA essayer.
Concrètement, ils ont donné deux choses à GPT.
Un objectif de recherche : prouver qu'un simple ajustement des pas ne peut atteindre O(1/T2). Et une stratégie de haut niveau appelée « resisting oracle » (oracle résistant).
Son principe est de construire d'abord une trajectoire antagoniste qui ralentit au maximum la descente de gradient, puis de trouver une vraie fonction convexe lisse telle que le chemin suivi par la descente de gradient sur cette fonction soit précisément cette voie lente.
Une fois la direction fixée, GPT-5.6 Sol Pro s'est mis au travail.
La solution centrale qu'il a finalement proposée est une construction géométrique.
Étant donnée une séquence de pas non négatifs arbitraire, sélectionnez d'abord les « pas longs », c'est-à-dire les pas dont la taille dépasse la valeur de sécurité standard 1/L. Puis, placez un ensemble de points d'ancrage mutuellement perpendiculaires dans un espace de haute dimension, chaque pas long correspondant à un point.
La descente de gradient est forcée de se déplacer dans la même direction entre deux pas longs, et saute à une direction totalement perpendiculaire lorsqu'elle rencontre un pas long. La trajectoire entière est précisément réalisée par une fonction convexe lisse appelée enveloppe de Moreau, strictement équivalente.
La clé de cette construction est qu'elle est taillée sur mesure pour votre séquence de pas. Quelle que soit votre conception des pas, elle peut créer une fonction correspondante qui vous bloque.
Mais la preuve n'est pas terminée ici.
La borne inférieure finale ne peut pas dépendre de l'ordre d'apparition des pas longs, sinon la même séquence de pas avec un réarrangement pourrait y échapper.
GPT-5.6 a trouvé une autre astuce de correspondance : trier les pas longs par taille, construire un chemin, le diviser en deux groupes pair et impair correspondants, éliminant ainsi complètement la dépendance temporelle. Puis introduire une fonction de Lyapunov pour contrôler la croissance globale, combinée à un argument de troncature, pour agréger les contraintes locales en une borne inférieure globale.
Cet argumentaire s'est formé de manière complète après que Ma et Chen aient interagi à plusieurs reprises avec GPT-5.6 Sol Pro, pointant les imperfections dans le raisonnement, GPT les corrigeant et poursuivant, à travers de multiples itérations.
Selon les propres mots de Ma, aucun composant mathématique non trivial dans la preuve centrale ne provient d'un humain.
Dans l'ensemble de la preuve, il y a un paramètre clé, soumis simultanément à deux contraintes : la limite de correspondance donne une borne inférieure, le contrôle de croissance donne une borne supérieure.
Lorsque l'exposant de convergence p diminue, les deux contraintes se resserrent. À p = √(2+√3) ≈ 1.9319, les deux lignes se rejoignent, l'espace de manœuvre du paramètre s'annule. Pousser plus bas, la preuve devient impossible.
La conclusion finale donnée par GPT-5.6 Sol Pro est que, pour toute séquence de pas non négatifs prédéterminée, la borne inférieure du taux de convergence de la descente de gradient est Ω(T^{-1.9319}).
La descente de gradient avec simple ajustement des pas, quelle que soit l'ingéniosité de la séquence de pas conçue, ne pourra jamais dépasser cette ligne.
En d'autres termes, pour obtenir la vitesse de convergence la plus rapide, il faut modifier la structure de l'algorithme.
Vérification finale par Lean 4 : zéro sorry, zéro admit
Une preuve écrite par une IA, comment s'assurer que ce n'est pas une hallucination ?
Ma et Chen ont utilisé l'outil de vérification le plus rigoureux des mathématiques : l'assistant de preuve Lean 4.
Ils ont utilisé Codex pour transcrire progressivement la preuve en langage naturel de GPT-5.6 Sol Pro en code Lean 4.
Ce système de vérification formelle vérifie chaque étape du raisonnement ligne par ligne ; tout saut logique ou manque de justification entraîne une erreur de compilation directe.
Si une étape est vraiment impossible à prouver, on peut insérer un sorry ou un admit pour sauter—signifiant « je n'ai pas encore prouvé cette étape ».
Le résultat final : zéro sorry, zéro admit. Aucune étape n'a été sautée.
Le code est public sur GitHub, accompagné d'un fichier TRACEABILITY.md, faisant correspondre ligne par ligne chaque théorème de l'article avec la preuve correspondante dans le code Lean. Ceux qui veulent vérifier peuvent le compiler eux-mêmes.
Adresse du projet : https://github.com/jianhaoma/gd-lower-bound-lean
La chaîne de vérification complète est un relais en trois étapes. GPT-5.6 Sol Pro construit la preuve, Codex la traduit en Lean 4, le compilateur la vérifie ligne par ligne en dernière instance. Les humains supervisent tout le processus.
Vous n'avez pas besoin de « croire » l'IA, laissez le système formel juger.
L'histoire n'est pas terminée
La portée actuellement confirmée est la suivante : silver stepsize a déjà poussé la descente de gradient à T^{-1.2716}, Ma et Chen ont prouvé qu'elle ne peut dépasser T^{-1.9319}.
Il reste un écart de 0,66 au milieu. Où se trouve la véritable limite ?
Ben Grimmer, un chercheur en optimisation qui étudie ce problème depuis longtemps, a déclaré après avoir lu l'article qu'il « croit fermement » que 1.2716 est le véritable plafond.
S'il a raison, alors silver stepsize est déjà la limite ultime du simple ajustement des pas, et la borne inférieure de Ma et Chen a encore de la marge pour être resserrée.
Mais où que se situe la véritable limite, cet article a déjà accompli l'étape la plus cruciale : le simple ajustement des pas ne permet pas à la descente de gradient d'atteindre la perfection. Ce qui était une conjecture est devenu un théorème.
Et ceux qui ont obtenu ce résultat ne sont que deux personnes. Pas d'équipe mathématique, pas d'expert Lean, pas de budget de calcul dédié, utilisant la version commerciale de GPT-5.6 Sol Pro accessible à tous.
Si ce modèle peut être répliqué, n'importe quel chercheur dans le monde avec une bonne question peut faire courir les preuves par l'IA à sa place.
Références :
https://arxiv.org/abs/2608.10418
Cet article provient du compte WeChat public « New Zhiyuan », auteur : ASI启示录, éditeur : Moshe
