Ilya, ancien scientifique en chef d'OpenAI, est un représentant typique de la phrase : « Le frère n'est plus dans le monde, mais le monde est plein de légendes sur le frère. »
Lui qui a personnellement créé l'ère de l'apprentissage profond a quitté OpenAI il y a plus de deux ans. SSI, qu'il a fondé, ne publie pas de modèles, ne crée pas de produits, et a presque disparu de la table de jeu.
Pourtant, de temps en temps, quelqu'un dans le monde de l'IA se pose la même question : Que fait Ilya ?
Maintenant, cette question a soudainement une réponse.
À l'instant, l'utilisateur « Trois Fraises » sur X a révélé que SSI explore un petit moteur de raisonnement basé sur TTT (Test-Time Training, formation au moment du test).
Selon sa description, ce modèle apprendrait « comment apprendre » avec des données spécialement préparées, puis mettrait à jour une partie de ses poids pendant le processus de résolution de problèmes.
Même si la taille du modèle n'est pas grande, elle suffirait à rivaliser avec des modèles entraînés à plus grande échelle.
Plus loin, il a ajouté dans les commentaires que la version actuelle de SSI est déjà prête, et que l'équipe est en train de passer directement la version de la prochaine génération à une échelle 10 fois plus grande.
Et, plus crucial encore, ce n'est peut-être pas un chèque en blanc pour un « avenir prometteur ».
Selon lui, la version actuelle pourrait être dévoilée au plus tôt en août de cette année, et sera initialement ouverte à un nombre limité d'utilisateurs.
Autrement dit, si la rumeur est avérée, la première épée que SSI garde depuis deux ans pourrait vraiment être dégainée.
Après la diffusion de la nouvelle, de nombreux internautes ont senti le changement de direction.
Certains s'exclament que cela commence à ressembler à une véritable intelligence ;
D'autres jugent que tant que cette voie peut être étendue avec succès, il sera difficile pour les autres entreprises de rattraper SSI.
Mais alors que tout le monde se préparait à accueillir le « retour triomphal d'Ilya », d'autres nouvelles ont indiqué :
Il se pourrait que cela ne soit pas publié ce mois-ci après tout.
Vrai ou faux, faux ou vrai~
Cette fois, l'épée d'Ilya va-t-elle sortir ou non ?
Une épée qui change de tactique en frappant
Pour être honnête, depuis qu'Ilya a quitté OpenAI pour voler de ses propres ailes, les rumeurs autour de SSI ont pullulé.
Certains remettent en question la contribution réelle d'Ilya dans l'histoire de l'apprentissage profond, affirmant que le véritable père de GPT est en fait Alec Radford ;
D'autres disent qu'il s'est tourné vers la recherche sur la quantification, comme Liang Wenfeng.
Mais cette fois, la raison pour laquelle cette révélation a explosé si rapidement n'est pas seulement due au trafic automatique généré par le nom « Ilya ».
C'est aussi parce qu'elle coïncide avec plusieurs indices déjà publics. Après examen, il y en a au moins trois :
Premièrement, l'apprentissage continu après le déploiement correspond étroitement au point de vue exprimé par Ilya en novembre dernier dans le podcast de Dwarkesh Patel.
À l'époque, Ilya a déclaré : « Les termes 'AGI' et 'pré-entraînement' ont égaré l'industrie. »
Parce que les humains ne naissent pas avec une intelligence générale maîtrisant tous les travaux ; ce dont ils dépendent vraiment, c'est de l'apprentissage continu.
La superintelligence qu'il imagine ressemble plus à un adolescent de 15 ans extrêmement intelligent et avide de connaissances.
Il ne sait pas grand-chose, mais il peut apprendre la programmation, la médecine et divers métiers après son déploiement, continuant à grandir par essais et erreurs.
Selon Ilya, SSI ne cherche pas à créer une machine qui sait tout dès sa sortie d'usine (après le pré-entraînement), mais plutôt un esprit capable d'apprendre n'importe quel travail.
Cet objectif a une couleur méta-apprentissage évidente : le modèle doit maîtriser non seulement une certaine compétence, mais aussi la méthode pour apprendre de nouvelles compétences.
Ilya n'a pas mentionné le TTT à ce moment-là, mais ils pointent vers la même question :
Le modèle peut-il continuer à se modifier après son déploiement ?
Le deuxième indice vient de Nvidia.
Le 27 juillet de cette année, Nvidia et SSI ont annoncé un partenariat stratégique à long terme, investissant dans SSI et lui fournissant le prochain système Vera Rubin.
La puissance de calcul de SSI augmentera d'un ordre de grandeur, soit environ 10 fois, et selon des révélations de Reuters, le montant de l'investissement s'élève à 50 milliards de dollars.
Mais l'argent et les GPU ne sont pas les éléments les plus importants.
Nvidia a spécifiquement écrit dans son communiqué que SSI a discrètement avancé une nouvelle voie de recherche au cours des deux dernières années.
Après avoir eu rarement accès à cette recherche strictement confidentielle, Nvidia a décidé de la faire passer à l'étape suivante.
En d'autres termes, Huang a vu les cartes. Quant à savoir quelles cartes, il ne l'a pas dit.
La déclaration d'Ilya est tout aussi énigmatique : Il est temps d'agrandir SSI !
Alors... cette extension d'échelle est très suggestive.
Ilya, qu'as-tu vu de ces yeux ?
Le troisième indice est l'avancée du TTT lui-même au cours des deux dernières années.
Récemment, de plus en plus de chercheurs tentent de dépasser la voie « d'étendre constamment le contexte » pour trouver un paradigme plus proche de l'apprentissage continu.
La raison en est simple. Parce que les humains n'apprennent pas en allongeant leur antisèche, et encore moins comme le protagoniste de « Memento », en se tatouant chaque événement rencontré.
Après avoir vécu quelque chose, le cerveau ajuste ses connexions internes. La prochaine fois qu'il rencontre un problème similaire, la personne n'est plus la même qu'auparavant. C'est là que réside l'intérêt réel de la voie TTT.
En termes simples, le TTT (Test-Time Training) est l'entraînement au moment du test. Il permet au modèle de ne plus séparer radicalement « l'entraînement » et « l'inférence ». Au lieu de cela, lors de la résolution réelle de problèmes, il continue à s'entraîner avec les données à portée de main, puis ajuste son état interne, voire met directement à jour une partie de ses paramètres, en fonction de l'erreur entre la prédiction et l'objectif.
Dans la révélation, « Trois Fraises » a également spécifiquement mentionné un article connexe —
« End-to-End Test-Time Training for Long Context ».
En bref, cet article réinterprète le problème du contexte long comme un problème d'apprentissage continu.
Les modèles traditionnels de contexte long conservent le texte précédent dans une fenêtre de contexte, et lorsqu'ils génèrent un nouveau contenu, ils reviennent en arrière pour trouver les informations nécessaires.
Le TTT-E2E proposé dans l'article traite le contexte entier comme des données d'entraînement, permettant au modèle de continuer à prédire le prochain token pendant la lecture, et d'intégrer les informations lues dans ses propres poids.
Ainsi, le contexte n'est plus seulement une antisèche consultable à tout moment, mais commence à devenir un matériel d'apprentissage qui modifie réellement le modèle lui-même.
Il convient également de noter que le TTT est fondamentalement différent des récents succès Agent Harness et Context Engineering.
Ces derniers s'appuient sur un contexte externe pour construire un échafaudage, permettant au modèle de voir plus d'informations et d'utiliser plus d'outils, mais le modèle lui-même ne change pas.
Le TTT va plus loin. Il ne se contente pas de permettre au modèle de voir plus et d'utiliser plus, mais permet au modèle de se modifier directement pendant le processus de résolution de problèmes.
Revenons donc à la question.
Puisque le TTT n'est pas nouveau et qu'il est si performant, pourquoi n'a-t-il pas été utilisé plus tôt ? La raison n'est pas difficile à deviner :
Parce qu'une fois qu'un modèle peut se modifier après son déploiement, il peut mal apprendre, s'égarer, ou même oublier ses capacités d'origine.
En 2016, le chatbot Tay de Microsoft a commencé à produire des contenus offensants en moins de 24 heures sous l'influence des internautes, et a finalement été retiré d'urgence.
Tay et le TTT ne sont pas la même technologie, mais ils ont très tôt exposé le même défi :
La sécurité.
Ainsi, naturellement, des internautes ont posé cette question, et Trois Fraises a répondu qu'Ilya l'avait résolue.
Bien sûr, cette phrase est loin d'être une preuve, et ressemble même davantage à une rumeur légère.
Mais justement, elle renvoie au S dans le nom SSI (Safe Superintelligence) :
Safe (Sécurité).
Si Ilya veut vraiment créer une superintelligence qui continue de grandir après son déploiement, alors « lui apprendre à apprendre » ne résout en réalité que la moitié du problème.
L'autre moitié, voire plus difficile, est : lui faire savoir ce qu'il ne doit pas apprendre.
Pourquoi tout le monde l'attend
En parlant de cela, il reste une dernière question :
Pourquoi une révélation anonyme dont l'authenticité ne peut même pas être confirmée excite-t-elle autant de gens ?
Simplement parce que la personne derrière la porte de la montagne est Ilya Sutskever.
Il est le cofondateur d'OpenAI, l'ancien scientifique en chef, et l'un des chercheurs les plus influents de l'apprentissage profond au cours de la dernière décennie.
D'AlexNet, Sequence-to-Sequence, AlphaGo à la série GPT, on peut voir son nom.
Nvidia, dans son communiqué de partenariat, a également spécifiquement mentionné qu'Ilya avait plus tard dirigé les recherches qui ont finalement conduit aux modèles de raisonnement comme OpenAI o1.
En d'autres termes, ce qui est le plus impressionnant chez lui n'a jamais été le nombre de modèles publiés.
Mais plutôt que, dans sa carrière, à plusieurs reprises, avant qu'une voie technique ne devienne un consensus, il s'était déjà placé sur cette voie.
C'est précisément pour cette raison que, depuis son départ d'OpenAI en mai 2024, la prochaine étape d'Ilya est restée l'un des plus grands mystères du monde de l'IA.
Et SSI, fondé un mois après son départ, a gravé le mystère dans ses os.
Outre l'objectif de superintelligence sécurisée, pendant les deux années suivantes, SSI n'a publié aucun modèle, n'a créé aucun produit, n'a publié aucun article public, et l'extérieur ne savait même pas ce qu'ils étudiaient exactement.
Même lorsqu'Ilya apparaissait occasionnellement, il ne faisait que parler de généralisation, d'apprentissage continu, et du fait que l'ère du pré-entraînement pourrait toucher à sa fin.
Jusqu'en juillet de cette année, lorsque Nvidia, après avoir examiné la recherche hautement confidentielle de SSI, a décidé d'augmenter sa mise et d'aider à augmenter sa puissance de calcul d'un ordre de grandeur, SSI est revenu sur le devant de la scène.
Ainsi, lorsque nous examinons la révélation d'aujourd'hui sur le TTT, le goût est différent.
Ilya n'a cessé de dire qu'une véritable superintelligence devrait pouvoir continuer à apprendre après son déploiement ;
Maintenant, quelqu'un révèle que SSI travaille sur un modèle qui continue à se mettre à jour pendant le processus de raisonnement.
Bien sûr, il n'y a toujours pas de preuve tangible. Mais si ces deux lignes finissent par coïncider —
Alors ce qu'Ilya a affûté pendant deux ans de retraite pourrait vraiment ne pas être un autre GPT plus grand.
Mais une épée qui, en frappant, change elle-même de tactique.
Soyez prêts !
Liens de référence[1]https://x.com/i/trending/2087551605553901958[2]https://www.youtube.com/watch?v=aR20FWCCjAs
Cet article provient du compte public WeChat « Quantum Bit », auteur : Suivez les technologies de pointe
