Ces deux derniers jours, un post d'un internaute nommé Max For AI@MaxForAI sur X a suscité un vif débat : « C'est fou – vous pouvez maintenant assister en direct à la formation d'un énorme modèle de 535B paramètres. »
En réalité, Percy Liang@percyliang, professeur à Stanford et fondateur de Simile AI, a annoncé le démarrage de l'entraînement du modèle Marin 535B-A23B par le laboratoire ouvert Marin, et tout le processus d'entraînement sera entièrement public.
Marin dispose de 535 milliards de paramètres au total et de 23 milliards de paramètres activés. Pour cela, Percy Liang et son équipe ont préparé un total de 18,75 billions de tokens de données d'entraînement et déployé 11 systèmes GB200 NVL72, soit environ 792 GPU GB200.
Le modèle devrait être entraîné en continu pendant environ 3 mois, avec un total de calculs d'entraînement d'environ 2,7e24 FLOPs. Une fois l'entraînement terminé, l'équipe poursuivra également la phase de post-formation (post-training).
Autrement dit : Au cours des prochains mois, tout le monde pourra observer comment un modèle d'IA de pointe se développe à partir de zéro.
Il est également intéressant de noter que Percy Liang a indiqué qu'avant de lancer officiellement cette session d'entraînement, l'équipe avait déjà entraîné une série d'échelons de mise à l'échelle (Scaling Ladder) en 4 étapes, allant de 1,6B-A61M (48B tokens) jusqu'à 27,7B-A1,2B (926B tokens).
« Cela a deux objectifs, premièrement, utiliser ces expériences à petite échelle pour détecter et déboguer rapidement les problèmes potentiels ; deuxièmement, baser les prévisions pour notre « entraînement principal » (hero run) sur les performances des modèles à différentes échelles. »
Bien sûr, Percy Liang a également déclaré : « C'est l'entraînement le plus important que nous ayons jamais réalisé, donc nous nous attendons effectivement à rencontrer des imprévus pendant le processus. »
Actuellement, le modèle principal a officiellement commencé son exécution, et tout le monde peut consulter directement les courbes d'entraînement en temps réel. Par la suite, les données d'entraînement, les journaux d'expérimentation et les problèmes techniques continueront d'être rendus publics.
Par exemple, au niveau des données, cela inclut les proportions de mélange des données d'entraînement, les méthodes de traitement des données, et comment les données de différents domaines sont introduites dans le modèle ; au niveau technique, cela inclut la configuration de l'entraînement, le code et la conception des expériences ; le processus d'entraînement, y compris les changements de perte (loss) en temps réel, l'état du modèle et les résultats prédictifs à différentes étapes.
Simultanément, Percy Liang a également rendu publics les canaux spécifiques pour suivre l'entraînement.
Consultez la composition des données : https://storage.googleapis.com/marin-public/held/harrier-k40-cluster-overview/2026.08.18/index.html?revision=uniform-sampling
Suivez le processus d'entraînement en temps réel sur Weights & Biases (wandb) : https://wandb.ai/marin-community/marin_moe/reports/535B-A23B-18T-Token-Hero-Run-Scaling-Ladder--VmlldzoxNzc2MDM5Ng
Consultez tous les détails sur GitHub : https://github.com/marin-community/marin/issues/8435
Après une analyse plus approfondie, il est facile de comprendre pourquoi cette initiative de Percy Liang a suscité autant d'attention. Parce que par le passé, pour des modèles comme GPT-4, Claude, Gemini, etc., on ne savait absolument pas comment ils étaient entraînés en détail, c'était comme une « boîte noire ».
On ne pouvait voir que les capacités finales du modèle, les scores sur des benchmarks, quelques descriptions dans des articles scientifiques, etc. Quant aux proportions de données, les échecs d'entraînement, les hyperparamètres efficaces, l'évolution de la perte, la précision des lois d'échelle (Scaling law), tout cela était inconnu.
Marin cherche à changer cela. Peut-être que l'entraînement des modèles peut également devenir comme les articles scientifiques ou les logiciels open source : observable, discutable, collaboratif.
Depuis l'annonce de cette nouvelle, l'enthousiasme des internautes ne cesse de croître.
Certains internautes estiment que c'est là le véritable esprit open source, « même si des problèmes surviennent pendant l'entraînement ou que les résultats s'écartent des attentes, rien n'est caché. »
D'autres internautes soulignent que, même si le modèle d'entraînement lui-même est déjà énorme, ce qui est vraiment impressionnant, c'est que tout le monde peut maintenant suivre en temps réel sur la plateforme WandB le processus de croissance étape par étape d'un grand modèle d'entraînement dont la valeur équivaut à des milliards de dollars ?
« C'est comme si la pièce sombre et fermée à clé d'un laboratoire d'IA de premier plan s'ouvrait soudainement, permettant à tout le monde de voir ce qui s'y passe. »
Au cours des trois prochains mois, ce qui est peut-être le plus attendu n'est pas les capacités finales du modèle, mais plutôt d'observer combien de fois ce modèle va « exploser », s'effondrer ou rencontrer des situations inattendues pendant son entraînement...
De plus, certains internautes pensent que cette initiative ne fournit pas seulement une perspective pour observer l'intégralité du processus d'entraînement d'un modèle, mais offre même une plateforme d'apprentissage et d'échanges.
L'internaute James Thewlis@jdthewlis a suivi le processus d'entraînement en temps réel. Pendant ce suivi, il ne comprenait pas « pourquoi, aux alentours de l'étape 500, les normes (paramètres de norme) présentaient un pic ? »
Après avoir trouvé la réponse par lui-même, il s'est répondu dans les commentaires : « Ce pic est entièrement dû au biais de routeur (router_bias). Ce n'est pas un paramètre appris par le biais du gradient, mais fait partie du mécanisme d'équilibrage des tokens (token balancing heuristic) dans le modèle MoE (Mixture of Experts), donc il a une dynamique différente de celle des paramètres ordinaires du modèle. »
Il existe de nombreux cas similaires.
Par ailleurs, il est intéressant de mentionner qu'en plus de cette mise en pratique concrète, Percy Liang, en tant que professeur à Stanford, donne également un cours théorique : « CS336: Language Models From Scratch » (Modèles de langage à partir de zéro), dont l'objectif est que les étudiants comprennent pleinement comment un grand modèle de langage est construit.
Il semble que Percy Liang veuille vraiment apprendre à tout le monde à « construire » de grands modèles. Les internautes intéressés peuvent en savoir plus.
Lien vers le cours : https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Et vous ? Que pensez-vous de cette diffusion en direct qui met véritablement l'entraînement des grands modèles sur le devant de la scène ? N'hésitez pas à laisser vos commentaires !
Liens de référence :
https://x.com/MaxForAI/status/2091270116067750089
https://x.com/percyliang/status/2090918065634684997
https://x.com/CopyRebeldia/status/2091231950774112412?s=20
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Cet article provient du compte officiel WeChat « Machine Heart » (ID : almosthuman2014), auteur : Attention à l'IA
