Los últimos dos días, una publicación del usuario de X, Max For AI @MaxForAI, ha generado gran interés en la comunidad: "Es una locura — ahora incluso puedes ver en directo cómo se entrena un modelo masivo de 535B."
Resulta que Percy Liang @percyliang, profesor de Stanford y fundador de Simile AI, anunció que el Laboratorio Abierto Marin iniciará el entrenamiento del modelo Marin 535B-A23B, y todo el proceso de entrenamiento se realizará de forma pública y en tiempo real.
Marin cuenta con 535 mil millones de parámetros totales y 23 mil millones de parámetros activos. Para ello, Percy Liang y su equipo han preparado un total de 18.75 billones de tokens de datos de entrenamiento, y han desplegado 11 sistemas GB200 NVL72, equivalentes a unos 792 GPUs GB200.
Se estima que el modelo se entrenará de forma continua durante unos 3 meses, con un cómputo total de entrenamiento de aproximadamente 2.7e24 FLOPs. Una vez completado el entrenamiento, el equipo continuará con la fase de post-entrenamiento (post-training).
En otras palabras: en los próximos meses, cualquiera podrá observar cómo un modelo de vanguardia crece desde cero.
Otro punto a destacar es que Percy Liang mencionó que, antes de iniciar oficialmente esta tarea de entrenamiento, el equipo ya había entrenado una "Escalera de Escalado" (Scaling Ladder) de 4 etapas, desde 1.6B-A61M (48B tokens) hasta 27.7B-A1.2B (926B tokens).
"Esto tiene dos propósitos: primero, usar estos experimentos a pequeña escala para detectar y depurar problemas potenciales con anticipación; segundo, predecir el rendimiento de nuestro 'entrenamiento principal' (hero run) basándonos en el desempeño de los modelos a diferentes escalas."
Por supuesto, Percy Liang también señaló: "Este es el entrenamiento a mayor escala que hemos realizado hasta ahora, por lo que, efectivamente, esperamos que ocurran algunas situaciones inesperadas durante el proceso."
Actualmente, el modelo principal ya está en funcionamiento y cualquiera puede ver las curvas de entrenamiento en tiempo real. Posteriormente, los datos de entrenamiento, los registros de experimentos y los problemas de ingeniería también se harán públicos de manera continua.
Por ejemplo, a nivel de datos: la proporción de mezcla de datos de entrenamiento, los métodos de procesamiento de datos y cómo ingresan los datos de diferentes dominios al modelo. A nivel de ingeniería: la configuración del entrenamiento, el código y el diseño experimental. En el proceso de entrenamiento: el cambio de la pérdida (loss) en tiempo real, el estado del modelo y los resultados predictivos en diferentes etapas.
Simultáneamente, Percy Liang también hizo públicos los canales específicos para seguir el proceso.
Ver la composición de los datos: https://storage.googleapis.com/marin-public/held/harrier-k40-cluster-overview/2026.08.18/index.html?revision=uniform-sampling
Seguir el entrenamiento en tiempo real en Weights & Biases (wandb): https://wandb.ai/marin-community/marin_moe/reports/535B-A23B-18T-Token-Hero-Run-Scaling-Ladder--VmlldzoxNzc2MDM5Ng
Ver todos los detalles en GitHub: https://github.com/marin-community/marin/issues/8435
Tras analizar los detalles, es fácil entender por qué esta iniciativa de Percy Liang ha despertado tanto interés. Porque en el pasado, para modelos como GPT-4, Claude o Gemini, no se sabía exactamente cómo se entrenaban detrás de bastidores; eran como "cajas negras".
Solo se podían ver las capacidades finales del modelo, las puntuaciones en benchmarks y algunas descripciones en artículos. Pero aspectos como la proporción de los datos, en qué falló el entrenamiento, qué hiperparámetros fueron efectivos, cómo cambiaba la pérdida, o si las leyes de escalado (Scaling laws) se predecían con precisión, eran desconocidos.
Marin está intentando cambiar esto. Quizás, el entrenamiento de modelos también puede ser como los artículos científicos o el software de código abierto: observable, debatible y colaborativo.
Desde que se anunció esta noticia, el entusiasmo de los usuarios en línea no ha dejado de crecer.
Algunos usuarios opinan que este es el verdadero espíritu del código abierto: "incluso si surgen problemas durante el entrenamiento o se desvía de lo esperado, no se oculta nada."
Otros usuarios señalan que, aunque el propio modelo a entrenar ya es enorme, lo realmente impresionante es que ahora cualquiera pueda observar, a través de la plataforma WandB y en tiempo real, cómo crece paso a paso un modelo a una escala que vale miles de millones de dólares.
"Es como si la 'sala oscura' cerrada dentro de los principales laboratorios de IA se abriera de repente, permitiendo que todos vean lo que está sucediendo allí dentro."
Y en los próximos tres meses, lo más interesante tal vez no sea la capacidad final del modelo, sino observar cuántas "explosiones", colapsos y situaciones inesperadas experimentará este modelo durante su entrenamiento...
Además, algunos usuarios también creen que esta iniciativa no solo ofrece una perspectiva para observar todo el proceso de entrenamiento, sino que incluso proporciona una plataforma para aprender e intercambiar ideas.
El usuario James Thewlis @jdthewlis ha estado siguiendo el proceso de entrenamiento en tiempo real. En un momento, no entendía "¿por qué alrededor del step 500 aproximadamente, las normas (norms) de los parámetros muestran un pico?"
Después de investigarlo por su cuenta, se respondió a sí mismo en los comentarios: "Este pico está completamente causado por el sesgo del enrutador (router_bias). No es un parámetro obtenido a través del entrenamiento por gradiente, sino parte de un mecanismo heurístico de equilibrio de tokens (token balancing heuristic) en el modelo MoE (Mixture of Experts). Por lo tanto, tiene una dinámica diferente a la de los parámetros normales del modelo."
Hay muchos casos similares a este.
Además, vale la pena mencionar que Percy Liang, como profesor de Stanford, además de esta práctica concreta, también imparte un curso teórico: "CS336: Modelos de Lenguaje Desde Cero" (Language Models From Scratch), cuyo objetivo es que los estudiantes comprendan completamente cómo se construye un modelo de lenguaje grande.
Parece que Percy Liang realmente quiere enseñar a todos a "construir" modelos grandes. Los usuarios interesados pueden echarle un vistazo.
Enlace al curso: https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
¿Y tú? ¿Qué opinas sobre esta transmisión en vivo que literalmente lleva el entrenamiento de modelos grandes al escenario público? ¡Bienvenido a dejar tus comentarios!
Referencias:
https://x.com/MaxForAI/status/2091270116067750089
https://x.com/percyliang/status/2090918065634684997
https://x.com/CopyRebeldia/status/2091231950774112412?s=20
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Este artículo proviene de la cuenta oficial de WeChat "机器之心" (ID: almosthuman2014), autor: 关注AI的.
