Un investigador de DeepMind revela a altas horas de la noche: ¡El artículo original de la Ley de Escala de OpenAI tenía un error fatal! La IA global ha quemado en vano billones de potencia computacional, GPT-3 estaba seriamente «sobredimensionado».
¡OpenAI ha engañado a toda la industria de la IA durante años!
En los últimos cinco años, toda la industria de la IA ha avanzado impulsada por la Ley de Escala.
La confianza de Sam Altman en la AGI proviene de esta curva.
Ahora, alguien se ha pronunciado diciendo: Esta curva estuvo mal desde el principio.
No se trata de ser sabios después del evento. Quien lo dice es el investigador Diogo Almeida, quien en su momento trabajaba en la optimización de modelos grandes en OpenAI.
Acaba de publicar un blog con un título escalofriante: «Scaling Laws, Honestly» (Leyes de Escala, Honestamente).
La primera frase lo deja claro: La versión inicial de la ley de escala estaba equivocada porque contenía un error (bug).
Enlace: https://www.completeskeptic.com/p/scaling-laws-honestly
Sander Dieleman de DeepMind, conocido por sus modelos de difusión, lo destacó de inmediato en Twitter, diciendo que es una historia interesante sobre los LLM:
La ley de escala original estaba equivocada debido a un error, lo que probablemente hizo que la industria quemara una cantidad masiva de potencia computacional en modelos «demasiado grandes y entrenados insuficientemente».
Un error, dos años quemados.
Cuando se desvela el error, vemos no solo un agujero negro de potencia computacional, sino también un límite de inteligencia reconfigurado por el propio lenguaje, mucho más profundo de lo imaginado.
La Ley de Escala resulta ser la «teoría geocéntrica» de los LLM
En 2020, OpenAI concluyó: con un presupuesto fijo de potencia computacional, deberías priorizar agrandar el modelo, no darle más datos.
Dicho con fórmula, el número óptimo de parámetros es proporcional a la potencia computacional elevada a 0.73: los parámetros son la variable en la que hay que apretar.
Esta frase definió directamente la apariencia de la generación GPT-3. Apilar parámetros. A muerte. 175 mil millones.
Le dijo a los desarrolladores del mundo: No preguntes, simplemente apila parámetros; haz el modelo lo suficientemente grande y ocurrirá el milagro.
Dos años después, DeepMind lanzó Chinchilla, volcando esta conclusión de raíz: el modelo y los datos deberían ampliarse casi por igual, con aproximadamente 20 tokens por parámetro para que sea rentable.
Entrenaron un Chinchilla de 70 mil millones de parámetros, alimentado con 1.4 billones de tokens: un tamaño inferior a la mitad de GPT-3, pero con más de cuatro veces sus datos.
El resultado: con el mismo presupuesto computacional, superó por completo a Gopher, que tenía 280 mil millones de parámetros pero solo se alimentó con 300 mil millones de tokens.
Traducción: Con la misma inversión, uno creó un «hombre musculoso pero débil» (obeso), y el otro un «boxeador delgado y ágil».
Tres años después, Weng Li, alumno de la Universidad de Pekín, exploró en profundidad las explicaciones principales en investigaciones posteriores sobre las diferencias entre ambos, señalando que la diferencia radica en cómo calculan el número total de parámetros.
Y esto no es todo. Incluso el «correcto» Chinchilla no está limpio.
En 2024, Besiroglu y otros extrajeron y volvieron a ejecutar los puntos de datos del artículo original de Chinchilla, encontrando que su propio ajuste también ocultaba un error:
La escala de pérdida en el optimizador estaba configurada demasiado alta, calculando la pérdida Huber por promedio de muestra en lugar de por suma, lo que provocó una terminación prematura del ajuste.
El artículo que corregía el error, venía con otro error.
En este punto, ese «principio primero» que tantos repiten, de repente parece un poco inestable.
La llamada Ley de Escala nunca ha sido una ley física férrea como las tres leyes de Newton, es solo una curva ajustada empíricamente.
Cuando Diogo Almeida cree que la verdad no es así, no es que el método sea diferente, «es que la versión inicial de la ley de escala en sí tenía un error».
¿OpenAI engañó a los colegas globales de IA con tres trucos?
Para crear una mentira en la que toda la IA global crea colectivamente, solo se necesitan tres pasos.
Paso uno: Encarcelar los datos.
El artículo de OpenAI alimentó a todos los modelos —ya fueran niños que apenas aprenden a caminar (modelos pequeños) o gigantes ya desarrollados— con exactamente la misma «cantidad de comida». Aproximadamente 130 mil millones de tokens de datos.
Los modelos pequeños quedaron así «llenos» o incluso «hartos», mientras que los modelos grandes, que realmente necesitan cantidades masivas de datos para llenar su capacidad, sufrieron una grave desnutrición bajo el mismo presupuesto de tokens.
El artículo de Chinchilla señaló más tarde sin rodeos: «Usaron un número fijo de tokens de entrenamiento y un esquema de tasa de aprendizaje para todos los modelos» (fixed number of training tokens and learning rate schedule).
Es como hacer que un niño de kindergarten y un doctorando hagan el mismo examen en el mismo tiempo, y luego afirmar que «la nota solo depende del talento».
Paso dos: La decadencia de LR que tapa los oídos.
Usaron una decadencia coseno de la tasa de aprendizaje (Cosine Decay), que hace que la tasa de aprendizaje se aproxime suavemente a cero cuando el entrenamiento se acerca al final.
Cuando el entrenamiento se acerca al punto final establecido, la tasa de aprendizaje se reduce poco a poco a cero, y el progreso del modelo naturalmente se «aplana».
Cuando la curva se aplana, parece que el modelo ya ha llegado a su límite, y darle más datos no sirve.
Los investigadores concluyeron entonces: «Añadir datos ya no sirve, el modelo está saturado».
Este no es el límite del modelo, es la tasa de aprendizaje que corta artificialmente su camino de crecimiento. Crea la ilusión perfecta: el rendimiento ha alcanzado su techo, más datos son inútiles.
Pero ahora sabemos que esos modelos grandes ni siquiera habían llegado al límite.
Paso tres: La arrogancia de la autoridad.
El tercer paso, y el más insidioso: El artículo decía que los resultados eran «básicamente independientes de la curva de tasa de aprendizaje» (largely independent of learning rate schedule).
Aunque muchos, incluido el propio Diogo Almeida en OpenAI en ese momento, tenían la vaga sensación de que algo andaba mal, técnicamente esta conclusión era correcta bajo un límite fijo de tokens.
Pero simplemente no era aplicable al mundo ideal «con datos infinitos» que la ley de escala realmente quería describir.
Tomaron una verdad local bajo condiciones limitadas como una ley universal cósmica.
Estos tres pasos combinados dieron como resultado una ley que era incorrecta y extremadamente difícil de depurar (debug).
El propio Diogo admite: En ese entonces él también trabajaba en optimización en OpenAI y tampoco detectó este error: esa curva de tasa de aprendizaje parecía tan «cuidadosamente configurada», ¿quién la cuestionaría?
Las GPU se desperdiciaron en vano
Grave desajuste de la potencia computacional
Guiada por la fórmula errónea de OpenAI, la industria de la IA entró en la era de la «fuerza bruta produce milagros».
Esto significa que en los últimos años, las mentes más brillantes y la potencia computacional más escasa del mundo se desperdiciaron en una expansión de escala ineficaz.
No es solo una cuestión de dinero, es que en la carrera contrarreloj hacia la AGI (Inteligencia Artificial General), la humanidad, debido a una configuración de tasa de aprendizaje, corrió colectivamente miles de kilómetros en la pista equivocada.
Si el descubrimiento del error duele, la profunda reflexión que provoca luego es escalofriante.
El investigador Adam Zachary Wasserman señaló un punto ciego que todos ignoraban: incluso corrigiendo la fórmula, la actual Ley de Escala es solo una «Ley de Escala del inglés».
Hizo un experimento contraintuitivo: entrenar modelos con la misma arquitectura y la misma potencia computacional.
Descubrió que la eficiencia de un modelo en francés para alcanzar cierta habilidad gramatical era 50 a 100 veces mayor que la de un modelo en inglés.
¿Por qué? Porque el inglés es un idioma «morfológicamente pobre».
Depende demasiado de patrones de distribución, necesita que el modelo adivine significados en datos masivos; mientras que idiomas con morfología rica o estructura estricta, como el francés o el chino, contienen mucha información explícita en el vocabulario mismo.
Esto significa que todos nuestros planes actuales de distribución de potencia computacional se basan en el idioma más «hambriento de datos» y menos eficiente.
Cuando crees que estás explorando las leyes físicas de la «inteligencia general», en realidad solo estás midiendo «cuánta potencia computacional desperdicia el idioma inglés».
Es como si intentaras establecer estándares nutricionales para toda la vida en el universo estudiando el apetito de un cerdo; esto no solo es prejuicio, es una limitación cognitiva.
Podríamos haber logrado un rendimiento más fuerte con modelos más pequeños y más datos de calidad.
Podríamos haber ahorrado decenas de miles de horas de electricidad y calor de funcionamiento de H100.
Podríamos haber entrado en la era de la «IA eficiente» dos años antes.
Referencias:
https://www.completeskeptic.com/p/scaling-laws-honestly
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Este artículo proviene del WeChat Official Account "新智元" (Nueva Era de la Inteligencia), autor: ASI启示录 (Apocalipsis ASI), editor: David
