¿Han colapsado de repente muchas de las tecnologías clave del Transformer en una conferencia?
En COLM 2026, varios artículos apuntaron simultáneamente a lo mismo:
Esos diseños del Transformer que nadie cuestiona ya, en realidad no se sostienen.
El Transformer es la arquitectura por defecto de casi todos los modelos principales, y sus configuraciones son en su mayoría tomadas como dogma, rara vez se vuelven a verificar.
El resultado es que este conjunto de artículos ha vuelto a evaluar estas opciones por defecto desde diferentes ángulos.
Y las conclusiones a las que llegan diferentes personas son sorprendentemente consistentes: cada diseño estándar del Transformer paga un precio real en una dimensión que los sistemas de evaluación existentes no miden.
La grieta del contexto largo
El primer artículo se titula "Cracks in the Foundation" (Grietas en los fundamentos), de Ai2 y otras instituciones, y se centra en opciones arquitectónicas consideradas durante mucho tiempo como "estándar": la normalización QK, GQA, la atención por ventana deslizante y la longitud de contexto de preentrenamiento.
Los investigadores tomaron los valores utilizados en modelos reales como Llama 2, Llama 3, Qwen 3 y Olmo 3, hicieron combinaciones y entrenaron 26 modelos para comparar.
Estos modelos tenían entre 7B y 8B de parámetros, manteniendo constantes los datos, el tokenizador y el esquema de extensión de contexto, variando solo la arquitectura.
El equipo llamó a este grupo de modelos "OlmPool", todos preentrenados con 140B tokens, seguidos de un entrenamiento final de contexto largo con 10B tokens, consumiendo en total más de 170,000 horas GPU.
El resultado: en la evaluación HELMET 32K, los 26 modelos obtuvieron puntuaciones entre un máximo de 56.4 y un mínimo de 29.9, una diferencia de 26.5 puntos, lo que equivale a una diferencia relativa del 47%.
Con los mismos datos y una arquitectura similar en general, solo por cambiar cuatro interruptores, la puntuación puede variar tanto.
Cambiar un solo interruptor tiene poco impacto. Usar una longitud de contexto de 4096 o 8192 durante el preentrenamiento, o añadir atención por ventana deslizante, solo reduce la puntuación promedio uno o dos puntos.
Lo realmente crítico es la combinación de varias opciones. Una vez que SWA y GQA están en el mismo modelo, la puntuación promedio cae 9 puntos, mucho más que la suma de sus impactos individuales.
La peor combinación que el equipo encontró fue GQA, atención por ventana deslizante y normalización QK por cabeza, con una caída en la puntuación también mucho mayor que la suma de los efectos individuales.
Posteriormente descubrieron que simplemente contar cuántos "diseños perjudiciales" tiene un modelo puede predecir con precisión su rendimiento en contexto largo, más incluso que analizar su arquitectura detalladamente.
La normalización QK es la más contraintuitiva. Se añadió originalmente para hacer el entrenamiento más estable, y la industria básicamente la considera algo bueno.
Pero las mediciones del artículo muestran que al eliminar la normalización QK original y la normalización posterior de Olmo 3, y reemplazarlas por normalización previa, la puntuación HELMET aumenta en 6 puntos.
El mismo cambio aplicado a Llama 3 tiene el efecto contrario, perdiendo 3.8 puntos.
Una misma opción "estándar", en un modelo base diferente, puede dar resultados completamente opuestos.
Esta parte también midió un fenómeno contrario a la intuición de muchos: la "concentración de la atención", que se refiere a que el modelo enfoca una gran parte de su atención en los primeros tokens del contexto.
Este fenómeno siempre se ha considerado un mal hábito que desperdicia capacidad de cálculo, y muchos métodos nuevos se venden específicamente eliminándolo. Pero en estos modelos OlmPool, cuanto más pronunciado es el fenómeno de concentración de atención, mejor es el rendimiento en contexto largo.
La normalización QK precisamente debilita esta concentración, lo que podría ser la razón por la que perjudica la capacidad de contexto largo.
Los gradientes devorados
El segundo artículo se titula "Lost in Backpropagation" (Perdido en la retropropagación), de la Universidad de Cornell, y se centra en la última capa que usan casi todos los modelos de lenguaje: la capa de proyección de salida.
Cada vez que un modelo de lenguaje procesa un paso, calcula una secuencia de números que representa su comprensión del contexto actual; esta secuencia se llama estado oculto D.
Para predecir la siguiente palabra, el modelo debe convertir el estado oculto en una puntuación para cada palabra candidata en el vocabulario; cuantas palabras tenga el vocabulario, tantas puntuaciones debe generar.
Estas puntuaciones se llaman logits; cuanto más alta sea la puntuación, mayor será la probabilidad de que el modelo considere esa palabra como la siguiente.
El componente que hace esta conversión es la capa de salida, esencialmente una operación matricial.
El tamaño del vocabulario suele ser mucho mayor que la longitud del estado oculto; uno puede tener decenas de miles, el otro quizás solo unos pocos miles.
Esta disparidad de tamaño antes solo se veía como un problema, llamado "cuello de botella del softmax", que significa que un vocabulario mucho más grande que el estado oculto limita los tipos de distribución de la siguiente palabra que el modelo puede expresar.
Este artículo dice que la misma disparidad tiene otra implicación.
Durante la retropropagación, la señal de error debe pasar por la capa de salida para guiar el ajuste de los parámetros del modelo, y este proceso también se ve afectado por la disparidad.
En teoría, la señal de error contiene tanta información como el vocabulario antes de retropropagarse.
Pero la cantidad de información que la capa de salida puede retropropagar está limitada por su propia estructura, con un límite superior similar a la longitud del estado oculto, mucho menor que el vocabulario.
El artículo midió esta pérdida de información en modelos ya entrenados como GPT-2, Pythia, Llama 3, OLMo 2 y Qwen 3, proyectando la señal de error en el espacio nulo de los pesos de la capa de salida y viendo cuánto queda.
El resultado: en estos modelos, entre el 95% y el 99% de la norma del gradiente fue eliminada en este paso.
La señal restante tenía una similitud coseno de solo 0.1 a 0.2 con el gradiente original.
Más del noventa por ciento de la señal que debería retropropagarse es devorada en este paso, y la pequeña parte restante ni siquiera apunta en la dirección que debería.
Esta capa de salida es un paso inevitable en casi todos los modelos de lenguaje, nadie la considera un objeto que deba examinarse, pero en cada retropropagación, silenciosamente borra la mayor parte de la señal de entrenamiento que debería transmitirse.
Podar una capa, rompe la cadena de razonamiento
Otro artículo, titulado "When Fewer Layers Break More Chains" (Cuando menos capas rompen más cadenas), de la Universidad de Tubinga, habla de un método de compresión de modelos ya ampliamente utilizado: la poda de capas, que consiste en eliminar completamente ciertas capas del Transformer, reduciendo la profundidad del modelo para ahorrar cálculo.
La poda de capas es posible porque investigaciones previas han encontrado que algunas capas contribuyen muy poco al rendimiento general; eliminarlas y evaluar con pruebas convencionales de conocimiento muestra poca caída en la puntuación.
Eliminar un cuarto de las capas puede conservar más del 80% de la precisión original; resultados como estos han hecho de la poda de capas un método de eficiencia ampliamente aceptado.
Pero estas pruebas evalúan tareas de conocimiento, con respuestas cortas que pueden responderse correctamente basándose en lo que el modelo ha memorizado.
Este artículo evalúa otra capacidad: el razonamiento en cadena larga. El método utilizado es la "extensión durante la prueba", que básicamente permite al modelo pensar más tiempo, dándole más tokens para razonar, o generar varias respuestas y elegir la correcta. Normalmente, cuanto más piense o más intentos haga, mayor debería ser la precisión.
El artículo seleccionó dos modelos que ya poseen esta capacidad, s1.1-7B y Qwen3-8B, aplicó tres métodos principales de poda de capas para eliminar una o dos capas, y luego observó si estas dos formas de extensión seguían funcionando.
El resultado: en las pruebas de conocimiento, la caída en la puntuación fue efectivamente suave. Pero al cambiar a AIME24, con dificultad de competición matemática, s1.1-7B solo perdió una capa y su precisión cayó drásticamente; con dos capas podadas, cayó casi a cero.
Dar al modelo más tokens para pensar debería hacerlo razonar mejor, pero los modelos podados, cuanto más tiempo piensan, menos mejoran; la extensión durante la prueba básicamente deja de funcionar.
Los autores luego probaron si se podía recuperar mediante fine-tuning, utilizando fine-tuning LoRA y fine-tuning completo de parámetros para reentrenar los modelos podados.
Para el modelo con una capa podada, el fine-tuning fue casi inútil. Para el modelo con dos capas podadas, el fine-tuning recuperó parte de la puntuación, pero aún lejos del nivel anterior a la poda.
En resumen, este artículo quiere advertir que la poda de capas no es tan segura como parece.
Los objetos de estudio de los tres artículos son completamente diferentes: uno mira el contexto largo, otro los gradientes durante el entrenamiento, otro las cadenas de razonamiento.
Pero vistos juntos, se puede discernir un patrón común: los tres artículos se centran en diseños convencionales ya ampliamente adoptados por modelos principales, que rara vez se cuestionan.
Ahora, estas operaciones "convencionales" también están siendo reevaluadas.
Este artículo proviene del WeChat Official Account "QbitAI", autor: Seguimiento de Tecnología de Vanguardia
