Plusieurs technologies clés des Transformers s'effondrent collectivement lors d'une conférence ?!
À COLM 2026, plusieurs articles pointent simultanément du doigt la même chose —
Ces choix de conception des Transformers que personne ne remet plus en question sont en réalité fragiles.
Le Transformer est l'architecture par défaut de presque tous les modèles principaux, ses configurations sont souvent considérées comme des dogmes, rarement vérifiées a posteriori.
Résultat, ces articles recalculent, sous différents angles, le bilan de ces choix par défaut.
Et les conclusions de différents chercheurs convergent de manière surprenante : chaque conception standard du Transformer paie un prix réel dans certaines dimensions que les systèmes d'évaluation actuels ne mesurent pas.
Les fissures du contexte long
Le premier article, intitulé « Cracks in the Foundation », provenant d'Ai2 et d'autres institutions, cible des choix architecturaux longtemps considérés comme « standards » : la normalisation QK, le GQA, l'attention par fenêtre glissante et la longueur de contexte en pré-entraînement.
Les chercheurs ont sélectionné, à partir de modèles réels comme Llama 2, Llama 3, Qwen 3 et Olmo 3, différentes valeurs utilisées pour réaliser des combinaisons, entraînant ainsi 26 modèles pour comparaison.
Ces modèles ont des paramètres compris entre 7B et 8B, avec des données, un tokenizer et des schémas d'extension de contexte identiques, seule l'architecture diffère.
L'équipe a nommé ce groupe « OlmPool », tous pré-entraînés sur 140B tokens, puis affinés sur 10B tokens supplémentaires pour le contexte long, consommant au total plus de 170 000 heures GPU.
Résultat : sur l'évaluation HELMET 32K, les scores des 26 modèles vont de 56,4 (max) à 29,9 (min), soit un écart de 26,5 points, ce qui représente un écart relatif de 47%.
Avec les mêmes données et des architectures globalement similaires, simplement en ajustant quatre commutateurs, l'écart de score peut être aussi important.
Un seul commutateur a peu d'impact. Utiliser une longueur de contexte de 4096 ou 8192 en pré-entraînement, ajouter ou non une attention par fenêtre glissante, ne fait baisser le score moyen que d'un ou deux points.
Ce qui est vraiment critique, c'est la combinaison de plusieurs choix. Dès que SWA et GQA se trouvent dans le même modèle, la baisse moyenne est de 9 points, bien plus que la somme des impacts individuels.
La pire combinaison testée par l'équipe, combinant GQA, attention par fenêtre glissante et normalisation QK par tête, entraîne également une chute de score plus forte que la somme des effets individuels.
Ils ont ensuite découvert que le simple comptage du nombre de « conceptions néfastes » présentes dans un modèle permettait de prédire avec précision ses performances en contexte long, mieux qu'une analyse architecturale détaillée.
La normalisation QK est la plus contre-intuitive. Initialement ajoutée pour stabiliser l'entraînement, elle est largement considérée comme bénéfique.
Mais l'article révèle que remplacer la normalisation QK originale d'Olmo 3 et sa normalisation postérieure par une normalisation préalable fait grimper le score HELMET de 6 points.
La même modification appliquée à Llama 3 produit l'effet inverse, avec une baisse de 3,8 points.
Un même « standard », sur un modèle de base différent, peut produire des résultats complètement opposés.
Cette partie a également mis en évidence un phénomène contraire à l'intuition de beaucoup — « l'agrégation d'attention », où le modèle concentre une grande partie de son attention sur les premiers tokens du contexte.
Ce phénomène a longtemps été considéré comme une mauvaise habitude gaspillant des ressources de calcul, et de nouvelles méthodes visent spécifiquement à l'éliminer. Mais dans ces modèles OlmPool, plus le phénomène d'agrégation est marqué, meilleures sont les performances en contexte long.
La normalisation QK tend justement à affaiblir cette agrégation, ce qui pourrait expliquer son impact négatif sur les capacités en contexte long.
Les gradients perdus
Le deuxième article, intitulé « Lost in Backpropagation », de l'Université Cornell, cible la dernière couche utilisée par presque tous les modèles de langage : la couche de projection de sortie.
À chaque étape de traitement, un modèle de langage calcule une séquence numérique représentant sa compréhension du contexte actuel, appelée état caché D.
Pour prédire le mot suivant, le modèle doit convertir cet état caché en scores pour chaque mot candidat du vocabulaire, produisant autant de scores que le vocabulaire contient de mots.
Ces scores sont les logits ; plus un score est élevé, plus le modèle considère ce mot comme susceptible d'être le suivant.
Le composant effectuant cette conversion est la couche de sortie, essentiellement une opération matricielle.
La taille du vocabulaire est généralement bien plus grande que la longueur de l'état caché, de l'ordre de dizaines de milliers contre quelques milliers.
Cette disparité de taille n'était auparavant vue que sous l'angle d'un problème, le « goulot d'étranglement du softmax », signifiant qu'un vocabulaire trop grand par rapport à l'état caché limite la diversité des distributions de mots suivants que le modèle peut exprimer.
Cet article souligne que cette même disparité a un autre impact.
Lors de la rétropropagation, le signal d'erreur doit traverser la couche de sortie pour guider l'ajustement des paramètres du modèle, et cette étape est également affectée par la disparité.
Théoriquement, le signal d'erreur contient autant d'information que la taille du vocabulaire avant de revenir en arrière.
Mais la quantité d'information que la couche de sortie peut retransmettre est limitée par sa propre structure, plafonnant à peu près à la longueur de l'état caché, bien inférieure à celle du vocabulaire.
L'article mesure cette perte d'information sur des modèles déjà entraînés (GPT-2, Pythia, Llama 3, OLMo 2, Qwen 3), en projetant le signal d'erreur dans l'espace nul des poids de la couche de sortie pour voir ce qui reste.
Résultat : sur ces modèles, 95% à 99% de la norme du gradient sont éliminés à cette étape.
Le peu de signal restant présente une similarité cosinus avec le gradient original de seulement 0,1 à 0,2.
Plus de 90% du signal destiné à revenir en arrière sont absorbés à cette étape, et la petite partie restante ne pointe pas dans la direction qu'elle devrait.
Cette couche de sortie, étape incontournable pour presque tous les modèles de langage, n'est jamais remise en question, et pourtant, à chaque rétropropagation, elle efface silencieusement la majeure partie du signal d'entraînement qui devrait être transmis.
Couper une couche, c'est briser la chaîne de raisonnement
Un autre article, intitulé « When Fewer Layers Break More Chains », de l'Université de Tübingen, traite d'une technique de compression déjà largement utilisée : l'élagage de couches, qui consiste à supprimer entièrement certaines couches du Transformer pour réduire la profondeur du modèle et économiser des calculs.
L'élagage de couches est possible car des recherches ont montré qu'une partie des couches contribue peu aux performances globales ; après suppression, les scores sur des évaluations classiques de connaissances chutent peu.
Supprimer un quart des couches peut conserver plus de 80% de la précision originale, ce qui a fait de l'élagage de couches une méthode d'efficacité généralement acceptée.
Mais ces évaluations portent sur des tâches de connaissance, aux réponses courtes, pouvant être résolues par la mémoire du modèle.
Cet article évalue une autre capacité : le raisonnement à longue chaîne, utilisant la méthode d'« extension au moment du test ». En clair, laisser le modèle réfléchir plus longtemps, lui donner plus de tokens pour raisonner, ou le faire générer plusieurs réponses avant de choisir la bonne. Normalement, plus il réfléchit ou plus il essaie, plus le taux de réussite devrait augmenter.
L'article choisit deux modèles possédant intrinsèquement cette capacité, s1.1-7B et Qwen3-8B, les élague d'une ou deux couches avec trois méthodes d'élagage courantes, puis observe si ces méthodes d'extension fonctionnent toujours.
Résultat : sur les évaluations de connaissances, les scores chutent effectivement progressivement. Mais sur AIME24, de niveau compétition mathématique, s1.1-7B perd drastiquement en précision dès l'élagage d'une couche, et chute près de zéro avec deux couches.
Donner plus de temps de réflexion au modèle devrait l'aider, mais les modèles élagués ne s'améliorent pas avec plus de temps, rendant l'extension au moment du test inefficace.
Les auteurs testent ensuite si un micro-ajustement peut corriger cela, en utilisant respectivement LoRA et un ajustement complet des paramètres pour réentraîner les modèles élagués.
Pour les modèles élagués d'une couche, le micro-ajustement est presque inutile. Pour ceux élagués de deux couches, il permet de récupérer une partie du score, mais reste loin du niveau initial.
En somme, cet article veut alerter : l'élagage de couches n'est pas aussi sûr qu'il n'y paraît.
Les sujets des trois articles sont totalement différents : contexte long, gradients pendant l'entraînement, chaînes de raisonnement.
Mais vus ensemble, ils révèlent un schéma commun : les trois articles ciblent des conceptions devenues courantes, largement adoptées par les modèles principaux et rarement remises en question a posteriori.
Désormais, ces opérations « conventionnelles » commencent elles aussi à être réexaminées.
Cet article provient du compte WeChat officiel « Quantum Bit », auteur : Suivre les technologies de pointe
