Transformer的许多关键技术,在一场会议上集体塌房了?!
COLM 2026上,多篇论文同时把矛头对准了同一件事——
Transformer里那些没人再去质疑的设计,其实站不住脚。
Transformer几乎是所有主流模型的默认架构,其设定也大多被奉为圭臬,很少有人回头验证。
结果,这批论文分别从不同角度,把这些默认选择重新算了一遍账。
而且不同人得到的结论出奇一致,Transformer的每一处标配设计,都在某个现有评测体系测不到的维度上,付出了实打实的代价。
长上下文的裂缝
第一篇论文名叫《Cracks in the Foundation》,来自Ai2等机构,瞄准的是QK归一化、GQA、滑动窗口注意力、预训练上下文长度这几个常年被当成「标配」的架构选择。
研究者从Llama 2、Llama 3、Qwen 3、Olmo 3这几个真实模型里,挑出各自用过的取值做排列组合,训练了26个模型出来做对比。
这些模型参数量都在7B到8B之间,数据、分词器、上下文扩展的方案全部保持一致,只有架构不一样。
团队把这批模型叫「OlmPool」,全部先预训练140B个token,再用10B个token做长上下文的收尾训练,前后一共烧了超过17万个GPU小时。
结果,26个模型在HELMET 32K这项测评上,分数最高56.4,最低29.9,差了26.5分,换算成相对差距是47%。
数据一样,架构大体相似,就因为四个开关拨的方向不一样,分数能差出这么多。
单独拨一个开关,其实影响不大。预训练时用4096还是8192的上下文长度,加不加滑动窗口注意力,平均只让分数掉一两分。
真正要命的是几个选择叠在一起,一旦SWA跟GQA放在同一个模型里,平均要掉9分,比两项各自的影响加起来还多得多。
团队测出来的最差组合,是GQA、滑动窗口注意力、逐头QK归一化三个一起上,掉分幅度同样比单项加总还猛。
后来他们发现,光数一数一个模型踩中了几项「有害设计」,这个数字就能很准地预测出它的长上下文表现,比逐项分析架构还管用。
QK归一化是最反直觉的一项。它当初被加进模型里,是为了让训练更稳定,业内基本都当它是好东西。
但论文测出来,把Olmo 3原本的QK归一化和后置归一化去掉,换成前置归一化,HELMET分数反而涨了6分。
同样的改动放到Llama 3身上,效果却是反的,掉了3.8分。
同一个「标配」,换一个底子模型,结果能完全相反。
这一部分还测出了一个和不少人直觉相反的现象——「注意力汇聚」,指的是模型会把很大一部分注意力,堆在上下文最前面那几个token上。
这个现象一直被当成浪费算力的坏毛病,不少新方法专门拿消除它当卖点,但在OlmPool这批模型里,注意力汇聚现象越明显,长上下文表现反而越好。
QK归一化恰好会削弱这种汇聚,这可能就是它拖累长上下文能力的原因。
被吃掉的梯度
第二篇论文名叫《Lost in Backpropagation》,来自康奈尔大学,瞄准的是几乎所有语言模型都在用的最后一层——输出投影层。
语言模型每处理一步,都会先算出一串数字,代表它对当下上下文的理解,这串数字叫隐藏状态D。
要预测下一个词,模型得把隐藏状态,换算成词表里每一个候选词的打分,词表有多少个词,就要输出多少个打分。
这些打分叫logits,分数越高,模型认为这个词是下一个词的可能性就越大。
做这个转换的部件,就是输出层,本质是一次矩阵运算。
词表的大小,通常比隐藏状态的长度大得多,一个是几万,一个可能只有几千。
这个大小上的落差,以前只被当成一个问题看,叫「softmax瓶颈」,意思是词表比隐藏状态大太多,会让模型能表达的下一词分布种类有限。
这篇论文说,同一个落差还有另一层影响。
反向传播的时候,误差信号要经过输出层,传回去指导模型调整参数,这个环节也受到落差的影响。
误差信号在传回去之前,理论上包含的信息量跟词表一样大。
但输出层能传回去的信息量,被它自己的结构限制住了,上限跟隐藏状态的长度差不多大,比词表小得多。
论文在GPT-2、Pythia、Llama 3、OLMo 2、Qwen 3这几个已经训练好的模型上测了这一步的信息损耗,把误差信号投影到输出层权重的零空间里再看还剩多少。
结果在GPT-2、Pythia、Llama 3、OLMo 2、Qwen 3这几个模型上,95%到99%的梯度范数都在这一步被削掉了。
剩下的那点信号,跟原始梯度的余弦相似度只有0.1到0.2。
传回去的信号,九成以上在这一步被吃掉了,剩下的那一点,方向也跟原来该有的方向对不上。
这道输出层,是几乎所有语言模型都绕不开的必经之路,没人把它当成需要审视的对象,可它却在每一次反向传播里,悄悄抹掉了大部分本该传回去的训练信号。
剪掉一层,断的是推理链
还有一篇论文,名叫《When Fewer Layers Break More Chains》,来自图宾根大学,说的是一个已经被广泛使用的模型压缩手段——层剪枝,也就是直接把Transformer里的某几层整个删掉,减少模型深度来省算力。
层剪枝能这么做,是因为已经有研究发现,模型里有一部分层对整体表现的贡献很小,删掉之后,用常规的知识类测评一测,分数掉得很少。
剪掉四分之一的层,还能保留八成以上的原始准确率,这类结果让层剪枝成了一种被普遍接受的效率手段。
但这些测评测的都是知识类任务,答案短,靠模型记住的东西就能答对。
这篇论文测了另一种能力——长链推理,论文用的方法是「测试时扩展」,简单说就是让模型多想一会儿,给它更多token去推理,或者让它多生成几遍答案再挑对的,正常情况下,想得越久,或者试得次数越多,正确率应该越高。
论文选了两个本身就具备这种能力的模型,s1.1-7B和Qwen3-8B,用三种主流的层剪枝方法各剪一到两层,再看这两种扩展方式还灵不灵。
结果在知识类测评上,分数掉得确实很平缓,但换成数学竞赛难度的AIME24,s1.1-7B只剪一层,正确率就大幅下滑,剪两层,直接掉到接近零。
给模型更多思考token,本该让它想得更明白,结果剪过层的模型,思考时间越长,反而越不见起色,测试时扩展这件事,等于是失效了。
作者接着测了能不能靠微调救回来,分别用LoRA微调和全参数微调,在剪过层的模型上重新训练。
剪一层的模型,微调几乎没什么用。剪两层的模型,微调能救回一部分分数,但离剪之前的水平还差得远。
总之,这篇论文想要告诉人们,层剪枝没有看上去那么安全。
三篇论文研究的对象完全不一样,一篇看长上下文,一篇看训练时的梯度,一篇看推理链。
但放在一起看,能看出一个共同的模式——三篇论文盯上的,都是已经被主流模型广泛采用、很少有人回头质疑的常规设计。
现在,这些「常规」操作,也开始被重新审视了。
本文来自微信公众号“量子位”,作者:关注前沿科技
