给Transformer变个形，LLM竟能变得更聪明
一篇名为《给Transformer变个形，LLM竟能变得更聪明》的文章介绍了一项来自Mila、康奈尔大学和蒙特利尔大学研究者的新工作。该研究提出了“锥形语言模型”概念，其核心思想是：在模型总参数量和计算量不变的前提下，不再为所有网络层均匀分配参数，而是让参数容量（如前馈网络宽度）沿着模型深度方向单调递减。
研究发现，传统Transformer等架构对所有层“一视同仁”的参数分配方式可能并非最优。多项前期研究已表明，模型的浅层和深层在功能与重要性上存在差异。研究者通过实验证实，将更多容量集中到模型前段的“头重脚轻”式分配，相比均匀分配或集中于后段的方案，能显著降低模型在验证集上的困惑度，提升预测准确性。
在440M参数的模型上，最优的余弦递减配置（前段宽度为基准1.5倍，后段为0.5倍）使困惑度改善了1.84点。这一结论在多种不同架构和更大规模的模型上也得到了验证，且未损害模型处理长上下文的能力。分析显示，深层网络更多是在“重复强调”已有信息，而非创造新理解，因此前段层更能有效利用额外容量。
这项研究指出了一个长期被忽视的设计维度：参数容量的分布形状本身就是一个有效的优化杠杆。它为提升模型性能提供了一个几乎零成本的思路，无需改变架构或增加参数，仅需重新分配已有参数。研究者认为，这一思路未来可能同样适用于视觉Transformer、扩散模型等其他领域。
marsbit8小时前
