OpenAI塌房，Scaling law原作曝bug，万亿算力全白烧
OpenAI的Scaling Law原始论文被曝存在一个致命bug，导致过去几年全球AI行业在错误的指导下浪费了海量算力。2020年OpenAI提出的定律认为，在固定算力下应优先扩大模型参数而非数据量，这直接推动了GPT-3等大模型的参数膨胀。然而，前OpenAI研究员Diogo Almeida指出，原研究存在关键缺陷：对所有模型使用了固定的训练数据量（约1300亿token）和余弦学习率衰减，这使得大模型训练不足、性能过早“饱和”，从而得出“加数据无用”的错误结论。
这一错误直至2022年DeepMind发布Chinchilla研究才被部分纠正，后者证明模型参数与训练数据应均衡扩展。但后续研究发现Chinchilla自身拟合也存在问题。更深刻的反思在于，当前基于英语数据得出的Scaling Law可能具有语言局限性，例如训练法语模型的效率远高于英语，这表明现有算力配置方案可能并非探索通用智能的最优路径。
该bug导致业界多年将算力过度投入于参数扩张，而非数据质量与多样性，可能延缓了高效AI的发展进程。
marsbit5小时前
