# 金丝雀模型的所有文章

在 HTX 新聞中心流覽與「金丝雀模型」相關的最新資訊與深度分析。潘蓋市場趨勢、專案動態、技術進展及監管政策，提供權威的加密行業洞察。

OpenAI塌房，Scaling law原作曝bug，万亿算力全白烧

OpenAI的Scaling Law原始论文被曝存在一个致命bug，导致过去几年全球AI行业在错误的指导下浪费了海量算力。2020年OpenAI提出的定律认为，在固定算力下应优先扩大模型参数而非数据量，这直接推动了GPT-3等大模型的参数膨胀。然而，前OpenAI研究员Diogo Almeida指出，原研究存在关键缺陷：对所有模型使用了固定的训练数据量（约1300亿token）和余弦学习率衰减，这使得大模型训练不足、性能过早“饱和”，从而得出“加数据无用”的错误结论。这一错误直至2022年DeepMind发布Chinchilla研究才被部分纠正，后者证明模型参数与训练数据应均衡扩展。但后续研究发现Chinchilla自身拟合也存在问题。更深刻的反思在于，当前基于英语数据得出的Scaling Law可能具有语言局限性，例如训练法语模型的效率远高于英语，这表明现有算力配置方案可能并非探索通用智能的最优路径。该bug导致业界多年将算力过度投入于参数扩张，而非数据质量与多样性，可能延缓了高效AI的发展进程。

marsbit07/05 23:58

marsbit07/05 23:58

拖更三年，北大校友翁荔最新长文刷屏

前OpenAI副总裁翁荔（Lilian Weng）发表了一篇关于AI扩展定律（Scaling Laws）的深度分析文章。文章指出，这条指导了AI行业数百亿美元投入的核心定律，远比人们想象的更为脆弱。文章回顾了Scaling Laws的基本思想，即模型性能随规模扩大而可预测地提升。然而，OpenAI与DeepMind在关键问题上得出了相反结论：给定算力，资源应更多分配给模型还是数据？OpenAI的Kaplan团队认为模型增长应更快，而DeepMind的Chinchilla团队则认为应等比增长。后来研究发现，这一分歧源于参数统计口径的差异和实验规模不足，导致Kaplan的结论仅适用于小规模场景。更关键的是，被行业广泛采纳的Chinchilla最优配比公式本身也存在方法论瑕疵。2024年有团队复现发现，其损失函数因取均值而非求和，导致优化器提前停止，输出并非最优解。此外，用于外推的关键参数精度不足，放大了误差。文章进一步指出，经典Scaling Laws的根本前提——高质量数据无限供应——正在崩塌。数据重复训练不可避免，新研究引入了惩罚项来修正公式，并发现大模型对数据重复更敏感。这解释了行业为何转向强化学习、测试时计算和合成数据等新路径。翁荔的博客以其清晰深入的技术解析著称，这篇文章历时三年完成。她于2025年联合创立了新公司Thinking Machines Lab。文章强调，下一代AI的进步不仅依赖算力规模，更取决于对这些基础定律细节更精确的理解与运用。

marsbit06/26 04:52

marsbit06/26 04:52

# 金丝雀模型的所有文章

OpenAI塌房，Scaling law原作曝bug，万亿算力全白烧

拖更三年，北大校友翁荔最新长文刷屏

熱門分類

熱門標籤

交易策略

行业资讯