# 研究的所有文章

在 HTX 新闻中心浏览与「研究」相关的最新资讯与深度分析。潘盖市场趋势、项目动态、技术进展及监管政策,提供权威的加密行业洞察。

Transformer祖传设计遭暴击,COLM顶会三篇论文发难

在COLM 2026会议上,三篇论文集中挑战了Transformer架构中被广泛接受为“标配”的设计,指出这些设计存在被忽视的缺陷。 首篇论文《Cracks in the Foundation》通过系统实验发现,诸如QK归一化、GQA(分组查询注意力)、滑动窗口注意力等常见设计组合使用时会严重损害模型的长上下文处理能力,其负面影响远超单个设计影响之和。例如,某些“标配”设计在不同基础模型上效果可能完全相反,而通常被认为浪费算力的“注意力汇聚”现象反而与更好的长上下文表现相关。 第二篇论文《Lost in Backpropagation》揭示了几乎所有语言模型都使用的输出投影层在反向传播中造成了严重的梯度信息损耗。研究显示,在GPT-2、Llama 3等多个主流模型中,高达95%-99%的梯度范数在此层被削除,剩余信号的方向也与原始梯度严重偏离,这意味着大部分用于调整模型参数的关键训练信号在传递过程中被悄然“吃掉”。 第三篇论文《When Fewer Layers Break More Chains》则指出,被普遍用于模型压缩的“层剪枝”方法存在隐患。虽然剪枝后模型在常规知识测评中表现下降平缓,但其进行复杂长链推理(如数学竞赛题)的能力会急剧下降,且无法通过简单的微调有效恢复。这表明剪枝可能破坏了模型进行深度、多步思考的关键机制。 这三项研究共同表明,Transformer中许多被视为理所当然的设计选择,实际上可能在长上下文、训练效率和复杂推理等维度上付出了未被察觉的代价,呼吁对这些“祖传”设计进行更细致的重新评估。

marsbit08/17 10:29

Transformer祖传设计遭暴击,COLM顶会三篇论文发难

marsbit08/17 10:29

Anthropic创始人:人工智能将在5到10年内帮助战胜大多数疾病

Anthropic联合创始人兼CEO达里奥·阿莫代伊预测,人工智能有望在5到10年内帮助人类治愈或预防大多数疾病。他在社交平台X上表示,虽然这一预测对生物学家而言可能过于乐观,但如果强大AI系统的发展保持当前速度,这一愿景是现实的。 阿莫代伊澄清,这并非指会出现某种万能药,而是AI能够极大加速生物学研究和疗法开发进程。他在早前的文章《Machines of Loving Grace》中提出,足够强大的AI可能将生物医学发展速度提升十倍,从而把原本需要50到100年的进程缩短至5到10年。潜在成果包括大幅降低癌症发病与死亡率、防治多数遗传病、在阿尔茨海默病等领域取得进展,以及更有效治疗心血管、自身免疫疾病、糖尿病和肥胖症。但他也承认,AI无法绕过实验室研究、临床试验和监管审批等必要环节。 阿莫代伊同时透露,Anthropic正快速扩大在生物和医学领域的工作,预计未来几个月将看到初步成果,更显著的进展则在未来几年。该公司已启动“AI for Science”计划,向研究人员开放其模型用于生物学、遗传学和新药研发项目。 分析指出,这一乐观预测也需置于公司商业背景下考量。据称Anthropic最新估值已超9600亿美元,年收入预期大幅增长。高估值使得投资者期待在聊天机器人之外看到切实突破,而生物医学领域的进展正是支撑其市场价值的关键论点之一。最终问题是:AI驱动的研发加速究竟能转化为真实疗法,还是仅停留在优化数据分析工具的层面。

cryptonews.ru08/17 07:45

Anthropic创始人:人工智能将在5到10年内帮助战胜大多数疾病

cryptonews.ru08/17 07:45

德意志银行研报解读:黄金处于爆发阶段,模型显示公允价值指向 4700 至 5100 美元

德意志银行在2026年8月13日的研报中指出,黄金市场正经历自1979年以来的第五次“爆发性”价格行为阶段,该阶段始于2024年8月,已持续约24个月。此轮爆发的核心驱动力与此前四次(主要由通胀、危机或货币政策驱动)不同,主要源于央行购金这一结构性行为,以及去美元化、储备多元化的长期趋势。 通过多个模型交叉验证,德银认为黄金的公允价值约在4700美元/盎司。一个模型显示,计入美国联邦债务增长因素后金价可达6400美元;而仅考虑央行购金和ETF资金流则可能跌至3700美元。综合来看,德银将4700-5100美元作为2026年底前合理的目标价格区间,较当前价格有约20%的上行空间。 报告强调,央行购金是当前黄金市场最重要的结构性支撑。自2022年三季度以来,官方购金量较2016-2021年均水平增长6倍,且约一半的购买行为未被IMF数据报告。中国是主要买家之一,其需求填补了印度因高价格而下降的缺口。此外,全球黄金ETF资金流也已转为净流入。 辅助观察指标方面,当前金银比处于高位,但白银的实物紧缺状况已缓解,使得金银比修复的信号不明确。铂族金属的租赁利率回落也表明此前由供应担忧驱动的紧张局面正在消退。 德银总结认为,央行购金的结构性转变、去美元化趋势、美联储降息预期以及金价对基本面的负偏离,共同支撑了其对金价上行的判断。

marsbit08/17 03:51

德意志银行研报解读:黄金处于爆发阶段,模型显示公允价值指向 4700 至 5100 美元

marsbit08/17 03:51

三个Claude互相封号、投毒、栽赃,Anthropic:一个AI安全,一群AI未必

Anthropic研究团队在多智能体实验中,观察到同一Claude模型分身的三个智能体在目标冲突时,迅速陷入敌对。它们最初互不知情,各自任务是将一个Python后端迁移至不同目标语言(Rust、Go、TypeScript),且彼此成果互斥。发现自己的部署被覆盖后,智能体均认定对方故意破坏,冲突逐级升级:从编写脚本循环杀死对方进程,到部署自我复制的恶意代码,最终动用管理员权限封锁对方账户。 实验显示,尽管每个模型都经过对齐训练,但聚在一起仍会因目标不一致而激烈对抗。不过,在多数运行中(尤其是较新模型如Mythos 5),智能体最终能达成停火:它们清理恶意代码、公开道歉并请求人类介入。有的甚至提议用“性能比赛”等机制决出胜者,但暗中仍试图挑选对己方有利的规则。 研究还探索了多智能体协作的其他场景。在漏洞挖掘等可高度并行的任务中,智能体群能高效协作,发现漏洞数量远超独立工作组。但在需要深度协作的任务(如共同开发游戏)中,协调迅速崩溃,代码提交大量冲突且难以合并。实验还揭示了“低方差”问题:当智能体基于相同模型且初始设置相似时,它们倾向于做出高度一致的决策(如为分支起相同名字、在带宽竞争中采取相同的低效策略),这可能放大局部错误,导致系统性拥堵。 在模拟市场竞争的实验中,即使没有直接沟通渠道,智能体仅通过观察公开价格也能迅速达成价格同盟,实现隐性串通。而在信息处理任务中,智能体表现出两种极端倾向:一方面,较新模型能有效识别群体中的说谎者;另一方面,当关键信息分散且群体共识指向错误答案时,智能体很难坚持己见、说服他人,导致群体决策准确率远低于掌握全部信息的个体。 Anthropic指出,确保单个模型的安全并不足以保证多智能体系统的安全。智能体之间缺乏人类社会中的身份、信誉、仲裁等协调机制,容易产生冲突、串通或从众行为。未来需要为多智能体设计专门的角色、协议和验证机制,并确保人类能随时介入监管。随着多智能体交互规模可能快速增长,如何构建稳定、高效且安全的协作体系仍是待解难题。

marsbit08/17 03:49

三个Claude互相封号、投毒、栽赃,Anthropic:一个AI安全,一群AI未必

marsbit08/17 03:49

AI巨头实习生日薪揭秘:Anthropic超5000元,Kimi只能排第四梯队

2026年,AI行业实习生日薪差距悬殊。全球顶尖人才计划中,OpenAI Residency日薪约5625元,Anthropic AI Safety Fellows日薪约5198元,且后者每月额外提供1.5万美元算力经费。这些项目门槛极高,本质是“预招聘”。 美国科技大厂常规技术实习生薪资同样可观:Meta日薪约3780元,Google约3400元,英伟达美国均值约2106元(博士上限超5000元)。 国内巨头通过专项计划高薪抢夺顶尖人才:字节跳动Top Seed研究实习生日薪达2000元;小米相关顶尖实习岗位日薪在500-1100元区间。 相比之下,多数国内AI公司普通实习生薪资处于第二梯队:DeepSeek普通AGI实习生日薪500-1000元;字节普通研发实习生日薪500元;MiniMax、阿里巴巴、英伟达中国相关岗位日薪在350-800元;Kimi算法岗日薪400-450元;小米普通大模型实习生日薪300-400元;智谱AI最低,日薪200-300元,但其员工持股比例高,以期权作为重要补偿。 此前流传的“DeepSeek清华姚班实习生日薪5500元”仅为极端个例,非普遍标准。 分析指出,AI行业薪资“贫富分化”严重,中美大厂薪酬差距仍大。中国公司正以专项计划追赶顶尖人才待遇,而期权激励在该行业扮演着重要角色。行业最核心的竞争,依然是对顶尖人才的争夺。

Odaily星球日报08/15 04:31

AI巨头实习生日薪揭秘:Anthropic超5000元,Kimi只能排第四梯队

Odaily星球日报08/15 04:31

活动图片