# Transformer架构的所有文章

在 HTX 新聞中心流覽與「Transformer架构」相關的最新資訊與深度分析。潘蓋市場趨勢、專案動態、技術進展及監管政策，提供權威的加密行業洞察。

10000小时人类数据，练出全球首个全身移动操作隐式世界动作模型

过去两年，人形机器人行业从整机硬件转向模型能力竞争，如何理解环境、协调全身成为关键。具身智能公司智在无界发布全球首个面向全身移动操作的隐式世界动作模型Being-M0.7，利用超10000小时人类数据预训练，通过少量真机数据适配，实现了全身协调控制。该模型采用隐空间预测而非像素级生成，聚焦语义状态与场景演化，降低计算开销。其核心是Vision-Motion MoT架构，能同时利用配对、纯视频和纯运动数据，缓解机器人数据稀缺问题。模型还构建了人机统一的紧凑运动表征，便于知识迁移。真机测试包括鱼缸捞鱼、镜像取物等复杂任务，展现了在部分观测、长程任务及动态环境中的适应能力。模型通过动作专家模块，实现低频规划与高频控制的解耦，保障实时性与稳定性。此举标志着行业竞争重点从硬件演示转向模型与数据体系。通过从人类行为中学习世界知识再迁移至机器人，为解决真机数据瓶颈提供了新路径，推动具身智能向通用化发展。

marsbit07/15 01:47

marsbit07/15 01:47

给Transformer变个形，LLM竟能变得更聪明

一篇名为《给Transformer变个形，LLM竟能变得更聪明》的文章介绍了一项来自Mila、康奈尔大学和蒙特利尔大学研究者的新工作。该研究提出了“锥形语言模型”概念，其核心思想是：在模型总参数量和计算量不变的前提下，不再为所有网络层均匀分配参数，而是让参数容量（如前馈网络宽度）沿着模型深度方向单调递减。研究发现，传统Transformer等架构对所有层“一视同仁”的参数分配方式可能并非最优。多项前期研究已表明，模型的浅层和深层在功能与重要性上存在差异。研究者通过实验证实，将更多容量集中到模型前段的“头重脚轻”式分配，相比均匀分配或集中于后段的方案，能显著降低模型在验证集上的困惑度，提升预测准确性。在440M参数的模型上，最优的余弦递减配置（前段宽度为基准1.5倍，后段为0.5倍）使困惑度改善了1.84点。这一结论在多种不同架构和更大规模的模型上也得到了验证，且未损害模型处理长上下文的能力。分析显示，深层网络更多是在“重复强调”已有信息，而非创造新理解，因此前段层更能有效利用额外容量。这项研究指出了一个长期被忽视的设计维度：参数容量的分布形状本身就是一个有效的优化杠杆。它为提升模型性能提供了一个几乎零成本的思路，无需改变架构或增加参数，仅需重新分配已有参数。研究者认为，这一思路未来可能同样适用于视觉Transformer、扩散模型等其他领域。

marsbit06/29 12:53

Transformer的八个爹，如今都在哪？

《Transformer的八个爹，如今都在哪？》 2017年，谷歌八位研究人员发表了奠基性论文《Attention Is All You Need》，提出了Transformer架构。如今，这八位作者已全部离开谷歌，分散在AI领域的各个前沿。 **Ashish Vaswani** 与Niki Parmar先后共同创立了Adept AI和Essential AI。最新传闻英伟达正吸纳Essential AI核心团队，Vaswani可能加入。 **Noam Shazeer** 因谷歌未发布其聊天机器人而出走创立Character.AI，后谷歌斥资约27亿美元授权技术并请他回归。近日他再次离职，加入了OpenAI。 **Niki Parmar** 在离开Essential AI后，于2024年底加入了Anthropic，参与Claude模型开发。 **Jakob Uszkoreit** 是“仅用注意力”想法的最初提出者。他于2021年联合创立生物科技公司Inceptive，用AI设计RNA疗法。 **Llion Jones** 于2023年在东京联合创立Sakana AI，探索模型协同演化的新路径，公司已获巨额融资并与大企业合作。 **Aidan N. Gomez** 是当年最年轻的作者（实习生）。他联合创立了企业级AI公司Cohere，专注于为企业提供安全、可控的AI服务。 **Łukasz Kaiser** 是唯一一位始终留在大型实验室做纯研究的作者。他于2021年加入OpenAI，是GPT-4、推理模型o系列的核心贡献者。 **Illia Polosukhin** 于2017年离开谷歌，联合创立了区块链项目NEAR Protocol，并将其定位为未来AI智能体经济的“结算层”。 2024年，其中七人在英伟达GTC大会上重聚。尽管路径各异，但他们都未停止探索。正如他们所言，Transformer并非终点，下一个架构必须“明显地、毫无疑问地更好”才能取代它。

marsbit06/28 05:29

何恺明团队新作：删掉VAE和私有数据后，文生图竟然更强了

何恺明团队发布极简文生图模型MiniT2I，挑战当前依赖复杂组件的行业范式。该模型摒弃了VAE编解码器、AdaLN条件注入、私有数据和强化学习对齐等常见设计，直接在像素空间使用流匹配目标进行训练。其采用改进的MM-JiT架构，用轻量文本适配器取代复杂的条件注入机制，使模型结构更简洁高效。训练数据全程使用公开集，采用预训练加微调的两阶段模式。仅258M参数的B/16版本在多个基准测试中超越了参数量大数倍的同类模型，展现出极高的性价比。扩展后的L/16版本在风格、构图等方面已接近更大规模的先进模型。研究证明了文生图模型可通过架构和训练流程的简化实现强大性能，可能推动该领域从“堆料”向“提纯”的范式转换。团队也指出了像素空间模型在patch边界伪影、高分辨率扩展和数据瓶颈等方面的当前局限。

marsbit06/22 10:17

marsbit06/22 10:17

谷歌AI人才接连流失，是压力测试还是“讣告”前奏？

谷歌接连失去三位顶级AI人才：工程副总裁、Transformer架构提出者之一Noam Shazeer加入OpenAI；DeepMind副总裁、AlphaFold核心人物John Jumper加入Anthropic；对话式AI先驱Daniel De Freitas的动向也引人关注。这些流失触及了Transformer、对话式AI和科学AI等关键领域，引发市场对谷歌竞争力的担忧。然而，将此事视为谷歌的“讣告”可能为时过早。这更应被看作一次压力测试。人才流失本身反映了谷歌仍是AI顶级人才的核心储备库，正因其重要才成为竞争对手IPO前夜的重点挖掘对象。谷歌的优势在于其远超单一模型的“全栈”能力：拥有自研TPU、云基础设施、Gemini等模型矩阵，以及搜索、YouTube、安卓等覆盖数十亿用户的终端产品，构成了强大的集成生态和分发网络。此外，谷歌通过巨额投资和云服务与Anthropic等对手形成深度绑定，在“AI淘金热”中同时扮演“掘金者”和“卖水人”的角色。尽管面临创新者困境，核心搜索业务转型挑战以及大公司决策迟缓等问题，但谷歌正通过积极整合Gemini、重塑搜索体验、战略性收购（如Character.AI）等方式应对。AI竞赛是长期游戏，谷歌凭借其技术栈、资源与生态，仍是少数有能力在多层面参与竞争的公司。当前的动荡是一次严峻考验，但并非终局。

marsbit06/21 08:54

marsbit06/21 08:54

三天内连失两位传奇：谷歌的AI人才大坝，正在决堤？

谷歌在三天内接连流失两位顶尖AI人才：Transformer架构核心作者、Gemini联合负责人Noam Shazeer宣布离职并加入已秘密提交IPO申请的OpenAI；两天后，诺贝尔化学奖得主、AlphaFold领导者John Jumper离开工作近九年的Google DeepMind，加入Anthropic。此前，OpenAI创始成员Andrej Karpathy也已加入Anthropic。这并非孤立事件，而是AI顶尖人才持续从谷歌流向OpenAI和Anthropic这一趋势的集中体现。其根本原因在于使命与激励的结构性差异：谷歌的核心商业模式是广告，AI研发常需服务于产品与营收目标；而OpenAI与Anthropic则以推进AGI或专注AI安全为核心使命，为研究者提供了更纯粹、专注的科研环境。此外，两家初创公司正处于IPO前夜，股权激励的潜在回报远超谷歌等成熟巨头。 2023年Google Brain与DeepMind的合并也未能有效解决研究成果转化与文化融合的问题，反而在商业化压力下削弱了长期探索的氛围。尽管谷歌拥有强大的算力、数据和学术积累，但持续的人才流失可能动摇其根本竞争力。当前AI竞争的核心是人才密度，而谷歌正面临其历史上一次安静却深刻的人才危机。

marsbit06/20 04:02

marsbit06/20 04:02

全网吹爆 Noam 加盟，但 OpenAI 的亏损账单又厚了一页

OpenAI近期宣布聘任Transformer架构核心作者Noam Shazeer为架构研究负责人，引发全网热议。然而，同期披露的财务数据却揭示了严峻的亏损现实：2025年公司营收130.7亿美元，运营亏损高达209.2亿美元，即便调整后经营失血依然严重，2026年第一季度现金消耗达37亿美元。文章指出，OpenAI正面临人才持续流失与研究文化褪色的困境，研究职位招聘比例大幅下降，重心已向产品迭代倾斜。Noam的加盟被视为在关键IPO窗口期提振估值的故事素材，但其个人技术能力无法直接解决公司核心的商业模式难题——海量免费用户带来的巨额算力成本（仅2025年算力租赁费就超105亿美元），以及付费转化率不足的问题。与此同时，竞争对手如Anthropic凭借聚焦企业客户、控制成本与强调合规的策略，已实现盈利并缩小了与OpenAI的市场差距。这凸显了可持续商业模型的重要性。OpenAI天价引入明星人才，更多是资本叙事需要，而非扭转财务困局的根本解药。在持续烧钱的节奏下，公司正与时间赛跑。

marsbit06/19 02:27

marsbit06/19 02:27

突发，谷歌Gemini联席负责人，被OpenAI挖了

6月19日，谷歌DeepMind研究员、Gemini联席负责人诺姆·沙泽尔（Noam Shazeer）正式加入OpenAI，担任架构研究负责人，负责探索新一代AI模型架构并推动Transformer的演进。沙泽尔是2017年里程碑论文《Attention Is All You Need》的核心作者之一，其提出的Transformer架构为当今主流大模型奠定了技术基础。沙泽尔于2000年加入谷歌，工作近18年，期间还主导了混合专家（MoE）架构等关键研究。2021年他离开谷歌共同创立Character.AI，该公司于2023年估值超10亿美元。2024年，谷歌以约27亿美元的技术授权协议将其团队重新招入DeepMind，并任命他为Gemini联席负责人。此次加盟被外界视为OpenAI近年来最重要的人才引进之一，也是对谷歌的重大人才流失。沙泽尔将在OpenAI专注于研究Transformer之后的新架构方向。目前，AI巨头间的人才竞争日趋激烈，沙泽尔的动向也折射出行业竞争态势。他的加入或将影响下一代AI模型的技术演进路径。

marsbit06/18 04:19

marsbit06/18 04:19

用了10年，奥特曼终于等到了他想要的人

AI传奇人物诺姆·沙泽尔离开谷歌，加入OpenAI。沙泽尔是Transformer架构的奠基人之一，其工作深刻塑造了现代AI。他曾于2021年离开谷歌创办Character.AI，后于2024年被谷歌以高额合作请回，负责核心的Gemini项目。如今转投OpenAI，被其CEO奥特曼称为“从创立之初就最想合作的人”，并表示“花了10年才等到”。OpenAI研究负责人也热烈欢迎沙泽尔担任架构研究负责人。此举被视为OpenAI在人才争夺战中的重要胜利，而谷歌Gemini项目则面临核心人才流失的打击。

marsbit06/18 04:15

marsbit06/18 04:15

清华00后校友王冠再出新作：用1/900 token、1/432算力，颠覆Transformer预训练模型

清华00后校友王冠团队提出了一种名为HRM-Text的高效预训练模型，使用分层循环模型取代标准Transformer。该方法仅需约1/900的训练token和1/432的估计算力，便使1B参数的模型在多项基准测试中达到了媲美2B至7B开源模型的性能，训练成本约1500美元。其核心是通过双时间尺度递归架构增加计算深度，并采用针对指令-回答对的训练目标，只对回答部分计算损失。研究强调了结构先验与针对性训练能显著降低预训练门槛。同时，论文也指出了当前方法在知识覆盖、自适应计算、规模化验证及工程部署方面的局限性，为未来研究指明了方向。

marsbit05/26 03:15

清华00后校友王冠再出新作：用1/900 token、1/432算力，颠覆Transformer预训练模型