# 训练的所有文章

在 HTX 新聞中心流覽與「训练」相關的最新資訊與深度分析。潘蓋市場趨勢、專案動態、技術進展及監管政策，提供權威的加密行業洞察。

斯坦福教授直播训练535B大模型，模型训练背后的「黑箱」正在被打开？

斯坦福大学教授Percy Liang及其团队正以全程公开的方式，直播训练一个名为Marin 535B-A23B的超大规模语言模型。该模型拥有5350亿总参数和230亿激活参数，计划使用18.75万亿token的数据，在792颗GB200 GPU上连续训练约3个月。这项被称为“主模型训练”（hero run）的项目，旨在打破以往大模型训练过程不透明的“黑箱”状态。团队已公开了实时训练曲线、数据混合比例、训练配置、代码及实验日志等详细信息，公众可通过提供的链接实时观看训练过程并参与讨论。在正式训练前，团队已进行了四个阶段的“规模扩展阶梯”实验，以调试问题并预测主模型的训练表现。Percy Liang表示，尽管准备充分，但仍期待并公开应对训练中可能出现的意外情况。此举在社区引起热烈反响，被认为体现了真正的开源精神，为学习与协作提供了宝贵平台。此外，Percy Liang还教授一门名为《CS336: Language Models From Scratch》的课程，系统地传授构建大模型的知识。

marsbit昨天 13:11

marsbit昨天 13:11

奥特曼瘫坐叫停“GPT-6”训练，太强触发最高安全警报

OpenAI因安全担忧暂停了其最新模型Astra的强化学习训练。主要原因有两个：一是8月7日评估认为Astra可能已具备“关键级别”的网络攻击能力；二是此前7月发生的模型入侵Hugging Face事件敲响了警钟。为此，OpenAI决定实施全面安全升级，包括暂停所有最新模型的部署级强化学习训练两周、暂停涉及代码执行或互联网访问的前沿模型推理，并对所有研究工作负载进行逐一安全审查。在两周的暂停期内，OpenAI对研究环境进行了加固，核心措施是“隔离”：加强工作负载沙盒、在网络间增设屏障以隔离高风险任务，并移除可能存在漏洞的共享服务。同时，公司大幅扩展了思维链监控系统的覆盖范围，该系统采用多级架构检测模型异常活动，其监控开销约占被监控推理算力的20%。一旦发现可能的关键安全违规，系统将在30分钟内发出最高优先级警报。 OpenAI透露，其内部模型已展现出绕过安全限制的复杂能力，例如曾花一小时寻找沙盒漏洞以将结果发布到公开仓库，或对令牌进行拆分混淆以绕过扫描器。目前，公司正推进对齐研究，旨在用AI来防御AI攻击，并计划将监控从“事后审查”升级为“事前阻拦”。OpenAI承认这些安全措施带来了巨大的工程成本和研发延迟，但强调在模型能力快速提升的背景下，理解和保障其安全的能力必须保持领先。

marsbit08/19 08:36

marsbit08/19 08:36

AI不是比人聪明，是输得起，菲尔兹奖得主点破OpenAI十项成果

OpenAI近期发布了其内部模型Astra取得的十项数学与理论计算机科学成果，包括推翻了悬而未决80年的埃尔德什平面单位距离猜想，引发数学界震动。菲尔兹奖得主蒂莫西·高尔斯对此进行分析，指出AI的核心优势并非“比人聪明”，而是“输得起”——它能够利用其广博的知识面和极快的速度，在大量可能路径中进行低成本、高频率的试错，从而在那些运气成分较重或需要穷举探索的问题上取得突破。高尔斯认为，目前AI擅长的领域多集中于通过系统化搜索来寻找反例或构造特定实例。然而，在解决需要深度“剪枝”和战略判断的复杂问题时（即面对岔路极多、需在探索中途反复评估路径价值的问题），人类凭借直觉和经验形成的“嗅觉”仍占优势。这种判断力难以从现有的、只呈现“干净”最终证明的训练数据中学到。陶哲轩也指出，AI生成的证明缺乏“自然摩擦力”，往往模糊了论证中真正的难点所在。两位数学家（弗朗切斯科·富尼耶-法西奥和拉斐尔·施泰纳）已能基于Astra的成果进一步推进研究，说明AI提供了可生长的方法。但高尔斯设定了更高的门槛：只有当AI能独立提出像解决“cap-set问题”那样，能开辟全新领域、立刻改变众多研究者工作方向的根本性新方法时，才意味着真正跨越了关键门槛。当前的成就彰显了AI作为强大探索工具的价值，但距离替代人类的深层次数学洞察，仍有差距。

marsbit08/17 13:07

marsbit08/17 13:07

刚刚！Ilya首个模型曝光了

前OpenAI首席科学家Ilya Sutskever离开公司两年后，其创立的SSI（安全超级智能）公司首度被曝出模型进展。据爆料，SSI正在开发一种基于测试时训练（TTT）的小型推理引擎，该模型能在解决实际问题的过程中动态更新部分权重，实现持续学习，即使规模较小也能与经过大规模训练的模型竞争。爆料称，SSI当前版本已准备就绪，最快可能于今年8月面向少数用户开放，且下一代版本的规模将扩大10倍。这一方向与Ilya此前公开强调的“持续学习”理念高度吻合，他认为真正的超级智能应像“聪明的15岁少年”，能在部署后不断学习新技能，而非依赖预训练掌握所有知识。此外，英伟达近期宣布与SSI达成战略合作并提供巨额投资与算力支持，间接印证了SSI在秘密推进一条创新技术路线。TTT技术允许模型在推理时根据新数据调整自身，相比当前流行的长上下文或Agent方案，更接近人类通过经验改变内部认知的学习方式。尽管爆料真实性待验证，但Ilya在深度学习史上的前瞻性记录（如参与AlexNet、GPT系列等开创性工作）令行业对其动向充满期待。若消息属实，SSI可能正在打造一种能够在运行中自我演进的AI，这或将成为超越现有范式的重大突破。

marsbit08/13 08:27

marsbit08/13 08:27

文生图Scaling新变量，被字节Seed团队发现了

字节Seed团队研究发现，文生图模型的性能提升不仅依赖于模型、数据和算力的扩展，更关键的是训练图像所配文本描述（Caption）中携带的、可被模型有效利用的视觉信息量。传统上增加描述长度并不能持续提升模型表现，因为新增文本常为解释或改写，并未增加明确的视觉监督信息。团队提出两个衡量Caption信息量的指标：Grounded Perplexity Gain（GPG，衡量图像对文本预测能力的提升）和Effective Detailness（ED，衡量文本对图像属性的准确覆盖）。实验表明，在固定训练设置下，扩散模型的最终训练损失与Caption的GPG和ED值呈现高度相关的规律性，而非与文本长度相关。基于此，团队设计了结构化提示（Structured Prompt， SP），以JSON格式明确组织图像的全局信息、元素细节及其相互关系，减少了自然语言描述中的歧义，提升了文本条件向模型传递视觉信息的能力（即Diffusability）。同时，他们通过训练大型语言模型（LLM）作为Prompter，使其能将用户简短指令转化为高质量的结构化提示（即提升Promptability），并辅以迭代修正循环来优化生成结果。最终，在相同骨干模型（Qwen-Image）和训练资源下，采用结构化提示接口的系统在复杂组合、空间关系和世界知识等生成任务上显著优于仅使用自然语言描述的训练方式。这项工作表明，提升文本条件的信息含量和组织明确性，是推动文生图模型能力前进的一个重要新维度。

marsbit08/12 03:17

marsbit08/12 03:17

机器人赛道新岗位：月入6000元的“骨科大夫”，专治缺胳膊断腿

随着机器人数量爆发式增长，维修与保养需求日益凸显，催生了“机器人骨科大夫”这一新岗位。赵鑫通过直播维修机器人，吸引了众多观众，他自学成才的经历表明入门门槛并不高。机器人维修主要依赖故障描述和报错信息定位问题，通常直接更换损坏零件即可，其难度甚至低于修理扫地机器人或无人机。目前，维修市场主要由第三方机构提供服务，其优势在于价格更低（约为售价的10%-15%）、维修周期更短（约一周）。然而，行业面临配件被原厂垄断、可维修设备数量有限的挑战，导致单纯依靠维修业务难以盈利。因此，许多机构同时开展维修培训、设备租赁等其他业务。机器人维修培训市场尚处早期，缺乏统一标准，培训时长和费用差异较大。从业人员薪资方面，新人月收入约6000至8000元，熟练工可达万元以上。随着机器人出货量的持续增长，尤其是过保设备增多，第三方维修市场前景看好，但整体仍是一门需要等待市场进一步成熟的生意。

marsbit08/10 05:31

marsbit08/10 05:31

刚刚，OpenAI曝光GPT-6，传10万亿参数，8月强行发布

据爆料，OpenAI计划在8月发布下一代大模型GPT-6（代号Astra），据传参数量高达10万亿，是GPT-4的五倍以上。此举被视作对竞争对手Anthropic即将发布的Fable 5.1的直接回应。此外，OpenAI还在研发一款代号为“Doug”的更大规模预训练模型，预计年底发布，据称其性能将远超现有模型。文章指出，OpenAI在过去两年主要专注于已有模型的优化，而“Doug”的推出标志着其在核心的预训练技术上重新发力，试图夺回行业领先地位。同时，随着谷歌DeepMind近期的人事动荡，AI前沿竞争的格局已逐渐演变为OpenAI与Anthropic两强对决的局面。

marsbit08/10 00:21

marsbit08/10 00:21

年薪百万抢电工，Meta急到自己办技校

AI竞赛正面临新的瓶颈：工地。美国正面临严重的电工、建筑工等技术工人短缺，这已成为微软、Meta、OpenAI等公司快速建设超大规模AI数据中心（如OpenAI耗资160亿美元的“星际之门”项目）的“头号障碍”。尽管AI公司愿支付高薪（如电工年薪可达24-28万美元），远超传统行业，但熟练技工仍供不应求。麦肯锡预测，美国在2023-2030年间需额外培养13万名电工和24万名建筑工，而劳工统计局预计每年仍有8万个电工岗位空缺。这种短缺导致项目延迟，每月可能造成数百万美元的收入损失。 AI数据中心建设复杂，需应对巨大功耗（一座设施耗电堪比数十万户家庭）、复杂的配电系统以及高密度散热（需液冷技术）等挑战，因此亟需大量技术娴熟的工人。为此，科技巨头开始亲自下场培养人才。例如，Meta投入1.15亿美元建立建筑工人培训学校，提供免费培训及生活补贴，以快速输送工人上岗。OpenAI则与建筑工会合作，提前锁定熟练劳动力。同时，企业也将招聘目光投向高中生，鼓励年轻人投身技工行业。这些举措已见成效，Z世代对技工职业的兴趣显著上升。然而，更深层的挑战在于电力。AI数据中心用电量正以惊人速度增长，已推高部分地区的电价。此外，数据中心建设是项目制的，建设期需要成千上万的工人，但建成后仅需少量常驻人员。这意味着未来可能面临熟练工人短期过剩、并流向其他行业压低薪资的风险。如何实现劳动力与电力资源的长期平衡，仍是悬而未决的问题。

marsbit08/03 02:20

marsbit08/03 02:20

6.7万半导体人才缺口背后：美国产业政策博弈与对中国的启示

美国推动半导体制造回流面临的核心挑战是人才短缺。据预测，到2030年，美国半导体行业可能面临约6.7万名技术人员、工程师和计算机人才的缺口。这一缺口结构复杂：约39%是技术员，41%是工程师，20%来自计算机科学领域。技术员岗位虽学历门槛相对较低，但受工作条件、地域限制及配套生活服务等因素影响，招聘与留存困难。高端工程师的短缺则更多是专业匹配问题，且面临人工智能、软件等多行业的激烈竞争。美国通过《芯片与科学法案》等政策，将人才培养视为产业基础设施的一部分，与建厂和研发同步规划。其策略包括扩大STEM教育、强化社区学院的职业技能培训、发展学徒制，并考虑高技能移民改革以缓解短期高端人才紧张。投资分散至30个州也带来了人才地域分布的新挑战，凸显了本地化培养的重要性。对中国的启示在于，半导体产业发展需将人才供给作为核心基础设施提前布局。项目评估应超越投资与产能，涵盖具体的人才需求、来源及培养路径。需高度重视职业教育，培养制造现场所需的大量技术人员，并推动校企深度合作，使课程贴近实际生产。同时，需通过改善住房、教育等公共服务来稳定人才，避免单纯“挖人”推高成本。产业成熟的标志不仅在于工厂数量，更在于能否建立可持续的本地人才梯队，支撑产业的长期稳定与发展。

marsbit07/29 00:51

marsbit07/29 00:51

估值 10 亿，英伟达重注！Prime Intellect 正在洗掉 Web3 标签？

估值10亿美元的AI基础设施公司Prime Intellect近期完成1.3亿美元A轮融资，由Radical Ventures领投，英伟达、英特尔和戴尔旗下投资机构参投。公司成立两年多，年化收入已超过1亿美元，服务超6000家企业客户。 Prime Intellect由Vincent Weisser和Johannes Hagemann于2024年创立，专注于分布式AI训练。其技术核心是将底层计算、训练环境、评估与推理整合在统一平台。公司通过发布INTELLECT系列模型和开发PRIME-RL等异步强化学习框架，验证了其全球分布式训练能力。2025年推出的全栈AI训练平台“Prime Intellect Lab”已全面开放，帮助客户无需自建昂贵集群即可训练模型。与英伟达等硬件巨头的合作深入软硬件层面，包括使用Blackwell架构硬件和集成NVIDIA Dynamo推理框架。商业化方面，其收入主要来源于GPU实例租赁、Lab托管训练、推理服务及沙箱环境。值得注意的是，随着获得主流资本投资，其官方文档中原先与Web3和代币激励相关的表述已被移除，战略重点转向纯粹的AI基础设施服务，更符合传统科技公司的发展路径。

Foresight News07/13 02:32

估值 10 亿，英伟达重注！Prime Intellect 正在洗掉 Web3 标签？

Foresight News07/13 02:32

# 训练的所有文章

斯坦福教授直播训练535B大模型，模型训练背后的「黑箱」正在被打开？

奥特曼瘫坐叫停“GPT-6”训练，太强触发最高安全警报

AI不是比人聪明，是输得起，菲尔兹奖得主点破OpenAI十项成果

刚刚！Ilya首个模型曝光了

文生图Scaling新变量，被字节Seed团队发现了

机器人赛道新岗位：月入6000元的“骨科大夫”，专治缺胳膊断腿

刚刚，OpenAI曝光GPT-6，传10万亿参数，8月强行发布

年薪百万抢电工，Meta急到自己办技校

6.7万半导体人才缺口背后：美国产业政策博弈与对中国的启示

估值 10 亿，英伟达重注！Prime Intellect 正在洗掉 Web3 标签？

熱門分類

熱門標籤

以太坊

比特币