# 视觉-语言-动作模型的所有文章

在 HTX 新闻中心浏览与「视觉-语言-动作模型」相关的最新资讯与深度分析。潘盖市场趋势、项目动态、技术进展及监管政策,提供权威的加密行业洞察。

从代码到认知:机器人大脑进化的万字指南

本文概述了机器人大脑从传统代码控制到现代人工智能模型驱动的演进历程。文章首先回顾了前大型语言模型(LLM)时代,机器人依赖手工编码的模块化技术栈(感知、状态估计、规划、控制)和行为树,虽稳定但泛化能力差。随后,深度学习改进了感知,强化学习和模仿学习进入了控制层,但策略仍较为狭窄。 ChatGPT的出现带来了转折。LLM最初被用作自然语言编译器,将指令转化为机器人可执行的原子技能序列(如谷歌的SayCan)。但更重要的突破是视觉-语言-动作模型(VLA),例如谷歌的RT-2和开源的OpenVLA,它能将视觉、语言信息融合,直接输出动作指令,实现了推理与行动的耦合。 目前最先进的系统采用“双脑”架构(如Figure AI的Helix、NVIDIA GR00T):一个慢速、参数多的“系统2”负责高层次推理和规划;一个快速、小巧的“系统1”负责高频动作生成。其下还可能有一个“系统0”反射层处理平衡等底层控制。出于延迟和可靠性考虑,安全关键的控制回路通常在机器人本地(如NVIDIA Jetson模块)运行,而对话界面和集群学习等任务可交由云端。 开源模型(如OpenVLA、GR00T、π0)降低了行业门槛,让初创公司能在其基础上用自有数据微调。然而,当前VLA机器人仍存在任务中途恢复能力弱、样本效率低、缺乏物理常识和长期规划能力等局限。 这催生了下一代方向:世界模型。这类模型(如NVIDIA Cosmos、Meta V-JEPA)能根据当前状态和动作预测未来结果,让机器人在行动前进行模拟和评估,从而改善恢复能力、泛化能力和长期规划。架构上主要分为像素级视频扩散、联合嵌入预测架构(JEPA)和潜在动作世界模型等流派。 文章最后指出,数据采集(特别是远程操作数据)是核心竞争力,仿真训练至关重要,机器人成本正在迅速下降。当前物理AI的发展阶段大约相当于“GPT-2时代”,虽未完全自主,但正通过架构的持续演进(从代码到感知、规划、策略,最终到世界模型),朝着更通用、更强大的方向稳步前进。

marsbit06/07 12:55

从代码到认知:机器人大脑进化的万字指南

marsbit06/07 12:55

活动图片