# 操纵的所有文章

在 HTX 新闻中心浏览与「操纵」相关的最新资讯与深度分析。潘盖市场趋势、项目动态、技术进展及监管政策,提供权威的加密行业洞察。

具身智能“高考”难疯了,人类100分,最强模型12.8

近日,一个名为RoboDojo的新型机器人操作评测基准发布,旨在全面评估具身智能模型的综合能力。该基准由学术机构联盟推出,包含42个仿真任务和18个真实世界任务,覆盖泛化、记忆、精细操作、长程执行和开放语义理解五大核心维度。 评测结果显示,当前最强通用机器人策略在仿真任务中的平均成功率仅为8.80%,在真实世界任务中最好模型的平均成功率也仅有12.8%。相比之下,人类专家在仿真和真实任务中的成功率分别达到76.03%和100%,差距显著。 RoboDojo的仿真任务设计复杂,例如在泛化任务中场景物体可达25个且随机变化,记忆任务需识别曾在传送带出现的物体,精细操作要求完成插管、对齐等高精度动作。其实验室还设立了标准化的真机评测平台(RoboDojo-RealEval),使用多款双臂机器人执行如盖积木、做面包、插充电器等日常任务,并统一硬件、布局与评测流程,确保结果可复现、可比较。 在公开排行榜中,仿真任务榜首Hy-Embodied-0.5-VLA平均成功率仅8.80%,真实任务榜首π0.5成功率12.8%。模型表现不均,尤其在开放语义任务上,最强模型成功率仅约1.67%,表明现有系统在理解新指令并可靠执行方面仍很薄弱。 为支撑评测,项目同时提供了异构并行仿真工具和统一策略接入层XPolicyLab,帮助研究者高效集成和比较不同模型。团队表示,RoboDojo如同“具身智能的珠峰”,旨在通过标准化、多维度的评测推动领域发展,未来还将扩展灵巧操作、移动操作等更多评测方向。

marsbit07/08 11:49

具身智能“高考”难疯了,人类100分,最强模型12.8

marsbit07/08 11:49

机器人看视频学操作,伯克利首次打通互联网视频到灵巧手真机部署链路

加州大学伯克利分校的研究团队提出了一种名为“Do as I Do”的端到端流程,首次成功实现了从互联网单目RGB视频到灵巧手真机部署的完整链路。该方法旨在解决机器人“看”视频却“不会做”的核心难题,即如何将带有噪声的日常人类操作视频,转化为多指灵巧手能够执行的动作轨迹。 系统流程分为两个阶段。第一阶段,通过引导式扩散模型,稳定地从视频中重建出4D手-物交互过程,解决了传统方法在运动模糊、遮挡下跟踪不稳定的问题。第二阶段,针对重建出的带噪声参考轨迹,改进了原有的动作重定向优化框架,通过多项设计显著提升了成功率,从25%提升至71%。 研究团队利用该方法,从网络视频中生成了涵盖放置、书写、搅拌、锤击等20类复杂日常操作的500条已验证轨迹,并选取其中10项成功部署到双UR3e机械臂与双Sharpa Wave灵巧手平台上进行50Hz的真实执行。Sharpa Wave灵巧手因其接近人手的尺度和自由度,更适合此类迁移。 研究同时指出,直接从网络海量视频中筛选可用数据至关重要,未经处理的视频中仅有约5%的片段适合用于机器人学习,并总结了一套关键的数据筛选要点。这项工作标志着将人类视频大规模转化为机器人可执行数据的关键一步,为机器人学习开辟了新的数据来源。

marsbit07/06 07:19

机器人看视频学操作,伯克利首次打通互联网视频到灵巧手真机部署链路

marsbit07/06 07:19

首次,纯人类视频预训练VLA灵巧操作,少量数据微调就能部署成功

微软亚洲研究院与清华大学合作提出创新预训练框架VITRA,首次实现仅使用纯人类视频数据对视觉-语言-动作(VLA)模型进行大规模预训练,并成功应用于机器人灵巧操作。 该研究核心是构建了一套自动化流程,将海量无标注的人类活动视频转化为可用于机器人训练的V-L-A数据。方法包括:从单目视频中精准恢复3D手部与相机运动轨迹;基于手部移动速度极小值进行原子级动作分割;结合视觉与轨迹信息,利用大模型自动生成语言指令。由此构建了包含百万片段、千万帧的超大规模数据集。 基于此数据集预训练的VLA模型,结合了视觉语言模型骨干与扩散动作预测器。模型在完全未见的真实环境中展现出强大的零样本手部动作预测能力。仅需使用约1.2千条真实机器人数据对预训练模型进行微调,即可在配备灵巧手(如星动XHAND1)的真实机器人上成功执行抓取、放置、倾倒等多种复杂操作任务,并对新物体、新环境表现出卓越的泛化能力和鲁棒性。 研究还验证了模型性能随预训练数据规模增加而提升的缩放定律。该工作为利用丰富易得的人类视频数据突破机器人训练数据瓶颈提供了新路径,推动了面向真实复杂场景的具身智能发展。

marsbit06/08 08:53

首次,纯人类视频预训练VLA灵巧操作,少量数据微调就能部署成功

marsbit06/08 08:53

活动图片