机器人看视频学操作，伯克利首次打通互联网视频到灵巧手真机部署链路
加州大学伯克利分校的研究团队提出了一种名为“Do as I Do”的端到端流程，首次成功实现了从互联网单目RGB视频到灵巧手真机部署的完整链路。该方法旨在解决机器人“看”视频却“不会做”的核心难题，即如何将带有噪声的日常人类操作视频，转化为多指灵巧手能够执行的动作轨迹。
系统流程分为两个阶段。第一阶段，通过引导式扩散模型，稳定地从视频中重建出4D手-物交互过程，解决了传统方法在运动模糊、遮挡下跟踪不稳定的问题。第二阶段，针对重建出的带噪声参考轨迹，改进了原有的动作重定向优化框架，通过多项设计显著提升了成功率，从25%提升至71%。
研究团队利用该方法，从网络视频中生成了涵盖放置、书写、搅拌、锤击等20类复杂日常操作的500条已验证轨迹，并选取其中10项成功部署到双UR3e机械臂与双Sharpa Wave灵巧手平台上进行50Hz的真实执行。Sharpa Wave灵巧手因其接近人手的尺度和自由度，更适合此类迁移。
研究同时指出，直接从网络海量视频中筛选可用数据至关重要，未经处理的视频中仅有约5%的片段适合用于机器人学习，并总结了一套关键的数据筛选要点。这项工作标志着将人类视频大规模转化为机器人可执行数据的关键一步，为机器人学习开辟了新的数据来源。
marsbit07/06 07:19
