【Información principal】Utilizando solo videos RGB monoculares, "Do as I Do" convierte las operaciones humanas cotidianas en trayectorias ejecutables por Sharpa Wave, completando el enlace clave para la operación hábil similar a la humana desde el video hasta los datos del robot.
Los humanos aprenden operaciones hábiles, a menudo, comenzando por "ver".
Los niños ven a otros batir huevos, verter agua, clavar clavos, y poco a poco pueden aprender estas acciones mediante la imitación. Pero para los robots es diferente. El aprendizaje de los robots actuales depende más de "hacer", como la teleoperación de alto costo, la ejecución masiva en simulaciones o la recopilación de datos en escenarios cuidadosamente configurados.
De hecho, los datos que los robots pueden "ver" ya existen. YouTube, conjuntos de datos en primera persona y videos generativos contienen enormes cantidades de material de interacción entre manos humanas y objetos. El verdadero cuello de botella no es la falta de datos , sino si se puede completar la transformación de datos: ¿cómo convertir estos videos monoculares RGB con ruido en trayectorias de movimiento que las manos hábiles multifuncionales puedan ejecutar?
El flujo de trabajo de extremo a extremo propuesto por el equipo de UC Berkeley tiene como objetivo resolver este problema, logrando el primer enlace completo capaz de generar trayectorias ejecutables por manos hábiles reales a partir de videos de la red: primero reconstruye el proceso de interacción mano-objeto 4D a partir de videos RGB monoculares en escenarios reales, y luego redirige estas trayectorias de interacción a la mano hábil Sharpa Wave con 22 grados de libertad.
Enlace del artículo: https://arxiv.org/abs/2606.19333
Enlace del proyecto: https://do-as-i-do.com/
Este camino completo generó 500 trayectorias validadas en 20 tipos de acciones operativas, y desplegó 10 tareas reales en una plataforma de doble brazo robótico UR3e + doble mano hábil Sharpa Wave, con una frecuencia de control de 50 Hz.
Problema: "Ver" ≠ "Saber hacer"
Para escalar los datos de robots hábiles, aún se enfrentan tres desafíos estructurales:
La interacción mano-objeto en videos RGB monoculares sigue siendo difícil de reconstruir de manera estable
Los videos de escenarios reales a menudo presentan problemas como desenfoque de movimiento, oclusión, ambigüedad de profundidad, y los tipos de objetos tampoco son fijos. Métodos de seguimiento como FoundationPose pueden perder el bloqueo de pose con un ligero desenfoque. Algunos métodos de reconstrucción conjunta dependen más de entornos de laboratorio o solo pueden manejar categorías de objetos predefinidas.
Sin una reconstrucción 4D mano-objeto estable, los videos humanos son difíciles de usar en el aprendizaje de robots.
Las trayectorias de referencia ruidosas pueden hacer que la redirección de movimiento falle
Los métodos previos de redirección de movimiento con conciencia dinámica, como SPIDER o métodos de seguimiento basados en aprendizaje por refuerzo (RL), generalmente asumen que la entrada son datos de captura de movimiento (MoCap) limpios y verdaderos. Pero en realidad, las trayectorias de referencia reconstruidas a partir de videos de la red pueden no ser limpias. Pueden tener discontinuidades temporales, relaciones de contacto incorrectas o incluso estados iniciales físicamente inválidos.
Estos problemas afectan directamente la optimización posterior. Los experimentos del artículo muestran que el uso directo de métodos de optimización basados en muestreo en estas trayectorias de referencia ruidosas puede tener una tasa de fallo del 75%.
La teleoperación en sí misma es difícil de escalar
La teleoperación puede proporcionar datos reales de robots, pero su costo es alto. Depende de operadores profesionales, equipos especializados y requiere recopilación específica para cada tarea. Solo con teleoperación, es difícil cubrir las ricas operaciones de una hora de video humano cocinando, y mucho menos la enorme cantidad de videos humanos en todo Internet.
Por lo tanto, "Do as I Do" busca responder a la pregunta: ¿Puede un robot pasar de "ver" a "hacer" utilizando solo videos RGB monoculares, sin conocimientos previos de agarre predeterminados y sin limitar las categorías de objetos rígidos?
Solución
El proceso de "Do as I Do" se divide en dos etapas:
Etapa uno: Uso de difusión guiada para un seguimiento estable de objetos
SAM 3D puede generar mallas de objetos para una imagen monocromática. Pero si cada fotograma se procesa de forma independiente, los resultados generados pueden derivar fácilmente y es difícil mantener la continuidad temporal.
Por lo tanto, "Do as I Do" intenta primero seleccionar un fotograma de anclaje y fijar la forma del objeto en este fotograma. En el proceso de coincidencia de flujo y eliminación de ruido de los fotogramas subsiguientes, el sistema hace que el resultado del muestreo de pose del fotograma actual se acerque a la pose del fotograma anterior, obteniendo así trayectorias de pose más continuas mientras se mantiene consistente la forma del objeto. Al mismo tiempo, el sistema también ajusta la pose de manera adaptativa según la velocidad de rotación del objeto estimada por el seguimiento de puntos 2D. Esto evita un seguimiento demasiado rígido y reduce los giros erróneos.
En una evaluación comparativa manual de 150 videos de escenarios reales, los evaluadores consideraron que los resultados de seguimiento de "Do as I Do" fueron mejores que los de FoundationPose en el 67% de las muestras. En muchas muestras, múltiples evaluadores dieron juicios consistentes.
Etapa dos: Redirección de movimiento robusta para trayectorias de referencia ruidosas
"Do as I Do" se basa en el marco de optimización de muestreo / MPPI de SPIDER, incorporando además tres diseños adicionales para manejar las trayectorias de referencia ruidosas reconstruidas a partir de videos de la red:
Tras estas mejoras combinadas, "Do as I Do" logró aumentar la tasa de éxito de la redirección de movimiento del 25% al 71% en trayectorias de referencia ruidosas de escenarios reales.
Resultados experimentales
Prueba de referencia de capacidad de reconstrucción (SOTA)
Prueba de referencia de redirección de movimiento
Fuente de datos de las 500 trayectorias validadas
Este método cubre finalmente 20 tipos de acciones operativas. Estas acciones no son simplemente tomar o colocar, sino operaciones complejas más cercanas a la vida diaria humana, incluyendo colocar, tomar, fregar, untar, exprimir, planchar, cepillar, desempolvar, cavar, borrar, verter, escribir, batir, mezclar, pinchar, compactar, taladrar, martillar, cortar y untar salsa.
Implementación en robots reales
Estas trayectorias no se quedaron solo en la simulación. El equipo de investigación seleccionó 10 acciones representativas y las implementó en una plataforma de doble brazo robótico UR3e + doble mano hábil Sharpa Wave, completando la ejecución real con una frecuencia de control de 50 Hz.
Las acciones implementadas cubren diferentes formas de objetos y múltiples modos de agarre, incluyendo agarre de tres dedos tipo escritura, agarre de fuerza, agarre palmar y agarre de extensión paralela.
Sharpa Wave tiene 22 grados de libertad, un tamaño cercano a la mano humana, por lo que es más adecuada como cuerpo objetivo para la transferencia de movimientos de manos humanas. Acciones como batir, mezclar o martillar requieren la cooperación de ambas manos, algo difícil de lograr con pinzas paralelas tradicionales. La frecuencia de cambio de gestos de Wave superior a 4 Hz y la fuerza de punta de dedo de 50 N soportan los requisitos de fuerza y velocidad de estas acciones.
Desde la reconstrucción, la simulación (MuJoCo Warp, 200 Hz) hasta la implementación real, el equipo de investigación utilizó Sharpa Wave como la mano objetivo para la redirección de movimiento, migrando las trayectorias operativas de los videos humanos a este cuerpo.
EgoScale también redirigió los puntos clave de la mano humana a esta mano, mientras que CAIP realizó la evaluación y validación en una plataforma Dexmate Vega + doble Wave. Debido a que la mano objetivo es más cercana a la mano humana, las diferencias morfológicas que el sistema necesita superar al migrar acciones humanas a la ejecución del robot también son menores.
Manual de selección: Por qué el 95% de los videos de la red aún no se pueden usar directamente
Para los equipos que desean utilizar datos de videos humanos a gran escala, incluidos los equipos de investigación en direcciones como EgoScale, "Do as I Do" también ofrece un recordatorio muy práctico: más videos no siempre son mejores, y la capacidad de filtrar datos utilizables es igualmente importante.
El equipo de investigación analizó 2000 fragmentos de video de 10 segundos del conjunto de datos 100DOH (ya filtrados por interacción mano-objeto):
El resultado es directo: si no se preprocesan primero los videos originales y se introducen directamente en el aprendizaje de robots, los datos realmente utilizables pueden reducirse a aproximadamente una vigésima parte. Por lo tanto, "Do as I Do" también resume un conjunto de puntos clave para el filtrado de datos: verificar si la mano y el objeto están siempre en el cuadro, confirmar si la acción cruza cortes de cámara, excluir fragmentos con movimiento excesivo de la cámara e identificar situaciones donde SAM 3D podría fallar. Para cualquier equipo que desee establecer un flujo de trabajo de "video humano a ejecución del robot" en manos hábiles, este proceso de filtrado se convertirá en un paso básico e ineludible.
Conclusión: Los videos humanos se están convirtiendo en datos para robots
Durante mucho tiempo, "Do as I Do" parecía más un ideal en el campo de la inteligencia artificial (IA): hacer que los robots comprendan las demostraciones humanas y transfieran estas acciones a sus propios cuerpos. Pero esta investigación de UC Berkeley está convirtiendo este ideal en realidad: al ingresar un enlace de video, el sistema puede reconstruir el proceso de interacción mano-objeto y convertirlo en trayectorias de acción ejecutables por Sharpa Wave.
En cierto sentido, el conjunto de datos de operaciones más grande del mundo ya existe: está escondido en los videos que las personas graban, suben y comparten todos los días. Lo que "Do as I Do" hace es convertir estos videos en trayectorias de articulación de 22 grados de libertad que las manos hábiles puedan ejecutar.
Observar, reconstruir, redirigir y luego ejecutar en un robot real.
Referencias: https://do-as-i-do.com/
Este artículo proviene del WeChat público "New Zhiyuan", editado por: LRST
