Artículo original:Training a Humanoid Robot for Hard Work
Autores: Alberto Rodriguez (Director de Comportamiento del Robot Atlas), Shane Rozen-Levy y Vinay Kamidi (Ingenieros de Investigación)
Compilado por: Felix, PANews
Este robot humanoide es radicalmente diferente a cualquier otro que hayas visto. En el último video, algunas cosas son evidentes: el robot Atlas gira su torso 180 grados, se agacha para levantar una mini nevera y la lleva hacia un ingeniero que está descansando. Pero también hay detalles menos obvios, como cómo el robot utiliza plenamente sus brazos, piernas y torso para realizar tareas de manipulación difíciles para los humanos, y otros que no se ven en el video, como la velocidad de desarrollo del robot y la precisión de sus comportamientos.
Es realmente refrescante, pero ¿por qué hacerlo?
Atlas transportando una mini nevera
Otros robots de Boston Dynamics están diseñados para automatizar el trabajo más pesado. El robot Stretch puede descargar de forma autónoma cajas de hasta 23 kg de un camión en entornos extremadamente calurosos. El robot Spot realiza las mismas mediciones todos los días, a la misma hora exacta, siguiendo la misma ruta de inspección, detectando tempranamente signos de problemas en el taller de la fábrica. Este trabajo es monótono pero requiere una gran atención al detalle, algo que Stretch y Spot proveen diariamente.
El objetivo de Atlas, en cambio, es lograr un rango muy amplio de funcionalidades en escenarios como fábricas, almacenes u obras de construcción que exigen una fuerza, resistencia y destreza excepcionales. Boston Dynamics está trabajando para convertir a Atlas en una herramienta general para el trabajo físico. Lograr el rendimiento y fiabilidad necesarios para entornos reales requiere un salto cualitativo tanto en hardware como en control de comportamiento.
Lo que sigue es una serie de experimentos cuidadosamente diseñados que muestran avances importantes tanto en hardware como en comportamiento. Solo unas semanas después de su presentación pública en enero, Atlas demostró las capacidades de un robot humanoide en términos de fuerza, agilidad y control corporal total.
Inteligencia física para el mundo real
En los últimos años, el mercado ha sido testigo de un cambio fundamental en las arquitecturas de comportamiento, impulsado por datos de demostración y mostrando una capacidad de generalización cada vez mayor. Este es un elemento clave para cumplir la promesa de los robots humanoides: adaptabilidad, rapidez de aprendizaje y facilidad para reasignar tareas. Estas arquitecturas pueden impulsar no solo el comportamiento de un brazo robótico de mesa, sino también de un robot humanoide completo para tareas del mundo real.
Aunque los métodos de vanguardia predominantes actuales producen comportamientos impresionantes, también tienen limitaciones: dependen excesivamente de una retroalimentación continua de la cámara, utilizándola no solo para comprender el mundo, sino también para guiar el ciclo de control; su interacción con el entorno se limita a muy pocas superficies del robot, normalmente los dedos, e incluso a menudo solo a las yemas; y se centran casi por completo en tareas ligeras.
El trabajo real, especialmente el trabajo físico pesado, requiere ampliar la definición de "inteligencia física". Al manipular objetos, usamos cualquier parte del cuerpo para soportar el peso y nos adaptamos a la forma, masa y rigidez del objeto mediante el tacto.
No puedes levantar una nevera solo mirándola y usando las manos. Tienes que prepararte, anticipar su peso, inclinarte, dejar que tu cuerpo se adapte a su forma y peso, y evaluar si puedes levantarla. El trabajo real ocurre durante la interacción. Un robot humanoide debería poder sujetar una caja con los antebrazos y bíceps, usar las rodillas para llevar un objeto pesado del suelo al regazo, o cargar objetos largos y pesados sobre el hombro, igual que puede abrazar una nevera con facilidad.
Atlas utiliza Aprendizaje por Refuerzo (RL) para aprender a levantar la nevera, practicando versiones masivas de la acción de levantar una nevera en un entorno simulado. La parte más difícil no es ver la nevera o saber cómo levantarla, sino aprender a adaptarse a cualquier forma de nevera que Atlas pueda encontrar en el mundo real. Es un problema combinado de control y percepción, donde la percepción se realiza implícitamente a través de la propiocepción del cuerpo. Las estrategias que impulsan estos comportamientos han aprendido a adaptarse a variaciones como la posición de la nevera, su masa, la fricción del suelo, el agarre con la nevera, o la configuración de cómo se coloca la nevera entre el torso, brazos y manos. Este nivel de adaptación es uno de los bloques fundamentales de la inteligencia física.
Un robot para cargas pesadas
El hardware presentado hoy también es singular. Esta generación de robots Atlas está diseñada no solo para cumplir con la agilidad y fuerza requeridas para el trabajo práctico, sino también para combinar la simplicidad y fiabilidad necesarias para la producción a gran escala. La forma humanoide tiene ventajas, pero también se logra un gran aumento en rendimiento y eficiencia mediante algunos avances estratégicos.
Aquí hay algunos aspectos destacados que pueden no ser evidentes a primera vista:
-
Actuadores minimalistas: En el cuerpo del robot se utilizan solo dos tipos de actuadores. Esto permite concentrarse en fabricar actuadores más eficientes y potentes a mayor escala, reduciendo costos eventualmente. Todos son actuadores rotativos, lo que los hace más fáciles de representar con precisión en simulación, algo crucial para el aprendizaje por refuerzo de alto rendimiento que utiliza retroalimentación propioceptiva, como se mencionó antes.
-
Componentes altamente repetitivos: Se reutilizan los mismos subcomponentes tanto como sea posible en el cuerpo. Las dos piernas son idénticas, al igual que los dos brazos. La estructura de hombro a hombro y de pelvis a pelvis es también exactamente la misma.
-
Articulaciones de rotación infinita: Estos actuadores pueden girar infinitamente. Esto se logró eliminando todos los cables entre las articulaciones, lo que a su vez elimina uno de los principales factores de falla del hardware del actuador. Esto reduce el costo para los clientes de Atlas y le otorga a Atlas formas de moverse únicas y eficientes.
-
Pies simétricos: Debido a que Atlas tiene capacidades igualmente sobresalientes para moverse hacia adelante y hacia atrás, sus pies son simétricos delantero-traseros.
-
Fácil mantenimiento: Brazos, piernas, manos y cabeza son unidades reemplazables en campo, que se pueden cambiar en minutos.
Mover la mini nevera muestra fuerza, coordinación corporal total y el uso de retroalimentación propioceptiva. Esto se convierte en un punto de referencia para el trabajo industrial: transportar objetos voluminosos que normalmente requieren el esfuerzo de dos personas en un entorno de fabricación.
Pero algunas tareas menos prácticas también tienen sentido. Por ejemplo, que un robot de 90 kg pueda hacer el pino y saltos mortales hacia atrás es posible gracias a un excelente sistema de gestión térmica, lo que significa que Atlas puede trabajar en ambientes calurosos. Y estos comportamientos también entrenan otras habilidades transferibles: cómo moverse con agilidad y equilibrio, cómo moverse completamente en espacios confinados y cómo recuperarse de resbalones y caídas.
El proceso de entrenamiento
Como producto y plataforma de investigación, uno de los objetivos de Atlas es poder entrenar y desplegar nuevos comportamientos en un día. Aunque esta demostración no alcanzó esa velocidad, la rapidez con la que Atlas realizó la tarea de mover la nevera de manera tan estable superó las expectativas.
Así es como se entrena al robot:
-
Trayectoria de referencia: Para entrenar un nuevo comportamiento, se utiliza una trayectoria de referencia, que son datos que indican a la estrategia lo que debe hacer. Esto puede ser una demostración por teleoperación, una trayectoria animada o la descripción de un objetivo más abstracto. Para la tarea de mover la nevera, primero se usó una animación simple para aprovechar al máximo el rango de movimiento sobrehumano de Atlas.
-
Motivación: Luego, se establece un objetivo para que el robot siga la trayectoria animada y complete la tarea lo mejor posible. Se establece un mecanismo de recompensa para reforzar el comportamiento deseado (mantener el objeto pesado en la pinza de Atlas, manteniendo la misma posición y orientación), y también se aplican perturbaciones de empuje y tracción al robot y a la nevera, para que pueda mantener el enfoque en la tarea principal incluso cuando es perturbado.
-
Simulación: Atlas ejecutó programas de simulación en paralelo en Unidades de Procesamiento Gráfico (GPU), practicando el movimiento durante millones de horas. A través de esta vasta experiencia simulada, Atlas aprendió a ajustar su comportamiento según las variaciones de la nevera.
-
Robot real: Una vez que la simulación dio buenos resultados, se probó en el hardware. La simulación solo ayuda hasta cierto punto; las pruebas en el hardware son fundamentales para el progreso continuo.
-
Iteración: Una vez que se obtienen datos del rendimiento real de la estrategia en el robot físico, se puede volver al entrenamiento para ajustar y reforzar ese comportamiento.
Reduciendo la brecha entre simulación y realidad
Una de las mejoras más notables en la versión empresarial de Atlas es la alta fidelidad de su entorno de simulación. La brecha sim-real (simulación-realidad) de Atlas es muy pequeña; se puede entrenar, probar e iterar rápidamente con facilidad. Generalmente, si un comportamiento se ve bien en simulación, funcionará bien en el robot.
La brecha sim-real se refiere a la diferencia entre el rendimiento de una estrategia en un entorno simulado y su rendimiento en hardware real. Las suposiciones y simplificaciones matemáticas en la simulación no capturan la complejidad del mundo real. Variaciones y variables sutiles, como fricción, latencia o ruido de sensores, se acumulan y causan fallos en el mundo físico.
Aunque puede que nunca se elimine completamente esta brecha, estamos muy cerca. El equipo de Atlas ha establecido un riguroso sistema y una tubería de soporte para pruebas y desarrollo. Hoy se entrena una estrategia, mañana se puede probar una estrategia madura en el robot y recopilar datos para impulsar la próxima iteración y el desarrollo de nuevos comportamientos.
¿Qué hace que la brecha entre simulación y realidad sea tan pequeña?
Hardware de alta fidelidad: A diferencia de plataformas anteriores, esta plataforma utiliza solo dos tipos de actuadores potentes y eficientes, y es completamente simétrica. Este diseño y estructura simples, junto con la eficiencia de los actuadores, significa que se puede modelar el robot en simulación con una precisión extremadamente alta. Como el modelo del robot está muy cerca del hardware real, hay menos problemas de fidelidad al desplegar estrategias entrenadas. Lo que ocurre en la simulación coincide completamente con lo que ocurre en la realidad.
Aleatorización de dominio: Para que las estrategias sean más robustas, no se entrena al robot en condiciones ideales. Utilizando un método de aleatorización de dominio, se ajustan sutilmente parámetros como el peso de la nevera, la fricción del suelo o la potencia del motor durante todo el entrenamiento. Los pequeños cambios aleatorios durante el entrenamiento hacen que el comportamiento final sea más resistente frente a las vicisitudes del mundo real. Por ejemplo, la estrategia para mover la nevera se entrenó inicialmente para cargas de 50-70 lbs (23-32 kg), pero el robot logró mover con éxito una nevera llena que pesaba más de 100 lbs (45 kg). Tampoco se prueba en condiciones perfectas. El equipo mete objetos diversos del laboratorio en la nevera; el peso no es uniforme, la distribución no es uniforme, y los objetos se desplazan dentro de la nevera durante el movimiento. Con una estrategia bien desarrollada, todos estos factores de perturbación los maneja Atlas, no los ingenieros.
Personas y procesos: Finalmente, los procesos y operaciones están diseñados para simplificar la formación, prueba y experimentación. El equipo ha establecido un proceso riguroso y hay mucha gente trabajando entre bastidores. El equipo trabaja estrechamente con muchos otros equipos responsables de la operación real de los robots, incluyendo el equipo de diseño de hardware, técnicos de mantenimiento y líderes de robots. Toda la organización trabaja unida para hacer que Atlas sea lo más fiable y eficiente posible, al mismo tiempo que se empuja constantemente los límites de nuevas capacidades.
Lectura relacionada: En el día de la cotización de Unitree, Nvidia presenta su robot humanoide
