10 000 часов человеческих данных позволили создать первую в мире неявную мировую модель действия для полного мобильного манипулирования роботом-гуманоидом
За последние два года фокус в разработке человекоподобных роботов сместился с аппаратной части на моделирование их способностей. Ключевым вызовом стало создание модели, способной понимать окружение, предсказывать изменения и координировать все тело для выполнения задач. Компания «Чжицзай Уцзе» представила Being-M0.7 — первую в мире скрытую мировую модель действия (Latent WAM), предназначенную для полноценного мобильного манипулирования человекоподобными роботами. Модель предварительно обучалась на более чем 10000 часов данных, сфокусированных на человеке (видео от первого лица и данные о движении), а затем донастраивалась на небольшом наборе реальных демонстрационных данных с робота.
Being-M0.7 использует архитектуру Mixture of Transformers (MoT), которая позволяет совместно обучаться на спаренных (видео+движение) и одиночных (только видео или только движение) данных, эффективно решая проблему дефицита дорогостоящих данных с реальных роботов. Модель предсказывает будущие состояния среды и траектории движения в скрытом пространстве, что снижает вычислительные затраты по сравнению с предсказанием пикселей. Для контроля используется «эксперт по действиям», который преобразует высокоуровневые прогнозы модели в низкоуровневые команды для конкретного робота.
Возможности модели были продемонстрированы на реальном роботе Unitree G1 в сложных задачах, требующих координации всего тела: ловля рыбы в аквариуме (взаимодействие с жидкостью), взятие предмета с использованием зеркала (пространственное рассуждение), длинная последовательность действий по переносу предметов и обход препятствий с грузом. В сравнительных тестах Being-M0.7 показала результаты, превосходящие или сопоставимые с другими моделями.
Этот подход, развиваемый от ранее представленной модели для ловких манипуляций Being-H, предлагает путь к масштабируемому обучению роботов за счет использования богатого опыта человеческих действий, прежде чем адаптировать знания к конкретной роботизированной платформе.
marsbit07/15 01:50
