【Обзор】Используя только монохромное RGB-видео, Do as I Do преобразует повседневные человеческие действия в исполняемые траектории для Sharpa Wave, заполняя ключевое звено передачи данных от видео к роботам для антропоморфных ловких манипуляций.
Человек учится ловким действиям, как правило, начиная с «наблюдения».
Ребенок смотрит, как другие взбивают яйца, наливают воду, забивают гвозди, и постепенно учится этим действиям через подражание. Но с роботами всё иначе. Обучение современных роботов в основном основано на «действии», например, дорогостоящей телеоперации, большом количестве симуляций или сборе данных на реальных установках в тщательно подготовленных сценах.
На самом деле, данные, которые робот может «наблюдать», уже существуют. На YouTube, в наборах данных от первого лица и в сгенерированных видео содержится огромное количество материалов по взаимодействию человеческих рук с объектами. Истинное узкое место заключается не в отсутствии данных, а в возможности их преобразования: как превратить эти зашумленные монохромные RGB-видео в траектории действий, которые смогут выполнять многосоставные ловкие руки?
Команда UC Berkeley предложила сквозной процесс для решения этой проблемы. Исследовательская группа реализовала первую полную цепочку, способную генерировать траектории для реального исполнения ловкими руками из сетевых видео: сначала восстанавливается 4D-процесс взаимодействия рук и объектов из монохромного RGB-видео в реальных сценах, затем эти траектории взаимодействия перенаправляются на ловкие руки Sharpa Wave с 22 степенями свободы.
Ссылка на статью: https://arxiv.org/abs/2606.19333
Ссылка на проект: https://do-as-i-do.com/
Весь путь сгенерировал 500 проверенных траекторий для 20 типов манипулятивных действий и был развернут для 10 реальных задач на платформе с двумя манипуляторами UR3e и двумя ловкими руками Sharpa Wave с частотой управления 50 Гц.
Проблема: «Увидеть» ≠ «Сделать»
Чтобы масштабировать данные для ловких роботов, по-прежнему нельзя обойти три структурные проблемы:
Взаимодействие руки и объекта в монохромном RGB-видео по-прежнему сложно стабильно восстанавливать
Видео реальных сцен часто имеют проблемы с размытием движения, перекрытием, неоднозначностью глубины, а типы объектов также не фиксированы. Методы отслеживания, такие как FoundationPose, могут терять блокировку позы даже при небольшом размытии. А некоторые методы совместного восстановления больше зависят от лабораторной среды или могут обрабатывать только заранее заданные категории объектов.
Без стабильного 4D-восстановления взаимодействия руки и объекта человеческие видео сложно использовать в обучении роботов.
Зашумленные референсные траектории могут приводить к сбою перенаправления действий
Предыдущие методы перенаправления действий с учетом динамики, такие как SPIDER или методы отслеживания на основе обучения с подкреплением (RL), обычно предполагают, что на вход подаются чистые данные MoCap. Но на самом деле, референсные траектории, восстановленные из сетевых видео, могут быть не чистыми. Они могут иметь временную прерывистость, неправильные контактные отношения или даже содержать начальные состояния, физически невозможные.
Эти проблемы напрямую влияют на последующую оптимизацию. Эксперименты в статье показывают, что прямое использование методов оптимизации на основе выборки на таких зашумленных референсных траекториях может иметь уровень неудач до 75%.
Сама телеоперация трудно масштабируема
Телеоперация может предоставлять данные для реальных роботов, но она дорогостояща. Она зависит от профессиональных операторов, специального оборудования и требует сбора данных для каждой конкретной задачи. Только с помощью телеоперации сложно охватить все разнообразные действия даже в одном часе видео приготовления пищи человеком, не говоря уже о охвате огромного количества человеческих видео во всем интернете.
Таким образом, Do as I Do хочет ответить на вопрос: может ли робот, используя только монохромное RGB-видео, без предустановленного знания о захвате и без ограничения категорий жестких объектов, перейти от «увидеть» к «сделать»?
Решение
Процесс Do as I Do разделен на два этапа:
Этап 1: Стабилизация отслеживания объекта с помощью управляемой диффузии
SAM 3D может генерировать сетки объектов для одного кадра изображения. Но если обрабатывать каждый кадр независимо, результаты легко теряют стабильность, и трудно сохранить временную непрерывность.
Поэтому Do as I Do сначала выбирает опорный кадр и фиксирует форму объекта в этом кадре. В процессе денизинга потокового сопоставления в последующих кадрах система заставляет результат выборки позы текущего кадра приближаться к позе предыдущего кадра, что позволяет получить более непрерывную траекторию поз при сохранении единообразия формы объекта. Кроме того, система адаптивно корректирует позу на основе скорости вращения объекта, оцененной с помощью 2D-отслеживания точек. Это позволяет избежать чрезмерной жесткости отслеживания и уменьшить ошибочные перевороты.
В оценке методом сравнения с участием человека на 150 видео реальных сцен оценивающие в 67% образцов посчитали, что результаты отслеживания Do as I Do лучше, чем у FoundationPose. Во многих образцах несколько оценивающих дали согласованные суждения.
Этап 2: Робастное перенаправление действий для зашумленных референсных траекторий
Do as I Do, основываясь на фреймворке оптимизации с выборкой / MPPI SPIDER, дополнительно вводит три разработки для обработки зашумленных референсных траекторий, восстановленных из сетевых видео:
После внесения этих улучшений, Do as I Do повысил успешность перенаправления действий на зашумленных референсных траекториях реальных сцен с 25% до 71%.
Результаты экспериментов
Бенчмарк способности восстановления (SOTA)
Бенчмарк перенаправления действий
Источник данных для 500 проверенных траекторий
В итоге метод охватывает 20 типов манипулятивных действий. Эти действия не являются простыми взятием или размещением, а представляют собой более сложные операции, приближенные к повседневной жизни человека, включая размещение, взятие, протирание, намазывание, сжатие, глажение, нанесение кистью, вытирание пыли, копание, стирание, наливание, письмо, взбивание, перемешивание, протыкание, уплотнение, сверление, забивание молотком, резку и намазывание соуса.
Развертывание на реальной установке
Эти траектории не остаются только в симуляции. Исследовательская группа выбрала 10 репрезентативных действий и развернула их на платформе с двумя манипуляторами UR3e и двумя ловкими руками Sharpa Wave, выполнив их на реальной установке с частотой управления 50 Гц.
Развернутые действия охватывают объекты разной формы и различные способы захвата, включая захват тремя пальцами для письма, силовой захват, ладонный захват и параллельный разведенный захват.
Sharpa Wave имеет 22 степени свободы, размеры, близкие к человеческой руке, поэтому она больше подходит в качестве цели для переноса человеческих действий. Такие действия, как взбивание, перемешивание, забивание молотком, требуют координации обеих рук, что сложно реализовать с помощью традиционных параллельных захватов. Wave с частотой смены жестов более 4 Гц и усилием на кончиках пальцев до 50 Н выдерживает требования по силе и скорости для этих действий.
От восстановления, симуляции (MuJoCo Warp, 200 Гц) до реального развертывания исследовательская группа использовала Sharpa Wave в качестве целевой руки для перенаправления действий, перенося траектории операций из человеческих видео на этот прототип.
EgoScale также перенаправляет ключевые точки человеческой руки на эту руку, а CAIP проводит оценку и проверку на платформе Dexmate Vega+ с двумя Wave. Поскольку целевая рука ближе к человеческой, системе требуется преодолевать меньшую морфологическую разницу при переносе действий от человека к роботу.
Руководство по отбору: почему 95% сетевых видео все еще нельзя использовать напрямую
Для команд, желающих масштабно использовать данные человеческих видео, включая исследовательские группы в таких направлениях, как EgoScale, Do as I Do также дает очень практичное напоминание: видео не обязательно чем больше, тем лучше, так же важно уметь отбирать пригодные данные.
Исследовательская группа проанализировала 2000 10-секундных видеороликов из набора данных 100DOH (уже отфильтрованных по взаимодействию рук и объектов):
Результат очевиден: если не проводить предварительную обработку исходных видео, а напрямую передавать сетевые видео в обучение роботов, действительно пригодных данных может остаться лишь около одной двадцатой. Поэтому Do as I Do также суммирует ключевые моменты фильтрации данных: проверять, находятся ли рука и объект постоянно в кадре, подтверждать, не прерывается ли действие сменой кадров, исключать фрагменты со слишком большим движением камеры и идентифицировать случаи возможного сбоя SAM 3D. Для любой команды, желающей реализовать процесс «от человеческого видео до исполнения роботом» на ловких руках, этот процесс фильтрации станет неизбежным базовым этапом.
Заключение: Человеческие видео превращаются в данные для роботов
В течение долгого времени «Do as I Do» больше походило на идеал в области искусственного интеллекта (ИИ): заставить робота понимать человеческую демонстрацию и переносить эти действия на свое собственное тело. И это исследование UC Berkeley превращает эту идею в реальность: введя ссылку на видео, система может восстановить в нем процесс взаимодействия рук и объектов и преобразовать его в исполняемые траектории действий для Sharpa Wave.
В каком-то смысле самый большой в мире набор данных по действиям уже давно существует — он скрыт в видео, которые люди ежедневно снимают, загружают и делятся. Задача Do as I Do — преобразовать эти видео в траектории суставов с 22 степенями свободы, которые могут выполнять ловкие руки.
Наблюдать, восстанавливать, перенаправлять, а затем исполнять на реальном роботе.
Источники: https://do-as-i-do.com/
Статья из WeChat Official Account «Xin Zhi Yuan», редактор: LRST
