Насколько высока гора под названием «универсальная робототехника»?
За прошедший год один за другим появлялись VLA, базовые модели для роботов, модели мира.
Демо-версии выглядят всё более отточенными: складывание тарелок, вставка трубок, уборка, наливание воды, наведение порядка на столе. Кажется, роботы наконец-то начали понимать человеческую речь, постигать мир и работать руками.
Но вопрос в следующем: какие из этих моделей действительно сильнее? В чём их сила? Могут ли они перейти от симуляции к реальному миру? Как далеко им до настоящих универсальных манипуляционных роботов?
Теперь появилась новая «дорожная карта восхождения».
Команда, ранее представившая серию бенчмарков RoboTwin, предлагает RoboDojo: единый эталонный тест для оценки манипуляций роботов в симуляции и реальном мире.
Веб-сайт: https://robodojo-benchmark.com/arXiv: https://arxiv.org/abs/2607.04434Таблица лидеров: https://robodojo-benchmark.com/LeaderBoardКод бенчмарка: https://github.com/RoboDojo-Benchmark/RoboDojoКод XPolicyLab: https://github.com/XPolicyLab/XPolicyLabСообщество: https://robodojo-benchmark.com/community
Это не просто очередной бенчмарк, а скорее установка «Эвереста» для эмбиентного интеллекта:
42 задачи в симуляции, 18 задач для реального робота, 30 основных стратегий управления роботами в едином соревновании, охватывающем пять способностей: обобщение, память, точные операции, долгосрочное выполнение и понимание открытой семантики.
Результаты прямолинейны и суровы:
Средний показатель успешности текущей лучшей стратегии управления универсальными роботами в симуляции составляет лишь 8,80%. В реальном мире средний показатель успешности лучшей модели также всего 12,8%.
А как насчёт экспертов-людей? В симуляции — 76,03%, в реальном мире — 100%.
Модели базового уровня для роботов, кажется, уже начали восхождение на эмбиентный Эверест, но таблица лидеров RoboDojo показывает: большинство из них всё ещё у подножия, привыкая к высотной акклиматизации.
Сначала о дизайне задач: почему эта гора такая сложная?
Сложность RoboDojo заключается не в простом увеличении количества задач, а в том, что способности робота к манипуляциям разбиты на набор «этапов восхождения», более приближенных к реальному миру.
В симулированной среде RoboDojo разработал 42 задачи, сгруппированные вокруг пяти ключевых способностей:
Generalization (Обобщение): проверяет, может ли модель адаптироваться к новому фону, освещению, объектам и сложным захламлённым сценам.
Memory (Память): проверяет, может ли модель запомнить ранее увиденную информацию и использовать её в последующих действиях.
Precision (Точность): проверяет, может ли модель выполнять операции с высокой точностью, такие как вставка, выравнивание, точный контакт.
Long-Horizon (Долгосрочное планирование): проверяет, может ли модель выполнять многоэтапные задачи с сильными взаимосвязями, где ошибки накапливаются.
Open (Открытость): проверяет, может ли модель понимать незнакомые открытые семантические инструкции и превращать языковые цели в действия.
Эти задачи — не простые вариации «взять и положить».
Например, в задачах на обобщение количество случайных предметов на столе может достигать 25, меняются фон, освещение, внешний вид и расположение объектов.
В задачах на память роботу нужно запомнить объект, который появился и исчез на конвейере, а затем выбрать соответствующий целевой объект из последующих кандидатов.
В задачах на точные операции роботу необходимо выполнить действия с низким допуском на ошибку, такие как вставка трубки, выравнивание, соединение — малейшее отклонение приводит к провалу.
Долгосрочные задачи ещё ближе к реальной домашней работе: робот должен выполнить не одно действие, а последовательно несколько подэтапов. Взять, переместить, передать, выровнять, положить — каждый шаг может внести ошибку, которая будет накапливаться до самого конца.
Но RoboDojo не останавливается на симуляции.
То, что действительно делает эту «эмбиентную вершину» высокой, — это перенос тестирования на реальных роботов.
RoboDojo разработал 18 задач для реального мира, охватывающих три платформы для двухруких роботов: ARX X5, Piper, Piper X, по 6 задач на каждой платформе.
Эти задачи — не точные копии симуляционных, а специально предназначены для проверки способности роботов развёртываться в реальном физическом мире.
Например, для ARX X5 есть задачи: накрыть кубик, приготовить бутерброд, сделать еду, положить фрукты и высыпать, организовать сейф, вставить трубку. Для Piper: сложить и накрыть кубики, наполнить стакан для ручек, положить предметы в корзину, подключить зарядное устройство, сложить миски, поставить бутылку вертикально. Для Piper X: классификация предметов, разбор Lego, повесить кружку, упаковать предметы в рюкзак, подмести кубики, надеть колпачок на ручку.
Эти задачи звучат как обычные повседневные дела, но для робота они непростые.
Потому что в реальном мире каждый шаг сопряжён с физической неопределённостью: объект может соскользнуть, захват может плохо зафиксировать, манипулятор может иметь небольшую задержку, камера может «шуметь», в момент контакта цель можно сдвинуть.
Что ещё важнее, RoboDojo-RealEval стандартизировал тестирование на реальных устройствах: унифицированная конфигурация оборудования, планировка рабочего пространства, условия освещения, процедура сброса сцены, протокол оценки и интерфейсы развёртывания.
Перед каждым тестом оценщики восстанавливают сцену согласно предустановленной планировке; каждый прогон также оценивается тремя судьями методом двойного слепого тестирования, учитывается как итоговый успех, так и выполнение промежуточных шагов.
Другими словами, часть RoboDojo с реальными роботами — это не «съёмка нескольких демо-видео», а превращение реальных манипуляций роботов в стандартизированный, воспроизводимый, сравнимый и доступный для удалённого подключения экзамен.
Иными словами, RoboDojo не только спрашивает роботов в симуляции «умеешь ли ты решать задачи», но и задаёт вопрос в реальном мире: останешься ли ты стабильным при смене робота? Не задрожишь ли при реальном контакте? Сможешь ли скорректировать, если объект немного сместился? Сможешь ли восстановиться при ошибке на полпути к задаче? Сможешь ли продолжить восхождение, покинув тренировочный полигон симуляции?
В этом и заключается истинный смысл «эмбиентного Эвереста»: это не покорение пика в отдельном навыке, а согласованность двух маршрутов — симуляционной диагностики и реального развёртывания.
Таблица лидеров обнажает разрыв
Самая важная часть RoboDojo — это его открытая таблица лидеров.
В этом его отличие от многих оценок по принципу «своя модель — свои тесты»:
RoboDojo создан и поддерживается альянсом полностью академических институтов, за ним нет коммерческих интересов компаний — создателей моделей, а управление таблицей лидеров осуществляется некоммерческой организацией AI MMLab Club Foundation.
Другими словами, этот «эмбиентный Эверест» — не смотровая площадка, построенная какой-либо компанией для себя, а общедоступный маршрут восхождения для всего сообщества.
В симуляционной таблице лидеров команда интегрировала и оценила 30 репрезентативных стратегий управления роботами, включая Hy-Embodied-0.5-VLA, Spatial Forcing, π0.5, X-VLA, GR00T-N1.7, π0, OpenVLA-OFT и другие.
Первое место занимает Hy-Embodied-0.5-VLA со средним баллом 13,07 и средней успешностью 8,80%.
За ним следуют Spatial Forcing, π0.5, X-VLA и другие модели, но в целом производительность по-прежнему находится на очень низком уровне.
Даже лидирующие модели не являются по-настоящему «универсальными» по всем пяти параметрам способностей.
Некоторые модели лучше обобщают, другие — стабильнее в точных операциях, третьи — могут продвинуться дальше в долгосрочных задачах, но если взглянуть на полную таблицу лидеров, слабые стороны становятся очевидными.
Ключевой вывод RoboDojo: современные модели роботов не то чтобы не могут двигаться, а недостаточно стабильны; не то чтобы совсем не могут выполнять задачи, а им трудно стабильно доводить задачи до конца.
Многие стратегии могут выполнить часть шагов, но итоговый показатель успешности низкий.
Например, в долгосрочных задачах робот может уже взять объект, переместить его близко к цели, но потерпеть неудачу на последнем этапе выравнивания, вставки, размещения или восстановления.
В этом и состоит главное отличие эмбиентного интеллекта от чисто языковых или визуальных задач: в физическом мире «почти» — это провал.
Таблица лидеров в реальном мире ещё более отрезвляющая
Если симуляция — это «тренировочная площадка», то реальные роботы — это «само место восхождения на Эверест».
В таблице лидеров реального мира лучший результат показала модель π0.5 с общей успешностью 12,8% и средним баллом 22,9.
Верхушку составляют InternVLA-A1, GalaxeaVLA, Xiaomi-Robotics-0, X-VLA и другие, но общие показатели успешности по-прежнему находятся в диапазоне от однозначных чисел до чуть более десятка процентов.
Это указывает на очень важную проблему: относительно высокое место в симуляции не гарантирует стабильности в реальном мире.
Реальные роботы вносят дополнительные сложности: шум камеры, ошибки калибровки, задержки манипулятора, нестабильность контакта, дрожание движений, границы безопасности, малые отклонения исходного положения объекта. Всё это часто не видно в демо-видео, но в стандартизированном тестировании проявляется в полной мере.
В этом и заключается значение RoboDojo: он не просто спрашивает «справился ли робот с задачей», а задаёт вопрос:
Может ли эта стратегия пройти всестороннюю проверку в симуляции и при этом противостоять вызовам реального мира?
Почему это «эмбиентный Эверест»
Исходя из результатов, RoboDojo выявляет реалистичный вывод: рост способностей современных базовых моделей для роботов неравномерен.
Одни модели могут лучше распознавать цели, другие — плавнее выполнять действия, третьи — продвигаться дальше в долгосрочных задачах.
Но настоящий универсальный робот не может быть силён только в одном аспекте способностей.
Он должен и понимать, и помнить; и правильно планировать, и точно действовать; и справляться со знакомыми задачами, и понимать открытые инструкции; и работать в симуляции, и стабильно выполнять команды на реальном манипуляторе.
А эксперименты RoboDojo показывают, что у современных моделей по-прежнему есть явные слабые места по этим направлениям.
Наиболее показательны задачи Open. Даже у сильнейших моделей показатель успешности в задачах с открытой семантикой составляет лишь около 1,67%.
Это означает, что современные базовые модели для роботов ещё далеки от того, чтобы по-настоящему «понимать человеческую речь и надёжно работать».
Они могут имитировать знакомые задачи, но цепочка «семантическое понимание — визуальная локализация — выбор навыка — выполнение действия» по-прежнему очень хрупка при столкновении с новыми целями, новой семантикой, новыми комбинациями.
Вот в чём сложность эмбиентного Эвереста: это не покорение пика в отдельном навыке, а требование, чтобы все способности работали согласованно.
Не просто оценка, а целая инфраструктура
У RoboDojo есть ещё две важные составляющие.
Первая — гетерогенная параллельная симуляция.
Традиционная параллельная симуляция часто заключается в копировании одной и той же сцены с изменением только начального положения; RoboDojo поддерживает одновременный запуск разных задач, разных объектов, разных планировок, что значительно повышает эффективность оценки.
Вторая — XPolicyLab.
Это, по сути, «единый уровень подключения» для RoboDojo, созданный для решения очень практической проблемы при оценке стратегий управления роботами: разные модели часто имеют разные форматы данных, процессы предобработки, скрипты обучения, представления действий и среды развёртывания. Чтобы поместить их в одну таблицу лидеров для честного сравнения, инженерные затраты очень высоки.
XPolicyLab стандартизирует эти внешние процессы.
Он предоставляет унифицированное преобразование данных, шаблоны обучения, процессы развёртывания и скрипты оценки, сохраняя при этом архитектуру и реализацию самих стратегий.
Таким образом, разные стратегии управления роботами, подключившись через унифицированный интерфейс наблюдение-действие (observation-action), могут работать как в симулированной среде RoboDojo, так и на платформе реальных роботов RoboDojo-RealEval.
В данной статье команда уже интегрировала через XPolicyLab 30 репрезентативных моделей управления роботами.
Для исследователей это означает возможность «один раз подключить — оценивать в разных местах»: сначала быстро итерировать и диагностировать слабые места в симуляции, затем развернуть на реальном роботе для прохождения стандартизированного теста.
Таким образом, RoboDojo — это не статичный бенчмарк из статьи, а постоянно обновляемая арена для эмбиентного интеллекта.
Модели могут постоянно попадать в таблицу лидеров, задачи могут расширяться, оценка на реальных роботах может осуществляться удалённо.
Для области базовых моделей робототехники это очень важно.
Потому что на пути к универсальным манипуляционным роботам нам нужны не только более крупные модели и крутые демо, но и надёжная «шкала высоты», чтобы постоянно измерять прогресс.
У эмбиентного интеллекта наконец-то появилась более высокая гора
Раньше область робототехники часто двигали демо-версии.
Если модель может выполнить несколько красивых задач, легко возникает иллюзия, что «универсальные роботы уже близко».
Но вывод RoboDojo более трезвый: современные модели действительно прогрессируют, но до надёжных, обобщаемых, развёртываемых универсальных манипуляционных роботов ещё очень далеко.
Это не плохая новость.
Напротив, RoboDojo чётко обозначил проблемы: кто обобщает, кто забывает, у кого дрожат движения, кто выполняет только половину задачи, кто отстаёт в реальном мире, кто может подняться в таблице лидеров.
Эмбиентный интеллект наконец-то перестал быть соревнованием промо-роликов и начал становиться соревнованием реальных результатов на стандартизированной трассе.
Этот «эмбиентный Эверест» уже воздвигнут. Теперь посмотрим, кто первым покорит вершину.
О руководителях проекта
Чэнь Тяньсин, аспирант прямого набора (PhD) в MMLab Гонконгского университета, ученик профессора Ло Пина.
Автор более десяти статей на ведущих конференциях, таких как ICML, CVPR, ICLR, RSS, лауреат нескольких премий за лучшую статью на семинарах, победитель и призёр множества академических соревнований на ведущих конференциях.
Включён в список AI25 (25 молодых новаторов в области ИИ до 25 лет) по версии Sequoia China и MIT Technology Review China, лауреат специальной премии Университета Шэньчжэня (высшая студенческая награда), вошёл в число CCF Outstanding College Students (99 человек по всей стране).
Основной автор RoboTwin 2.0, основатель ведущего сообщества с открытым исходным кодом в области эмбиентного интеллекта Lumina, суммарное количество звёзд его проектов на GitHub приближается к 20 тысячам.
Чэнь Юэ, магистрант Пекинского университета, основные направления исследований — трёхмерное визуальное представление и симуляция роботов.
На сегодняшний день опубликовал более 10 высококачественных статей уровня CCF A, CAAI A, многие работы были приняты в форматах Oral, Spotlight, связанные исследования получили награды за лучшую статью на семинарах международных конференций, таких как CVPR, IROS. Лауреат стипендии государственного уровня, звания «Трижды отличник» Пекинского университета.
Планы по расширению
Команда RoboDojo в дальнейшем продолжит выпуск оценок для ловких манипуляций, мобильных манипуляций, тактильных манипуляций, операций человекоподобными роботами с полным телом. Приглашаем всех следить за новостями.
*Данная статья опубликована с разрешения «Квантового бита», мнения принадлежат оригинальному автору.
Статья из официального аккаунта WeChat «Квантовый бит», автор: Юньчжун
