За последние два года конкурентная борьба на треке человекоподобных роботов сместилась с аппаратного обеспечения цельных систем к способностям моделей.
Производители цельных систем активно выпускают новые продукты, видео с сальто, танцами и марафонским бегом постоянно мелькают в лентах. Однако за шумихой в отрасли постепенно формируется консенсус: определять пределы возможностей человекоподобных роботов теперь не только суставы и двигатели. Способность понимать окружающую среду, предсказывать изменения и координировать все тело для выполнения задач становится ключевым фактором на пути к универсальности.
Мировые модели, VLA и базовые модели для человекоподобных роботов стали, таким образом, важнейшими технологическими направлениями в этой области за последние два года.
В этом ажиотаже перед всей отраслью по-прежнему стоят три сложные проблемы.
Во-первых, сбор данных демонстраций на реальных человекоподобных роботах обходится дорого. Во время сбора необходимо синхронно записывать видео от первого лица, данные восприятия робота и исполняемые команды для всего тела. Из-за сложностей телеметрии, рисков безопасности, доступности аппаратного обеспечения и разнообразия сред чрезвычайно трудно в короткие сроки накопить большие объемы качественных данных.
Во-вторых, многие существующие мировые модели действий следуют пути пиксельного предсказания видео, что требует больших вычислительных затрат, и значительная часть ресурсов расходуется на детали изображения, слабо связанные с управлением. Быстрое собственное движение человекоподобного робота и дрожание камеры дополнительно усиливают визуальный прогностический шум.
В-третьих, многие существующие решения по-прежнему моделируют управление верхними конечностями (манипуляцией) и передвижением отдельно, координация между верхней и нижней частями тела недостаточна, что затрудняет поддержку естественного и плавного управления всем телом.
На этом фоне компания Embodied AI «Zhizai Wujie» (智在无界) представила Being-M0.7. Это первая в мире неявная мировая модель действия (Latent World-Action Model, Latent WAM), ориентированная на полное мобильное манипулирование человекоподобными роботами, а также первая в отрасли модель, расширяющая возможности неявной мировой модели от манипуляции на столе до мобильного манипулирования всем телом.
- Ссылка на статью: https://research.beingbeyond.com/being-m07/being-m07.pdf
- Домашняя страница проекта: https://research.beingbeyond.com/being-m07
Модель прошла предварительное обучение на более чем 10 000 часов смешанных модальных данных, сфокусированных на человеке, а затем была адаптирована к конкретному телу с помощью небольшого количества демонстрационных данных с реального робота. На реальном человекоподобном роботе она успешно выполнила ряд сложных задач по мобильному манипулированию всем телом.
От Being-H к Being-M: последовательный путь реализации технологической стратегии
В основе Being-M0.7 лежит технологическая стратегия, которой «Zhizai Wujie» придерживается на протяжении многих лет.
Эта компания является одной из первых в мире компаний в области воплощенного ИИ, сделавших ставку на обучение с использованием масштабных человеческих видео, одновременно развивая две основные линии моделей: универсальную ловкую манипуляцию и универсальное мобильное ловкое манипулирование, а также первой командой в Китае, представившей нативную неявную мировую модель действия для воплощенного ИИ.
Ключевое предположение этой стратегии заключается в том, что демонстрационные данные реальных роботов дороги и редки, и их трудно масштабировать так же непрерывно, как интернет-тексты и видео. В отличие от этого, люди ежедневно взаимодействуют с физическим миром с точки зрения первого лица. Эти огромные данные о человеческом поведении содержат богатый априорный опыт об эволюции сцен, динамике объектов и координации тела. Вместо того чтобы ждать медленного накопления данных роботов, лучше сначала позволить модели изучить принципы функционирования мира на основе человеческого опыта, а затем перенести эти знания на конкретную конструкцию робота.
Выпущенная в апреле этого года Being-H0.7 подтвердила осуществимость этого подхода в области ловкой манипуляции. Эта модель расширила объем обучающих данных до 200 000 часов человеческих видео, заняла первое место в общем рейтинге по 6 международным тестам, возглавив 4 из них, и стала первой универсальной воплощенной мировой моделью, охватывающей семь ключевых аспектов: кросс-платформенность, кросс-сценарии, непрерывную динамику, жидкости, гибкие объекты, физические законы и контекстное рассуждение.
Being-M0.7 — это новейший результат реализации этой стратегии неявной мировой модели действия.
Если серия Being-H отвечает на вопрос, как рука манипулирует миром, то Being-M0.7 отвечает на вопрос, как все тело может согласованно двигаться и работать в мире. Мобильное ловкое манипулирование (loco-manipulation) человекоподобного робота требует от модели одновременного принятия решений о том, куда идти, как ориентировать тело, как координировать руки и ноги, как сохранять устойчивость позы. Это проблема высокой степени связанности как во временном измерении, так и в измерении тела, и это неизбежный рубеж способностей для универсальных человекоподобных роботов.
Being-M0.7 — это неявная мировая модель действия, которая сначала проходит предварительное обучение на видео от первого лица и данных о движении человека, используя архитектуру Mixture of Transformers (MoT); затем, с помощью последующего обучения эксперта по действиям, осуществляется внедрение управления на данных траекторий робота для разнообразных задач манипулирования всем телом.
В отличие от многих мировых моделей, зависящих от пиксельного генерирования видео, Being-M0.7 предсказывает будущее состояние среды в скрытом пространстве и связывает его с компактным представлением движения всего тела. Пиксельное предсказание требует больших вычислительных затрат, и значительная часть вычислительной мощности расходуется на детали внешнего вида, слабо связанные с управлением. Быстрое собственное движение и дрожание камеры в перспективе первого лица еще больше наполняют предсказание шумом. Предсказание в скрытом пространстве сосредотачивает возможности моделирования на семантическом состоянии, расположении объектов и эволюции сцены — тех структурах, которые действительно связаны с управлением, сохраняя при этом сущность мировой модели по предвидению будущего и значительно снижая вычислительные затраты.
Как физическое понимание превращается в действие всего тела?
Обладает ли модель реальной способностью к мобильному манипулированию всем телом, в конечном итоге необходимо проверять в реальных сценариях.
Вокруг Being-M0.7 «Zhizai Wujie» представила четыре демонстрации на реальном роботе, охватывающие четыре типа чрезвычайно сложных сценариев: взаимодействие с жидкостями, зеркальные рассуждения, длительные задачи и обход препятствий с окклюзией.
Эти задачи вместе проверяют один вопрос: Может ли робот на основе предсказания среды и будущих изменений непрерывно генерировать скоординированные действия всего тела, соответствующие текущей сцене?.
Ловля рыбы в аквариуме
Робот подходит к аквариуму и использует ручной сачок, чтобы выловить игрушечную рыбку из воды. Жидкость не имеет фиксированной формы, течет, создает выталкивающую силу и сопротивление для погруженных в нее объектов, а преломление на поверхности воды может смещать визуальное положение подводных целей. Робот должен понимать взаимодействие между водой, сачком и рыбой и, в условиях искажения визуальной информации водой, координировать движения руки для инструментального захвата динамической цели. Эта задача как раз и проверяет способности предсказания будущего состояния, использования инструментов и координации действий в условиях неопределенной динамики объектов.
В тестах по вылавливанию рыбы в рамках задачи Being-M0.7 добился успеха в 3 из 5 попыток. Для сравнения,
показал результат 2/5, а GR00T-N1.6 — 1/5.
Извлечение предмета с помощью зеркала
Перед роботом находится коробка, открытая только сзади и сбоку. Предмет внутри коробки полностью невидим с точки зрения самого робота, единственная подсказка — отражение в зеркале спереди. Робот должен на основе изображения в зеркале определить положение скрытого предмета в реальном трехмерном пространстве, затем приблизиться к коробке и протянуть руку, чтобы взять его. Это требует от модели понимания пространственных отношений между зеркалом, коробкой и предметом, а также принципов зеркального отражения, и преобразования косвенных визуальных свидетельств в исполняемые действия в условиях частичной наблюдаемости.
В сравнительных тестах на реальном роботе с
и GR00T-N1.6, при установках расстояния 0,5 метра и 1 метр, Being-M0.7 добился успеха в 3 и 1 из 5 попыток соответственно, в сумме 4/10;
и GR00T показали общий результат 1/10.
Этот результат показывает, что Being-M0.7 демонстрирует более высокую адаптивность в задачах с частичной наблюдаемостью, требующих косвенного визуального рассуждения, приближения всем телом и точного захвата.
Перемещение и взятие предметов с передвижением
Робот подходит к столу, переносит багет из одной корзины в другую, затем берет букет цветов из корзины и уходит. Задача состоит из нескольких подзадач, роботу необходимо непрерывно переключаться между ходьбой, захватом, переносом, разворотом и другими действиями, сохраняя при этом постоянное понимание сцены на протяжении всего процесса. Она проверяет не только успешность единичного захвата, но и сохранение состояния в длительной задаче, пространственное рассуждение на уровне объектов, а также координацию всего тела между передвижением и ловкой манипуляцией.
Перенос коробки с обходом препятствий
Робот движется вперед, неся коробку. Когда впереди появляется препятствие, он не останавливается полностью для перепланирования, а корректирует ориентацию тела и проходит боком через узкое пространство между препятствиями. Переносимый предмет занимает часть обзора от первого лица и также меняет нагрузку и центр тяжести робота. Модель должна, комбинируя имеющуюся информацию об окружении и обратную связь в реальном времени, определять проходимые области, корректировать направление движения и позу всего тела, одновременно поддерживая собственную балансировку и устойчивость переносимого объекта. Многонаправленное движение, обход препятствий и операции с учетом нагрузки объединяются здесь в одно замкнутое поведение.
Эти демонстрации показывают, что робот не выполняет действия по фиксированной траектории в разомкнутом цикле, а постоянно генерирует и корректирует действия всего тела, сочетая текущее наблюдение, обратную связь в реальном времени и предсказание будущего.
Архитектура MoT и унифицированное представление движения: решение проблемы нехватки данных для воплощенного ИИ
Поддержку указанных выше возможностей обеспечивает набор ключевых решений в области данных и архитектуры Being-M0.7.
Человекоподобному роботу необходимо выполнять пространственное восприятие с помощью визуальной информации от первого лица, а также выводить команды движения и управления для будущего выполнения. Данные о движении человека высокого качества обычно требуют использования оборудования для захвата движения, а парные данные, строго синхронизированные по зрению и движению от первого лица, еще более редки.
Если модель может использовать только данные, одновременно содержащие и зрение, и движение, масштаб обучаемых данных будет серьезно ограничен. Проблема, которую должен решить Being-M0.7, заключается в том, как заставить парные данные, чистые видео-данные и чистые данные о движении совместно участвовать в обучении.
«Zhizai Wujie» выбрала Vision-Motion MoT (Mixture-of-Transformers, мультимодальную архитектуру на основе смеси трансформеров). Vision-Motion MoT сохраняет для зрения и движения собственные модально-специфичные проекционные и обрабатывающие модули, при этом обеспечивая кросс-модальное взаимодействие через общее мультимодальное внимание. Изменения визуального состояния и последовательное движение имеют разные распределения данных и не должны насильственно встраиваться в полностью идентичные параметрические системы; когда обе модальности присутствуют одновременно, они могут обмениваться информацией в общем контексте.
Это позволяет модели одновременно поддерживать три типа данных.
Для парных данных «видео — движение» модель совместно изучает будущее состояние среды и траектории движения; для чистых видео-данных вычисляется только цель обучения для визуальной ветви; для чистых данных о движении обучается только ветвь движения. Данные из разных источников совместно ограничивают модель через одну и ту же цель обучения, без необходимости отдельного обучения нескольких изолированных друг от друга одномодальных систем.
С точки зрения вероятностного моделирования парные данные описывают совместные отношения между зрением и движением, а одномодальные данные обеспечивают маргинальные ограничения для этого совместного распределения. Даже если модальность данных неполна, она может быть включена в одну и ту же обучающую структуру.
Обзор обучающей структуры Being-M0.7. Сверху слева: данные предварительного обучения состоят из парных данных «видео — движение», чистых видео-данных и чистых данных о движении. Снизу слева: исследовательская группа создала унифицированное представление движения, общее для человека и человекоподобного робота, обеспечивающее более богатые сигналы надзора и обратной связи для обучения и вывода. Справа: общая архитектура модели Being-M0.7.
На основе этой архитектуры команда создала набор данных предварительного обучения объемом более 10 000 часов смешанной модальности, включающий видео от первого лица человека, парные данные видео от первого лица и движения, а также чистые последовательности движений человека.
«Рецепт данных» (Data Recipe) Being-M0.7. Корпус предварительного обучения получен из нескольких внешних открытых наборов данных, включая Ego4D, Xperience, Nymeria, Bones-SEED, SnapMoGen, HumanML3D и Lafan1, а также из внутренних наборов данных.
Другим ключевым решением является унифицированное представление движения, общее для человека и человекоподобного робота.
Being-M0.7 предлагает унифицированное представление действий, преобразующее данные о движении человека из разных источников в унифицированное представление с головой в качестве корневого узла, что естественным образом согласуется с визуализацией от первого лица. Посредством унификации системы координат, устранения начальной ориентации и других процедур стандартизации снижается разница в распределениях между различными наборами данных, повышается согласованность между источниками данных.
Далее, Being-M0.7 использует компактное представление движения, сохраняющее только голову, обе руки и обе ноги. Сохраняя ключевую информацию о взаимодействии и контакте, оно эффективно сглаживает морфологические различия между человеком и роботом. Это представление не только обеспечивает более богатые, чем метки действий, сигналы надзора для последующего обучения робота, но также способно предоставлять обратную связь на уровне движения на этапе вывода, поддерживая скоординированное управление всем телом.
На этапе предварительного обучения модель через визуальный кодировщик отображает изображение в скрытое пространство и использует компактное унифицированное представление движения. Модель обучается с целью согласования потоков (Flow Matching), предсказывая на основе короткой истории «зрение — движение» и инструкции к задаче совместное изменение будущего состояния и траекторию движения.
На этапе сбора данных с реального робота команда создала систему телеметрического управления всем телом на основе PICO VR. Оператор надевает гарнитуру PICO, два трекера для лодыжек и два ручных контроллера. Система VR в реальном времени оценивает позу человека, а затем через контроллер движения всего тела преобразует ее в команды управления всем телом с 29 степенями свободы для робота Unitree G1. Во время выполнения действий под телеметрическим управлением робот записывает изображение с бортовой RGB-камеры от первого лица, внутренние восприятия и команды управления движением. Эти данные используются как данные для тонкой настройки (fine-tuning) Being-M0.7 под конкретные задачи.
Система сбора данных с реального робота для Being-M0.7. Оператор через оборудование VR обеспечивает команды движения всем телом, система преобразует позу человека в управляющие команды для робота и синхронно собирает изображение от первого лица, внутренние восприятия и траекторию движения.
Поскольку модель уже установила априорные знания «зрение — движение» на этапе предварительного обучения, данные с реального робота больше не нужны для обучения всем законам движения с нуля и выполняют две основные задачи: во-первых, адаптация априорных знаний предварительного обучения к конкретному пространству управления человекоподобного робота; во-вторых, изучение команд низкоуровневого управления и механизмов обратной связи, необходимых реальному роботу. Этот процесс выполняется легковесным экспертом по действиям (Action Expert). Эксперт по действиям считывает промежуточные скрытые состояния Latent WAM, использует их как контекст высокоуровневого планирования, а затем, комбинируя с текущим визуальным наблюдением, внутренней сенсорной информацией и ходом выполнения, генерирует блоки действий, которые робот может выполнять напрямую.
На этапе вывода модель с низкой частотой генерирует планирование будущего «видео-движение», преобразуя свои промежуточные скрытые состояния в пригодный для повторного использования кэш стратегии (KV Cache). Унифицированное представление движения не только объединяет визуальную обратную связь и обратную связь от внутренних восприятий, но также использует последнее состояние движения робота для коррекции предсказанного планирования движения всего тела, позволяя стратегии своевременно реагировать на отклонения в движении тела и исполнительных механизмов. Эксперт по действиям повторно использует текущий KV Cache, с высокой частотой непрерывно генерирует действия и плавно интегрирует последнюю обратную связь от робота при обновлении кэша. Эта конструкция обеспечивает разделение низкочастотного мирового планирования и высокочастотного управления действиями, гарантируя реальное время выполнения и обеспечивая постоянное руководство робота как долгосрочным планированием, так и обратной связью в реальном времени.
Масштабируемая парадигма слияния: путь к более универсальному воплощенному ИИ
Значение архитектуры Vision-Motion MoT заключается не только в решении проблемы обучения конкретно модели Being-M0.7, она устанавливает устойчивую, масштабируемую парадигму мультимодального слияния.
Наиболее непосредственные изменения, которые привносит эта парадигма, происходят на уровне данных.
Более 10 000 часов данных смешанной модальности расширяют источники сигналов надзора для обучения моделей человекоподобных роботов от дорогих и редких демонстраций реальных роботов до огромных массивов данных о человеческом поведении. Ослабление узкого места с данными является предпосылкой для действия любого закона масштабирования (Scaling Law).
В то же время, Being-M0.7 также меняет порядок обучения модели.
Прежде чем быть адаптированными в исполняемые команды для робота, модель сначала изучает визуальный контекст, будущую динамику и структуру кинематики человека из масштабных данных, центрированных на человеке. Затем эксперт по действиям преобразует эти предсказания и априорные знания о движении в управляющие команды для конкретного робота. Иными словами, модель сначала развивает способность предсказывать будущее состояние и движения тела, а затем учится действовать на конкретной конструкции. Это составляет важное отличие от традиционных подходов обучения с подражания, которые напрямую изучают отображение действий из демонстраций робота. Последние часто начинают с принципа «увидел что-то — вывел соответствующее действие», в то время как Being-M0.7 добавляет слой совместного моделирования будущего состояния и движения перед генерацией действий.
Что еще более важно, эта архитектура не требует, чтобы все добавляемые данные имели полные парные данные «зрение — движение». После очистки и обработки отдельные человеческие видео и последовательности движений также могут быть включены в одну модель. По мере дальнейшего увеличения масштаба данных эта парадигма слияния также может продолжить расширять границы возможностей.
В системе координат всей отрасли выпуск Being-M0.7, возможно, представляет собой изменение конкурентной логики для человекоподобных роботов.
В последние годы внимание отрасли было больше сосредоточено на том, чья конструкция более гибкая, чьи демонстрации движения более впечатляющие. По мере непрерывного повышения производительности аппаратного обеспечения, способность модели понимать сцену, предсказывать изменения, генерировать скоординированные действия всего тела, а также существование за этим масштабируемой системы данных будут все больше становиться ключевыми факторами, определяющими разрыв.
Развитие больших языковых моделей уже доказало, что масштабируемые данные и обучающий маховик часто определяют, как далеко в конечном итоге может зайти технологическая стратегия. Воплощенный ИИ стоит на аналогичном переломном этапе: данные реальных роботов не могут расти так же быстро, как интернет-корпусы. Откуда еще роботы могут получить опыт, необходимый для постоянной эволюции?
От Being-H к Being-M, решение «Zhizai Wujie» заключается в том, чтобы позволить роботам сначала изучить мир на основе человеческого поведения, а затем преобразовать эти знания в действия в реальном физическом пространстве.
Когда понимание становится предпосылкой действия, универсальные человекоподобные роботы действительно выходят за рамки лабораторных нарративов и начинают путь к физическому миру тысяч отраслей и профессий.
Эта статья взята с официального аккаунта WeChat «Машинное сердце» (ID: almosthuman2014), автор: Ян Вэнь.
