Современные компании, работающие над воплощённым интеллектом, снимают демонстрационные ролики, отполированные и преувеличенные, как рекламные ролики. Но видели ли вы настоящее видео без единого монтажа?
Несколько дней назад коллега из отрасли прислал мне 10-минутное демо. Без склеек, без удалённого управления извне, без ручных команд, даже немного грубоватое, но то, что оно показало, заставило меня просто опуститься на стул в изумлении, и я долго не мог прийти в себя (doge).
В видео робот высовывает руку в окно, чтобы помыть стекло; когда не дотягивается до высокого места, сам догадывается принести коробку и встать на неё; прерванная длинная задача возобновляется с точностью...
И что ещё более впечатляюще, в кадре одновременно появились роботы «У-Шу» и «Чжи-Юань». Эти две «конкурирующие» платформы с полностью различной аппаратной архитектурой, степенями свободы движения и сенсорными системами используют один «мозг», взаимодействуют и тесно сотрудничают. Это редчайший в мире образец универсального мозга, работающего на разных физических носителях.
Без преувеличения можно сказать, что это демо, способное изменить глобальное понимание отрасли воплощённого интеллекта, перевернуть суждения о технологиях на этом направлении и даже, возможно, изменить Scaling Law...
Откуда же взялись эти боги?
Разбор видео по кадрам: сплошные кульминационные моменты
Информационная насыщенность этого видео просто огромна. Я внимательно разобрал его по кадрам, и чем больше смотрел, тем больше впечатлялся.
Работа в замкнутом пространстве: невероятно стабильно
Место съёмок — съёмная комната площадью около 15 м², с плотно расставленной мебелью и узкими проходами, где даже развернуться сложно. В такой обстановке практически невозможно дистанционно управлять операциями (негде встать человеку) или использовать заранее написанные сценарии.
Уже сама конструкция окружения в этом видео прямо говорит нам, что это могло быть только видео, где робот полностью самостоятельно обучается, эволюционирует и принимает решения.
Два робота параллельно выполняют работу по дому в одном пространстве, воспринимая границы и планируя маршруты в реальном времени.
Без столкновений, без потери ориентации, без замирания, идеально адаптировались к незнакомой сложной реальной среде. Даже робот в «побитом» состоянии на привязи продемонстрировал исключительную гибкость.
Во всём видео нет смены кадров, пересъёмки или вмешательства человека с командами.
Высовывает руку в окно, чтобы вымыть стекло: пиковое воплощение динамических возможностей и автономного мышления
С первого же задания робот продемонстрировал «тонкость», выходящую за рамки человеческого воображения.
Робот «У-Шу» использует скребок для мытья стекла. Любой, кто пользовался скребком, знает: если давить слабо — не отмоешь, сильно — появится скрежет. Контроль усилия и пространственное восприятие здесь важнее, чем при использовании тряпки. Сразу же выбрал себе задачу адской сложности.
Робот несколько раз провёл скребком, одно место осталось грязным, и он САМ решил: грязь, возможно, снаружи.
Затем он выполнил серию действий, которых я раньше никогда не видел: развернулся боком, отклонился назад, высунул голову, протянул руку и выставил руку со скребком в окно. (Уверенно, как старый пёс).
Некоторые существующие модели воплощённого интеллекта уже достигают предела, если хорошо справляются с силовым контролем. А этот робот, на основе точного управления моментом, безупречно объединил восприятие пространственного окружения (высунул руку, не задев раму) и расчёты динамики.
Он не только достиг потолка отрасли по отдельным возможностям, но и продемонстрировал триединое унифицированное поведение.
И что меня особенно потрясло и долго не отпускало, так это то, что, не сумев отмыть обычным способом, он немедленно, путём умозаключений и принятия решений, высунул руку в окно. Впервые я увидел, как модель, подобно человеку, совершает самоанализ и саморазвитие.
Это в полной мере демонстрирует, что модель объединяет зрение, осязание, динамику и т.д. в единое восприятие и обладает способностью к саморазвитию. На этот раз я наконец поверил, что роботы действительно могут работать. Более того, они будут работать идеальнее человека.
Замыкание длительных последовательных задач, отказ от накопления ошибок
Помыв стекло, робот «У-Шу» плавно и аккуратно положил скребок на место, точно в точку, движение было непрерывным.
Не стоит недооценивать это завершающее действие. Оно означает, что он выполнил полный цикл «взять инструмент — выполнить работу — убрать».
Робот «Чжи-Юань» рядом подошёл к стиральной машине, достал постиранную подушку и положил её за диван, затем вернулся, достал постиранную игрушку и аккуратно положил её на вторую полку шкафа. Каждая вещь вернулась на своё место.
То, что робот «Чжи-Юань» случайно задел стекло, лишь подтверждает, что это автономное решение робота, потому что камеры иногда не справляются с бликами от стекла, а при дистанционном управлении человеком это возможно (doge).
Эти две сцены — квинтэссенция базовых способностей всего 10-минутного видео. В длинных последовательных задачах каждое задание выполняется гладко, точно и с первого раза, без накопления ошибок и ухудшения качества по мере увеличения количества и длины задач.
Это решает главный недостаток традиционных VLA-моделей — боязнь длинных последовательностей задач.
Только с точки зрения двигательных проявлений, модель определённо использует совершенно новую архитектуру. В сверхдлинной 10-минутной цепочке задач она непрерывно корректирует ошибки, стабильно выдаёт результат, каждое движение выполняется точно и контролируемо, надёжность можно назвать лучшей в отрасли.
Задачи можно прерывать произвольно, модель способна продолжить с точки останова
Затем в кадре раздался звук будильника. (Прислушайтесь, звук не очень явный).
Сначала я не понял смысла будильника. После многократного просмотра стало ясно: будильник — это своего рода предустановленное напоминание, которое прерывает текущие задачи обоих роботов, и они начинают выполнять специальное задание по уборке стола и холодильника.
Удивительно то, что после уборки стола и холодильника роботы продолжили выполнение прерванных ранее задач. Это показывает, что модель обладает способностью к произвольному прерыванию, продолжению с точки останова и восстановлению задач.
В отличие от демо на рынке, где за раз можно выполнить только одну задачу, да и ту нужно бережно оберегать, это грубоватое видео демонстрирует сверхспособности робота в реальных рабочих условиях: он не только вынослив, но даже может «делать два дела одновременно».
Далее следует длительный процесс домашней уборки: робот «У-Шу» берёт сумку для хранения и кладёт её на стол; робот «Чжи-Юань», увидев еду на холодильнике, решает, что её нужно хранить охлаждённой, и немедленно выполняет это, попутно доставая продукты, которые нужно разморозить (предполагаю, что эта загадочная команда намекает, что робот скоро сможет приготовить четыре блюда и суп).
На протяжении всего процесса не было пошаговых команд. Роботы самостоятельно декомпозируют задачи, планируют действия, шаг за шагом завершая полный процесс от взятия предмета до его размещения.
Подавляющее большинство современных роботов могут выполнять только последовательность одиночных задач. При возникновении помех в середине процесса задача обычно срывается. А эта модель обладает способностью определять приоритетность задач и динамически планировать их на человеческом уровне. Она может переключаться между потоками задач в любое время. Гибкость и стабильность, демонстрируемые таким интеллектом, превосходят возможности любой известной на рынке модели.
«Чжи-Юань» надевает шарф на «У-Шу»: кульминационный момент межплатформенного сотрудничества
Затем наступает высшая точка всего видео.
Кажется, роботы договорились: братцы, нужно сразу разобрать хлам на столе, нельзя таскать туда-сюда.
Поэтому «У-Шу» продолжал класть предметы на своё тело, пока не заполнил руки и не понял, что делать дальше. В этот момент робот «Чжи-Юань» нежно подошёл, медленно взял шарф со стола и накинул его на шею робота «У-Шу».
Робот «Чжи-Юань» обнаружил, что шарф длинный, и взял его в обе руки. Тогда «У-Шу», похоже, тоже понял намерение «Чжи-Юаня», наклонился, и «Чжи-Юань» обмотал шарф вокруг головы «У-Шу» и повесил ему на шею.
Да вы что, ребята?! Эта плавность и взаимодействие взглядов... тут даже чувствуется какая-то химия!
Видео не было заранее настроенным разделением труда. Это решение о сотрудничестве, которое модель самостоятельно разработала между двумя роботами разных платформ. Два робота разных брендов самостоятельно оценили границы своих возможностей и идеально дополнили друг друга. Это бесконечно приближается к человеческому сотрудничеству, а без слов кажется даже более слаженным.
Возможно, это первое в мире межплатформенное взаимодействие. И, возможно, впервые в мире появилась модель, способная быть универсальной для разных носителей.
Думаю, эта загадочная команда хотела показать на примере двух конкурирующих платформ, что такое настоящий универсальный мозг.
Накидывает полотенце, несёт тапочки за шнурок: неужели робот не только работает, но уже начал «лениться»?
«У-Шу», увешанный предметами, медленно удалился в дальнюю часть комнаты, а «Чжи-Юань» продолжил убирать оставшиеся вещи.
В этот момент он взял полотенце и попытался накинуть его на себя. Попробовал раз, два, три — и наконец перекинул через плечо.
Шок втройне!
Робот, кажется, знает, как легче. Полотенце на плече — удобнее, чем держать в руке.
Модель способна к самообучению: после одной-двух неудач она постоянно оптимизирует, пока не добьётся успеха.
Модель понимает свою собственную физическую оболочку. Возможно, это ключевая причина, по которой она может применяться на разных носителях.
Это не единичный случай.
Присмотритесь: когда робот убирает тапочки, он несёт их за шнурок, а не за саму обувь, потому что так легче.
Ещё один шок! Пока другие роботы ещё наряжаются для работы, эта модель не только справляется с работой, но и прямо-таки научилась «лениться»? Это слишком умно.
Ещё одна кульминация: робот учится использовать инструменты, пытаясь подставить под себя коробку
Ещё не конец. Появилась сцена, которая поразила меня больше всего. В процессе размещения предметов, висящих по всему телу, робота «У-Шу» ростом всего 1,3 метра озадачило, как положить шарф на третью полку шкафа.
И тут произошло нечто божественное! Он не завис и не сдался. Вместо этого, как бы рассуждая по-человечески, он САМ НАШЁЛ КОРОБКУ! Да, нашёл коробку! Попытался встать на неё, чтобы стать выше, и попробовать ещё раз.
Он нашёл коробку рядом и столкнул её на пол, попытался наклониться, чтобы поднять её, но понял, что не может наклониться.
После нескольких попыток, когда я уже подумал, что он всё-таки сдастся, он поразительно, НОГОЙ, подтолкнул коробку к шкафу!
Весь этот процесс демонстрирует:
Способность к самоанализу и принятию решений. Робот понимает, как можно дотянуться до высоко расположенного предмета, как можно передвинуть коробку, когда не может наклониться.
Постоянное исследование моделью возможностей своего тела. В процессе повторных попыток наклониться робот, кажется, всё лучше понимает границы своих физических возможностей и делает выбор, соответствующий этим возможностям.
Процесс саморазвития. Без какого-либо обучения робот фактически научился использовать ногу, чтобы пинать коробку, умело используя своё тело для саморазвития в окружающей среде.
Эта сцена действительно заставила меня похолодеть.
Ведь способность автономно использовать инструменты — отличительная черта человека.
А робот на видео действительно научился их использовать. Он знает, что коробка может выдержать вес, знает, что, встав на неё, можно увеличить высоту, и даже знает, что, когда не можешь наклониться, можно использовать ногу.
За этой серией действий лежит глубокое понимание правил физического мира, постоянное исследование собственных возможностей и триединое сочетание самоанализа и эволюции решений.
Межплатформенное дополнение возможностей, совместная работа: от индивида к группе
«У-Шу» пнул коробку, но промахнулся. Пока он размышлял, как выровнять коробку, к нему подошёл «Чжи-Юань Чжэнъюань A3» ростом 1,7 м. Казалось, он понял упорство и затруднения «У-Шу», отложил в сторону маленькую тележку (активно переключил задачу) и решил помочь товарищу.
Как на церемонии вручения дипломов, «У-Шу» наклонился и опустил голову, а «Чжи-Юань» медленно снял шарф и положил его на полку.
Каждая деталь в этих шагах демонстрирует возможности, превосходящие другие модели.
Понимание роботами собственных аппаратных возможностей и возможностей друг друга, их взаимодействие выходят за рамки индивидуального интеллекта и движутся к коллективному интеллекту.
«Чжи-Юань» провёл шарф за затылком «У-Шу», чтобы аккуратно снять его (можно представить, как другие роботы стали бы стаскивать этот шарф), демонстрируя предельное понимание контроля усилия и пространственного восприятия.
Робот сложил шарф втрое — это самостоятельное суждение о том, как лучше положить шарф в шкаф. Вот это настоящее воплощённое «разумение».
Наконец, «Чжи-Юань», помогнув «У-Шу», молча удалился и стабильно положил последнюю одежду в стиральную машину (предполагаю, он решил, что одежда, лежащая на машине, — грязная). Так завершились эти десять минут без единого склеивания.
Хотя я и не знаю архитектуру этой модели, я уверен, что вы, как и я, потрясены.
Первое межплатформенное сотрудничество, первый раз, когда увидели автономную эволюцию робота, первый раз, когда увидели похожие на человеческие самостоятельные решения о выборе оптимального пути, предельное пространственное восприятие и силовой контроль, произвольное прерывание задач, умение использовать инструменты... Каждое действие, каждый кадр этой модели — это отличное демо само по себе, но они просто тихо появились в этом 10-минутном видео без склеек, и представлены так просто и прямо.
Словно это лёгкая, непринуждённая, данная свыше способность, излучающая королевскую уверенность.
Базовые технологии вышли за рамки устоявшихся парадигм основных моделей
Почему роботы на видео смогли показать столько кульминационных моментов?
Из общения с осведомлёнными источниками я узнал, что самая важная причина в том, что эта модель вышла за все устоявшиеся рамки современных основных моделей воплощённого интеллекта.
Современные основные модели воплощённого интеллекта можно разделить на три категории: VLA, WAM и традиционные мировые модели. У всех у них есть временно непреодолимые ограничения.
△Изображение сгенерировано ИИ
Конкретно, VLA — это «интуитивисты от данных», полагающиеся на огромные объёмы визуальных, языковых и двигательных данных для сквозного (end-to-end) приближения. Но её суть — «угадать действие по картинке», ей не хватает способности к физическим умозаключениям, в длинных последовательностях задач ошибки накапливаются, способность к обобщению в незнакомых сценариях близка к нулю, и она жёстко привязана к конкретной физической платформе.
А WAM и традиционные мировые модели — это «предсказатели-мечтатели», пытающиеся сначала смоделировать законы мира, а затем спланировать действия. Но в них есть фатальная проблема «разрыва между знанием и действием». Модель может понять сцену, предсказать состояние, но, столкнувшись с практическими сценариями, требующими динамических физических рассуждений, по-прежнему может полагаться только на обучающие данные для вывода, неспособная адаптироваться к динамическим изменениям реальной среды.
У этих основных моделей воплощённого интеллекта есть общий фундаментальный фатальный недостаток: подгонка задач на основе данных.
То есть все действия основаны на «вероятностном угадывании» по огромным массивам данных, а не на глубоком понимании физических законов. Это приводит к тому, что верхний предел возможностей модели жёстко ограничен обучающими данными.
И, как говорят, модель на видео обучалась всего на нескольких десятках часов видеоданных. Такой малый объём данных привёл к столь поразительному результату — существует ли ещё Scaling Law? Действительно стоит поставить под вопрос. (Предвестник падения акций на Nasdaq).
Судя по деталям, модель на видео демонстрирует как минимум четыре способности, недостижимые для современных VLA и мировых моделей:
Динамическое моделирование: Траектории соответствуют динамической осуществимости, могут вычислять компенсирующие моменты и прямые составляющие, исключительная способность к экстраполяции и обобщению.
Самосознание: Не полагается на условные рефлексы, как VLA, и не на временную статистику, как WAM. Думает, как человек: «Какое следующее действие максимально приблизит к цели?».
Адаптивность: Может дополнять причинно-следственные рассуждения, решать проблемы с длинным хвостом распределения, развиваясь по ходу действий.
Способность к саморазвитию: В процессе выполнения задач навыки самовозрастают, стратегии самоэволюционируют, словно способны самостимулировать постановку учебных целей и активно размышлять для достижения ценности.
Основу всему этому составляют три ключевых технологических ядра.
Обучение динамике с физическими ограничениями. В отличие от чисто управляемого данными режима обучения VLA и WAM, её ядро — это вынесение физических правил на передний план, управление через прогнозирование динамики. Нести тапочки за шнурок, перекинуть полотенце через плечо, встать на коробку, чтобы стать выше — всему этому не учили данные. Это оптимальные решения, которые модель самостоятельно исследовала во взаимодействии с окружающей средой.
Унифицированное моделирование для разных носителей. Через унифицированное пространство представления действий и механизм адаптации к носителю одна и та же модель адаптируется к аппаратным платформам разных брендов и архитектур. Это эквивалентно «разделению программного и аппаратного обеспечения» для воплощённого интеллекта, положившему конец эпохе привязки алгоритмов к железу.
Надёжное замыкание длительных последовательностей. Опираясь на глобальную структуру планирования задач, автономно обрабатывает внезапные помехи, ошибки действий, переключение задач на протяжении всего процесса, избегая проблемы накопления ошибок и краха в длинных процессах традиционных моделей. Обладает ключевыми способностями для реального развёртывания в домашних и сложных сценариях.
Если вы знакомы с текущим состоянием моделей воплощённого интеллекта, то, прочитав вышеизложенное, наверняка тоже будете поражены.
Пока демо других команд всё ещё нагромождают короткие по времени, отполированные, одиночные задачи, это загадочное видео уже завершило 10-минутное, без монтажа, межбрендовое, многоуровневое, совместное, полнопроцессное, саморазвивающееся реальное развёртывание в настоящей обстановке.
Пока другие модели всё ещё «угадывают действия по данным», эта модель, кажется, уже реализовала полное самоуправление, самообучение, саморазвитие. Она показывает всем, что роботы не только действительно могут работать, но и их способности быстро саморазвиваются, давая безграничный простор для воображения.
Что ещё важнее, эта модель, кажется, позволяет нам увидеть, что будущее, о котором все горячо спорят — наступит ли оно через три, пять или десять лет — будущее, в котором роботы действительно смогут работать вместо людей, сегодня появилось прямо перед вами.
Команда неизвестного происхождения, кажется, перевернула все технологические пути, перевернула Scaling Law, создала настоящее воплощённое «разумение» и приблизилась к моменту ChatGPT для воплощённого интеллекта.
Пока неизвестно, кому принадлежит эта загадочная модель, но я верю, что сейчас у всех, как и у меня, один и тот же вопрос: КТО ЖЕ ЭТО!!!
У кого-нибудь есть какие-нибудь слухи, дорогие эксперты?!
Статья из официального аккаунта WeChat «Квантовый бит» (ID: QbitAI), автор: Ной
