Спустя почти два года Фэйфэй Ли снова стала гостем a16z, чтобы обсудить пространственный интеллект и полную стратегию World Labs в робототехнике.
Информационная плотность на максимуме, невозможно оторваться!
Наша цель — сделать пространственный интеллект следующим рубежом ИИ.
Способность действовать в физическом пространстве остаётся одной из самых захватывающих и важных возможностей в будущем мира ИИ, и роботы — его ядро.
Роботы — это первый испытательный камень для пространственного интеллекта и важная сцена применения для моделирования мира.
SceniX решает самую сложную проблему в робототехнике: острую нехватку обучающих и оценочных данных.
Чтобы роботы действительно работали, мы должны раскрыть силу scaling law (закона масштабирования).
Оценка в реальной среде не только медленная, но и опасная, и дорогая. В отличие от этого, симуляционная среда обладает полной управляемостью и анализируемостью и предоставляет уникальную ценность как в надёжности, так и в эффективности.
Конкретная используемая модель на самом деле не важна, потому что модели всегда будут обновляться, а инфраструктура — нет.
Как только видео вышло, комментарии пользователей взлетели до небес. Кто-то даже запланировал версию «Робинзона Крузо» с роботами, расписав всё необходимое оборудование! (Серьёзно? Это правильно?)
Нельзя не сказать, что душевное состояние нынешних пользователей просто прекрасно, не хватает только хлопушки и крика «Action!».
Недавно World Labs объявила о приобретении SceniX и планирует сотрудничать с ней для создания масштабируемого цифрового тренировочного полигона для роботов.
Затем генеральный директор World Labs Фэйфэй Ли и соучредитель SceniX Юньчжу Ли стали гостями нового интервью a16z «Fei-Fei Li is Solving the Hardest Problem in Robotics», впервые публично разобрав ключевую проблему, которую они вместе решают: сделать так, чтобы ИИ не только понимал мир, но и мог его изменять.
Интересно, что Юньчжу Ли был постдоком под руководством Фэйфэй Ли. Какая история привела к этому сотрудничеству?
Мы, не меняя смысла, отредактировали расшифровку интервью с помощью ИИ.
Приятного чтения!
Почему роботы — первый испытательный камень для пространственного интеллекта?
Мартин Касадо (ведущий): Фэйфэй, не могла бы ты сначала рассказать слушателям, не знакомым с World Labs, чем занимается компания?
Фэйфэй Ли: Хорошо, World Labs — это стартап, основанный два года назад, и передовая модельная лаборатория.
Наша цель — сделать пространственный интеллект следующим рубежом ИИ.
Проще говоря, мы хотим, чтобы ИИ мог свободно генерировать, понимать, рассуждать и взаимодействовать в реальном или виртуальном пространстве.
Создание больших моделей мира — это путь к пространственному интеллекту и основное направление, на котором сейчас сосредоточена World Labs.
Ведущий: Ты с самого начала подчёркивала, что машины должны воспринимать пространство, рассуждать о нём и действовать в нём. Я думал, что действия в пространстве — это ещё далёкая цель, но сейчас вы приобрели робототехническую компанию. Почему сейчас подходящее время для приобретения? В чём цель этой сделки?
Фэйфэй Ли: Роботы — не единственный способ действовать или взаимодействовать в пространстве. В креативных областях, таких как VFX (визуальные эффекты), игры и дизайн, люди уже давно могут создавать миры в виртуальном пространстве и взаимодействовать с ними погружённым образом.
World Labs всегда придерживалась мнения: мир, в котором мы живём, может стать мультивселенной, и мы можем создавать технологии, позволяющие пользователям, творцам и разработчикам действовать в разных пространствах.
Однако способность действовать в физическом пространстве остаётся одной из самых захватывающих и важных возможностей в будущем мира ИИ, и роботы — его ядро.
World Labs всегда считала, что роботы — это первый испытательный камень для пространственного интеллекта и важная сцена применения для моделирования мира. Приглашение SceniX и её команды присоединиться к World Labs — часть нашего долгосрочного видения и миссии.
Ведущий: Юньчжу, ты соучредитель SceniX. Не мог бы ты кратко рассказать о своём бэкграунде и о том, чем занимается SceniX?
Юньчжу Ли: Всем привет, я Юньчжу Ли, соучредитель SceniX и доцент Колумбийского университета.
Мой исследовательский путь начался во время докторантуры в MIT, затем я был постдоком у Фэйфэй Ли в Стэнфорде. Моя профессиональная цель всегда была простой: помочь роботам лучше воспринимать физический мир и взаимодействовать с ним.
Я очень практичный человек, хочу, чтобы роботы работали в реальных физических условиях.
Мы заметили, что у современных универсальных роботов много узких мест, в основном связанных с обучением и оценкой. Поэтому мы разрабатываем конвейер real-to-sim-to-real, который отображает реальную среду в цифровой мир, высоко согласованный с ней.
Согласованность означает, что то, что происходит в цифровом мире, должно происходить и в реальной среде.
Таким образом, сбор данных и оценка, которые ранее должны были выполняться в реальной среде, могут быть частично заменены данными, генерируемыми в цифровом мире в масштабе. С этого началась SceniX.
Мы собрали команду, охватывающую робототехнику, машинное обучение для роботов, симуляцию и рендеринг, и пытаемся построить полный технический стек real-to-sim-to-real для решения этих ключевых проблем.
Фэйфэй Ли: Здесь есть ещё интересная история (смеётся). Можно подумать, что из-за того, что Юньчжу был моим постдоком, мы давно обсуждали слияние SceniX и World Labs.
На самом деле нет. SceniX изначально пришла в World Labs как клиент.
Мир тесен. Прошлой зимой, в ноябре или декабре, мы выпустили первую версию генеративной модели Marble, и SceniX сразу же зарегистрировалась и стала её использовать.
Сначала я даже не знала, что это компания Юньчжу. Позже, узнав, я позвонила ему и поняла, что у World Labs и SceniX много точек для сотрудничества.
Ведущий: Не могла бы ты кратко рассказать о Marble?
Фэйфэй Ли: Хорошо. Marble — это базовая модель, которую World Labs постоянно обучает и итеративно улучшает. Основная способность текущей публичной версии — принимать одно или несколько изображений, текст или их комбинацию и преобразовывать их в геометрически согласованный мир.
Этот мир выглядит очень реалистично и без артефактов.
А SceniX решает чрезвычайно сложную проблему в робототехнике: острую нехватку обучающих и оценочных данных.
Это сильно отличается от языковых моделей, которые могут получать богатые данные из интернета, в то время как роботы — нет.
Чтобы роботы действительно работали, мы должны раскрыть силу scaling law (закона масштабирования).
Откуда же берутся эти данные? Это глубокий вопрос, который задаёт всё робототехническое сообщество.
Как World Labs и SceniX дополняют друг друга?
Ведущий: Вы собрали сильные команды. Насколько пересекаются ваши компетенции и в какой степени SceniX расширяет возможности World Labs?
Фэйфэй Ли: Я считаю, что команды высокодополняющи и имеют общую миссию.
Юньчжу — один из технических соучредителей SceniX. Другой — Чанси Чжэн, профессор Колумбийского университета и мировой эксперт в области технологий симуляции, с опытом в VFX. Он работал в Tencent и также имел опыт предпринимательства.
Сяочэнь Ху (Sonny) — отличный инженерный руководитель, ранее работавший в стартапе, который позже был приобретён Amazon, и в Amazon участвовал в разработке различных стеков компьютерного зрения.
Юньчжу приносит интеллектуальное лидерство и техническую экспертизу в области робототехники, охватывающую как аппаратное обеспечение, так и весь стек робототехники. Когда он был моим постдоком в Стэнфорде, он уже был полноценным исследователем в робототехнике, работающим как с моделированием, так и с «железом». Студенты Юньчжу и команда SceniX дополняют талант, которого World Labs ранее не имела.
Чанси приносит мощные возможности симуляции. Работа World Labs во многом связана с симуляционными мирами, а у SceniX относительно слабыми были генеративные модели и возможности трёхмерной реконструкции на основе компьютерного зрения, что как раз является сильной стороной World Labs и технологией, необходимой SceniX.
После объединения картина возможностей станет более полной.
Ведущий: Юньчжу, решая, продолжать ли независимое развитие или присоединиться к World Labs, как ты оценивал совместимость? Почему в итоге было принято это решение?
Юньчжу Ли: Изначально мы рассматривали возможность продолжения независимого развития. Но после общения с Фэйфэй Ли и увидев синергию, мы сочли совместное продвижение очень логичным.
Работа SceniX по real-to-sim-to-real включает плотную реконструкцию (Dense Reconstruction) среды, захват её внешнего вида, геометрической структуры и динамики, то есть того, как среда изменится после выполнения действия. В настоящее время задача плотной реконструкции всё ещё относительно трудоёмка.
World Labs обладает глубокими возможностями в области разреженной реконструкции и генерации. Мы видим множество возможностей использовать Marble и другие связанные способности для более эффективного выполнения реконструкции и моделирования среды.
Ведущий: Можем ли мы ожидать, что World Labs выпустит базовую модель для роботов?
Фэйфэй Ли: World Labs строит базовые модели, и, конечно, мы не исключаем это направление.
Юньчжу Ли: Да. По сути, для базовой модели роботов нужна многомодальная модель.
Она должна обрабатывать кадры, текст, изображения, глубину и другие модальности, а действие — очень важная модальность. Если использовать кадры и действия в качестве входных данных, модель может выступать в качестве симулятора, предсказывая, как изменится среда после выполнения конкретного действия.
Если рассматривать действие как выходные данные, это по сути политическая модель (policy model), предсказывающая, какие действия должен предпринять робот в реальной среде для достижения конкретной цели.
Такая Omni-Model может не только помочь исследователям и разработчикам воплощённого интеллекта лучше понимать моделирование среды и планирование решений, но и служить базовой моделью-основой для тонкой настройки под конкретные робототехнические приложения, достигая надёжности и эффективности, ожидаемых клиентами.
Почему акцент на 3D и симуляции?
Ведущий: В настоящее время многие робототехнические компании идут по пути чистых видео-моделей, а вы делаете акцент на 3D и симуляции. В чём разница между двумя подходами?
Юньчжу Ли: Чтобы создать мир, в котором роботы смогут работать, этот мир должен улавливать сущностную структуру проблемы. Одно из необходимых условий — согласованность, включая пространственную, временную согласованность, согласованность между разными точками обзора и разными способами взаимодействия.
Именно здесь мы видим сильную синергию с Marble. Создаваемый Marble мир может предоставить часть необходимой роботам инфраструктуры.
Представьте, что робот пытается толкнуть объект вперёд, а объект странным образом исчезает. Многие существующие модели прогнозирования видео могут сталкиваться с такими проблемами, и такой результат недостаточен, чтобы дать роботу правильный сигнал для действий.
Видео-модели быстро совершенствуются, но создаваемая нами инфраструктура может обеспечить начальный импульс для маховика данных, постепенно переводя его от моделей, больше ориентированных на симуляцию, к моделям политик роботов, способным выполнять действия в реальной среде, затем собирать новые данные и получать обратную связь.
Модели не должны полагаться исключительно на физику или на обучение. Они могут находиться между ними, улавливая сущностную структуру проблемы и одновременно расширяясь и улучшаясь по мере накопления данных.
Ведущий: У Фэйфэй давно есть своя «Полярная звезда» — концепция, связанная с 3D и пространственным интеллектом. Есть ли у тебя подобная концепция? Или ты более практичен: сначала создаёшь систему, заставляешь её работать, а потом уже разбираешься?
Юньчжу Ли: Моя Полярная звезда — заставить роботов работать в реальных условиях. Я очень практичный человек.
Во время работы постдоком у Фэйфэй мы вместе создали тестовый набор (benchmark) и опросили общественность о том, что они хотели бы, чтобы роботы делали за них. Из тысячи собранных задач треть была связана с уборкой. Люди не любят эту грязную и тяжёлую работу, и это именно те сценарии, которые мы хотим решить с помощью роботов.
Фэйфэй Ли: Что мне действительно нравится, так это чрезвычайно практичный подход соучредителей SceniX к работе.
Хотя большинство из них из академической среды, они с самого начала выбрали сотрудничество с реальными промышленными дизайнерами и клиентами, выходя в реальные сценарии — лаборатории, склады, электронную сборку и т.д.
Такой подход к разработке роботов освежает, и я с большим нетерпением жду сотрудничества с ними.
Ведущий: Роботизированные системы должны быть достаточно точными, но креативные приложения могут терпеть и принимать ошибки, иногда даже ошибки становятся музой для творчества. С технической точки зрения, Юньчжу, как, по-твоему, согласовать эти два требования?
Юньчжу Ли: Думаю, их можно согласовать. Модель среды не обязана быть идеальной, как и модель робота.
Ведущий: Что значит, что модель не обязана быть идеальной? Она всё равно должна быть очень близка к реальности, верно?
Юньчжу Ли: Модели всегда были важным фундаментом для развития различных робототехнических приложений. Дроны, роботы-пылесосы, четвероногие и двуногие роботы — всем им нужны модели для работы и перехода из моделируемой среды в реальную.
Роботы для передвижения могут ходить по снегу или кустам, но симулятору не нужно точно воспроизводить каждый куст и сугроб.
Симуляция должна улавливать сущностную структуру проблемы и поддерживать различные формы рандомизации в цифровой среде.
Мы изучаем, с какой точностью следует моделировать мир вокруг робота, чтобы роботизированные системы, обученные в симуляционной и цифровой среде, могли быть перенесены обратно в реальные сценарии.
Жизнеспособен ли подход, основанный на симуляции?
Ведущий: Некоторые исследователи считают, что симуляция в конечном итоге всегда будет отклоняться от физического мира, поэтому сбор данных из реального мира крайне важен. Жизнеспособен ли подход, опирающийся на симуляцию?
Юньчжу Ли: Я считаю, что они не противоречат друг другу. Симуляция по сути предсказывает, как изменится среда после выполнения действия, то есть моделирует мир.
Эта модель не обязана быть чисто физической, она может сочетать физику и обучение. Мы собираем данные из реального мира и будем использовать их на разных этапах маховика данных.
На начальном этапе мы, возможно, будем больше делать акцент на физике, сначала позволим роботу изучить мир, чтобы обеспечить подходящий темп обучения и структуру знаний, позволяющую успешно обучаться.
По мере того, как мы будем накапливать больше данных через их сбор и сотрудничество с клиентами, моделирование среды может постепенно смещаться в сторону более сильной ориентации на обучение. Этот переход и поток данных смогут объединить преимущества физики, геометрии и согласованности с силой данных и вычислительных мощностей.
Фэйфэй Ли: Да, это не бинарный выбор «симуляция или нет». Все элементы должны сочетаться, чтобы роботы действительно работали.
Например, мы, люди, перед действием проводим множество симуляций в уме. Симуляция берёт на себя важную роль, которую данные реального мира не могут выполнить — роль «контрфактуального рассуждения».
Люди моделируют события, которые ещё не произошли, не могут произойти или для которых недостаточно реальных данных, и в процессе моделирования учатся тому, как действовать. Люди всегда так делают, и роботы тоже могут.
Я уверена, что планирование каждого футбольного матча включает в себя какую-то симуляцию — будь то цифровая симуляция, обсуждение на доске или другие формы. Роль симуляции — поддержка контрфактуальных рассуждений. Это крайне важно для роботов, потому что мы не можем собрать достаточно данных из реального мира для всех ситуаций.
Автономные автомобили — реальный пример. Waymo заявляла об использовании миллиардов часов симуляционных данных, и их подход сильно зависит от симуляции, а не только от данных реального мира.
Автомобиль — относительно простая робототехническая проблема, поэтому очевидно, что симуляция играет важную роль в обучении роботов.
Юньчжу Ли: Симуляция может приносить пользу на двух уровнях: надёжность и эффективность.
Что касается надёжности: чтобы роботизированная система стабильно работала в реальных условиях, данные должны системно охватывать пространство состояний и изменения, с которыми робот может столкнуться.
В симуляции мы можем системно рандомизировать и контролировать освещение, типы геометрии и физические параметры, чтобы обеспечить достаточное покрытие пространства состояний робота, повышая тем самым надёжность роботизированной системы.
Вторая выгода — эффективность. Многие команды собирают данные с помощью телеуправления. При использовании существующих устройств телеуправления и экзоскелетов скорость сбора данных может быть даже ниже, чем если бы человек выполнял задачу напрямую.
Для многих клиентов скорость, с которой собирает человек, недостаточна — они хотят, чтобы робот был быстрее человека. Но ускорение робота не равно простому увеличению скорости привода, потому что гравитация постоянна, и простое увеличение скорости не решает возникающих проблем с динамическим дисбалансом.
А в симуляции мы можем системно ускорять поведение робота, одновременно обучая его учитывать изменения динамики среды.
Таким образом, симуляция предоставляет уникальную ценность как в надёжности, так и в эффективности.
Как SceniX использует свою платформу для обучения и оценки роботов?
Ведущий: Как SceniX использует свою платформу для обучения и оценки роботов?
Юньчжу Ли: Основных применений два: обучение и оценка.
Начнём с оценки, которую в робототехнике часто упускают из виду: при обучении модели робота мы должны знать, как она работает, а оценка — это источник информации для итераций.
Ведущий: Специалисты по ИИ понимают оценку, но у каждого может быть своё понимание этого термина. Что конкретно ты имеешь в виду под оценкой здесь?
Юньчжу Ли: Я считаю, что оценка — это понимание производительности конкретной контрольной точки (checkpoint), например, успешность 95% или 99,9%.
Один из ключевых критериев оценки метрики в отрасли — посмотреть, сколько времени требуется, чтобы различить с её помощью контрольную точку с производительностью 90% и другую с производительностью 92%. Если каждый раз нужно разворачивать модель в реальном физическом мире и запускать тесты, чтобы проверить это улучшение на 2%, то цикл проверки будет мучительно долгим.
В настоящее время оценка роботов в реальном мире происходит на порядки медленнее, чем оценка языковых моделей. Сами задачи роботов также очень разнообразны. Роботы должны реально выполнять действия, перемещаться в пространстве и подчиняться законам физики.
Демонстрационные видео роботов часто воспроизводятся в 8 или 10 раз быстрее именно потому, что роботы двигаются очень медленно.
Оценка в реальной среде не только медленная, но и опасная, и дорогая. Поэтому некоторым клиентам нужна цифровая среда для оценки роботизированных систем.
Поскольку наша цифровая среда доказала свою согласованность с реальным миром, если контрольная точка лучше показывает себя в симуляции, она, скорее всего, лучше покажет себя и в реальной среде. Мы можем использовать сигналы из цифровой среды для более безопасной, масштабируемой и гораздо более быстрой оценки роботизированных систем.
Кроме того, в обучении управляемость крайне важна.
Мы хотим контролировать вариации состояний, параметров, освещения, трения и других физических параметров, а также типов геометрии объектов. Обучение должно в достаточной мере охватывать достаточно разнообразные сценарии, чтобы генерировать достаточно информативные данные, дающие роботу Robustness (устойчивость). А это чрезвычайно сложно реализовать в реальной среде.
Сбор данных с помощью телеуправления не только медленный, но и ограничен количеством роботов, устройств дистанционного управления и рядом проблем с эксплуатацией данных.
В отличие от этого, симуляционная среда обладает полной управляемостью и анализируемостью.
В цифровом мире вы можете чётко определить охват распределения данных и быть уверенными в надёжности робота в пределах этого распределения. Эта определённость, эффективность и масштабируемость являются ключевыми мотивами для клиентов, выбирающих обучение роботизированных систем в цифровом мире.
Фэйфэй Ли: Да. Ещё до того, как SceniX обратилась в World Labs, клиенты сами искали Marble, что подтверждает реальность такого спроса. Хотя на тот момент у нас ещё не было возможности обслуживать их, мы получили множество запросов от робототехнических компаний, включая как команды, разрабатывающие ранние модели, так и предприятия, стремящиеся внедрить реальные прикладные сценарии. Мы следим за этим спросом.
Ведущий: Когда люди слышат, что World Labs входит в сферу робототехники, они могут подумать, что вы будете производить аппаратное обеспечение, разрабатывать «мозг» для роботов. Но, кажется, вы занимаетесь не этим. На каком этапе жизненного цикла разработки роботов вы находитесь? Где проходит граница с партнёрами по экосистеме?
Юньчжу Ли: Мы создаём инфраструктуру и сопутствующее программное обеспечение, позволяющее разработчикам создавать миры, в которых роботы могут обучаться и оцениваться. Эта инфраструктура по своей природе не привязана к конкретной модели или конкретной форме робота.
Ведущий: То есть вы не производите роботов, а создаёте среды, куда другие компании могут помещать свои «мозги» роботов для навигации и обучения?
Юньчжу Ли: Наша платформа не выбирает роботов и не выбирает модели. Однорукие или двурукие, на стационарной или подвижной базе, даже с различными захватами и сложными концевыми эффекторами — всех можно поместить прямо в наш цифровой мир для тестирования.
Цель одна: чтобы они работали в реальной среде устойчиво и быстро.
То же самое с моделями. Генерируемые нами данные можно использовать как для обучения новой модели с нуля, так и для тонкой настройки ныне популярных моделей VLA (Vision-Language-Action) или World Action Model.
Конкретная используемая модель на самом деле не важна, потому что модели всегда будут обновляться, а инфраструктура — нет.
Проще говоря, мы не встаём ни на чью сторону по «железу» и не делаем ставку на алгоритмы. Мы делаем только одно: строим универсальный цифровой мир, в котором любой робот может натренировать реальные навыки и оставаться надёжным в реальном мире.
По какому пути должны внедряться роботы?
Ведущий: Ты упоминал, что ожидания от человекоподобных роботов, возможно, слишком завышены, и в краткосрочной перспективе более реалистичными точками внедрения являются ограниченные сценарии, такие как склады. Как это суждение повлияет на фокус работы World Labs?
Юньчжу Ли: Это хороший вопрос. Внедрение роботов в реальном мире обычно следует эволюционному пути: от полностью структурированной среды к полуструктурированной и, наконец, к неструктурированной среде.
Полностью структурированная среда — это как завод или автомобильная производственная линия, где все переменные известны и контролируемы. Такие сценарии мы автоматизируем уже десятилетиями.
Полуструктурированная среда — это как склады Amazon, рестораны или отели — среда в основном контролируема, задачи адаптированы для роботов, но всегда могут появиться непредвиденные помехи, такие как одежда.
А неструктурированная среда, например, ваш и мой дом, — это Святой Грааль робототехники.
Устойчивость (Robustness) проистекает из достаточного охвата сценариев. По крайней мере, на данном этапе сначала покорить полуструктурированную среду более осуществимо, чем сразу врываться в полностью неструктурированную. В конечном итоге мы придём к последней, но хотим идти более устойчивым и практичным путём.
Фэйфэй Ли: Человекоподобные роботы, имитируя человеческое тело, адаптируются к неструктурированной среде, а человек уже адаптировался к ней в ходе эволюции.
Наши пальцы и ноги — не лучший инструмент для выполнения какой-либо одной задачи. Если бы единственной целью человеческого вида было лазание по деревьям, у нас, вероятно, были бы пальцы другой формы.
В итоге человек эволюционировал к форме тела, обладающей высокой универсальностью, но не обязательно оптимальной для какой-либо одной задачи. Потому что эта форма способствует выживанию в неструктурированной среде.
Но с коммерческой и практической технической точек зрения, неструктурированная среда плюс универсальное тело — самая сложная проблема для решения.
Для конкретной задачи это может быть даже неверный путь. Более специализированные формы тела могут быть лучше подходят для решения более узких задач.
Поэтому задача для SceniX — сохранять нейтралитет в отношении формы робота, чтобы инфраструктура могла обслуживать разные формы тел и разные полуструктурированные среды.
Ведущий: Генеративные языковые модели могут генерировать текст или код намного быстрее и дешевле человека. Но человеческий мозг и тело очень эффективны в трёхмерной навигации и манипулировании объектами. В обозримом будущем смогут ли роботы достичь энергоэффективности человека в повседневных физических задачах? На это потребуется пять лет или это почти невозможно?
Юньчжу Ли: Думаю, это займёт много времени. В конечном счёте, работа роботов в реальных условиях — это системная проблема.
Мы должны серьёзно продумывать, как будут взаимодействовать аппаратное обеспечение, программное обеспечение и «мозг», включая даже такие детали, как коэффициент трения пальцев. Чтобы система действительно была внедрена, нужно, чтобы многие элементы сошлись воедино, и требуется постоянная итерация.
Но меня воодушевляет то, что технологический фронт в обучении роботов продвигается быстрее, чем я ожидал. Проблемы, которые я исследую сейчас, совершенно отличаются от тех, что были, когда я только начинал докторантуру. Это показывает, что вся экосистема быстро развивается, и различные компоненты, необходимые для построения роботизированных систем, начинают собираться вместе.
Но мы должны калибровать наши прогнозы. В будущем будет много прогресса, но достижение человеческого уровня энергоэффективности и общих возможностей всё ещё потребует больше времени.
Фэйфэй Ли: Самое сложное для современного ИИ — сохранять уместный и откалиброванный оптимизм.
Даже большие языковые модели не обладают энергоэффективностью человеческого мозга. Мозг человека работает с мощностью всего около 30 Вт, так что разрыв пока ещё огромен.
Ведущий: Но я думаю, что в узких задачах, таких как генерация изображений или программная инженерия, энергоэффективность, возможно, уже приближается к человеческому уровню. Просто в робототехнике разрыв может быть ещё очень большим.
Какова цель через два года после объединения?
Ведущий: Изменило ли присоединение к World Labs стратегическую траекторию команды или, возможно, подняло планку целей, которых вы можете достичь?
Юньчжу Ли: Это очень сильно изменило нашу траекторию. Мы увидели высвобождение многих возможностей, особенно после сотрудничества с World Labs, мы можем более эффективно и масштабируемо выполнять весь процесс моделирования среды.
Возможности современных языковых моделей поразительны, но вы, вероятно, всё равно не позволите им бронировать за вас авиабилеты или отели, не проверив результат, обычно кто-то всё равно проверяет вывод модели.
А вот с роботами всё иначе: модель робота, готовая к использованию «из коробки», должна быть способна надёжно работать в реальных условиях.
В настоящее время у нас нет ни достаточных данных, ни полного набора всей инфраструктуры, позволяющей роботам быть готовыми к использованию «из коробки» и надёжно работать.
Следовательно, создание масштабируемых цифровых миров, в которых роботы могут обучаться и оцениваться, раскроет огромный потенциал.
Мы можем с помощью данных, генерируемых в цифровом мире, заменить сбор данных в реальной среде, который является дорогим или небезопасным, что позволит роботам осуществлять масштабируемое обучение и оценку.
Ведущий: Значит, вы сразу же начнёте интеграцию или позволите SceniX сначала оставаться относительно независимой, продвигаясь в более долгосрочном ритме?
Фэйфэй Ли: Мы будем действовать осмотрительно, не торопясь с немедленной интеграцией всех кодовых баз и команд. У SceniX уже есть хорошо продуманный, относительно полный технологический стек, свои клиенты и продукт. Мы дадим время.
Однако интеграция обязательно произойдёт. Мы уже начали обсуждать симуляцию, а также потенциальные базовые модели и модели, зависящие от действий. SceniX уже использует Marble в качестве внутреннего клиента.
Мы будем постепенно продвигаться к интеграции, но не будем спешить смешивать команды в одну «салатницу». (смеётся)
Ведущий: Команда останется на месте?
Фэйфэй Ли: Юньчжу переедет с частью членов команды в Сан-Франциско. После переезда World Labs официально станет компанией, работающей на обоих побережьях США. Штаб-квартира нашей компании находится в Сан-Франциско, я живу в Пало-Альто. Мы откроем офис в Нью-Йорке, и это меня очень радует, потому что это поможет нам привлекать таланты с Восточного побережья.
Мы также обсуждали развёртывание роботов в обоих офисах, чтобы тестировать и совершенствовать инженерный стек для дистанционного управления роботами. В любом случае, в конечном итоге нам тоже нужно будет предоставлять такие возможности клиентам.
Ведущий: Если говорить о конкретных целях, каким будет самый идеальный кейс успеха через два года? Какие продукты вы представите, кто и как будет их использовать?
Фэйфэй Ли: Через два года я буду очень довольна, если команды SceniX и World Labs получат проверенных клиентов в нескольких важных вертикальных случаях использования и докажут, что наши системы и инфраструктура действительно помогают удовлетворить их потребности в автоматизации.
Эти клиенты станут маяками, которые помогут нам дальше расширять бизнес.
Полное интервью:
https://www.youtube.com/watch?v=-tabaM5l3s0
Ссылки:
[1]https://marble.worldlabs.ai/
[2]https://www.worldlabs.ai/blog/scenix
Эта статья из официального аккаунта WeChat «Quantum Bit», автор: Вэнь Тин
