69 лет — самое время «творить»!
Основоположник обучения с подкреплением, лауреат премии Тьюринга 2024 года Ричард Саттон объявил, что он и его ученик Хуррам Джавед покинули основанную Джоном Кармаком Keen Technologies, чтобы создать собственную компанию Oak Lab.
Ричарда Саттона по праву можно считать родоначальником современного обучения с подкреплением:
Он получил степень бакалавра по психологии в Стэнфорде, а в аспирантуре учился у пионера обучения с подкреплением Эндрю Барто. В начале карьеры он работал исследователем в GTE Labs и AT&T Labs.
Он предложил алгоритм временных разностей, а книга «Reinforcement Learning: An Introduction» («Введение в обучение с подкреплением»), написанная в соавторстве с его научным руководителем Эндрю Барто, стала всемирно признанным учебником в этой области;
С 2003 года Саттон долгое время работал профессором в Университете Альберты, где основал лабораторию обучения с подкреплением RLAI;
С 2017 по 2023 год он занимал должность выдающегося научного сотрудника в DeepMind, возглавляя исследовательскую группу DeepMind Edmonton.
Кроме того, за более чем сорок лет Саттон воспитал целую плеяду ведущих специалистов в индустрии ИИ.
Среди них — ключевой разработчик AlphaGo Дэвид Сильвер, глава DeepMind Montreal Дойна Прекуп, эксперт по игровому ИИ Майкл Боулинг, а также сооснователь стартапа Хуррам Джавед.
Судя по твитам, причина ухода Саттона проста:
Он считает, что современные методы глубокого обучения слабы и неэффективны, и нужны не точечные исправления, а совершенно новые фундаментальные идеи и полная перестройка.
Другими словами, Саттон полагает, что нынешний путь развития ИИ с трудом ведёт к продвижению к более высокому уровню общего интеллекта.
А конечная цель Oak Lab такова:
Создать агента масштаба в триллион параметров, способного к обучению и планированию в реальном времени, с общим энергопотреблением всего 20 ватт.
20 ватт — ровно столько же, сколько потребляет человеческий мозг.
Пока вся индустрия ИИ наращивает GPU и расширяет дата-центры, патриарх обучения с подкреплением готов переопределить само понятие интеллекта.
Расставание с Кармаком
Чтобы понять, почему Саттон ушёл, нужно сначала понять, откуда он ушёл.
Основатель Keen Technologies Джон Кармак — создатель «Doom» и «Quake», бывший технический директор Oculus, легендарный «бог программирования».
В 2022 году он ушёл из Meta, чтобы полностью сосредоточиться на стартапе в области ИИ, тоже связанном с обучением с подкреплением.
В сентябре 2023 года Саттон решил присоединиться к Keen после того, как Google DeepMind закрыл его совместную с Эдмонтоном лабораторию в Канаде.
Тогда их союз казался идеальным:
Один — легенда в области системного программирования, другой — основоположник теории обучения с подкреплением. Они планировали создать к 2030 году прототип системы, демонстрирующий «признаки жизни ОИИ».
Теперь, менее чем через три года сотрудничества, Саттон решил уйти.
Но в своём твите он специально оставил первое слово для Кармака:
Я не могу нахвалить Джона Кармака и Keen Technologies достаточно.
Смысл таков: уход произошёл не потому, что с Кармаком что-то не так, а потому, что их взгляды на путь к конечной цели разошлись.
По мнению Саттона, нынешний путь развития глубокого обучения тупиковый.
Моделям не нужно бесконечно итеративно дообучаться, вся индустрия остро нуждается в смене парадигмы и фундаментальной перестройке.
Чем будет заниматься Oak Lab
Суть стартапа Саттона можно выразить одной фразой:
Интеллект рождается из опыта, постоянно генерируемого во время работы.
Современные крупные языковые модели в основном работают по следующей схеме: они проходят месяцы офлайн-предобучения, требующего огромных затрат, на основе гигантских объёмов текстовых данных;
После завершения обучения параметры модели в основном фиксируются, и она запускается в работу.
Но даже ежедневно общаясь с миллионами пользователей, подавляющая часть диалогов не превращается в новые способности модели.
Модель может лишь повторно использовать знания, полученные на этапе обучения, или временно запоминать информацию в контексте диалога, но не способна, подобно людям и животным, обновлять себя в процессе постоянного восприятия окружающего мира.
Но агент, которого хочет создать Oak Lab, будет другим.
Он будет одновременно воспринимать окружающую среду, совершать соответствующие действия и корректировать своё поведение на основе результатов;
Как только появляется новый опыт, процесс обучения происходит синхронно, не требуя длительного перерыва перед началом нового цикла тренировок.
Как сказал сам Саттон:
Каждый момент работы ИИ должен быть процессом обучения.
На данный момент Oak Lab уже обнародовала свою основную исследовательскую программу, построенную вокруг архитектуры под названием OaK.
OaK означает Options and Knowledge, то есть навыки и знания.
Цель этой архитектуры — позволить агенту обнаруживать в своём опыте абстрактные структуры, охватывающие временные промежутки, и превращать их в проверяемые, планируемые и многократно используемые навыки.
Например, когда робот впервые идёт на кухню за водой, весь процесс включает в себя ряд действий: распознавание комнаты, избегание препятствий, взятие стакана, открытие крана и т.д.
Традиционный ИИ рассматривал бы все шаги как единую задачу принятия решений;
Архитектура OaK позволит агенту извлечь из опыта высокоуровневые навыки, такие как «дойти до кухни», «взять стакан», «набрать воду».
Впоследствии, столкнувшись с похожей целью, агент будет напрямую задействовать уже имеющиеся навыки, гибко адаптируя план к текущей обстановке.
Такой способ упрощения прошлого опыта вдоль временной оси называется временной абстракцией. Он позволяет ИИ, подобно человеку, превращать последовательность разрозненных действий в отработанные навыки и с помощью их комбинации выполнять более сложные задачи.
Кроме того, у архитектуры OaK есть ещё одна цель проектирования, кардинально отличающаяся от современных глубоких нейросетей:
На этапе обучения она не хранит исторические данные и не воспроизводит прошлый опыт.
Современное глубокое обучение с подкреплением часто помещает огромное количество прошлого опыта в буфер и многократно использует его для выборки при обучении.
Oak Lab предлагает использовать метод обучения в реальном времени с размером пакета (batch size), равным 1: как только получается новый опыт, сразу происходит одно обновление.
Команда полагает, что если такие алгоритмы сочетать с нейронными сетями, управляемыми событиями, требуемые объёмы вычислений и энергопотребление системы могут снизиться на несколько порядков, что сделает постоянное обучение в реальном времени по-настоящему возможным.
Отсюда и долгосрочная цель: триллион параметров, обучение в реальном времени, планирование в реальном времени, потребление 20 ватт.
Конечно, пока это лишь концепция.
В основе Oak Lab лежит также теоретический краеугольный камень — гипотеза большого мира, предложенная совместно Саттоном и Джаведом.
Основная идея такова: реальный мир всегда сложнее, чем ИИ. Даже если модели становятся всё мощнее, объём данных о внешней среде будет расти с той же скоростью.
Модели, обученные на заранее подготовленных данных, не успевают за изменениями реальности.
ИИ должен научиться избирательно запоминать полезное, вовремя забывать устаревшую информацию и постоянно учиться в онлайн-режиме, чтобы адаптироваться к реальному миру.
От «Горького урока» к стартапу
Знакомые с Саттоном не удивятся этим взглядам.
В 2019 году он написал широко известную в мире ИИ короткую статью «Горький урок» (The Bitter Lesson).
В статье, рассматривая историю развития шахмат, го, распознавания речи и компьютерного зрения, он пришёл к выводу:
Универсальные методы обучения и поиска, которые могут масштабироваться вместе с вычислительными мощностями, в долгосрочной перспективе всегда превосходят системы, зависящие от ручного вклада человеческих знаний.
В эпоху больших моделей этот путь, казалось бы, получил мощное подтверждение: более крупные модели, больше данных, более мощные вычисления — всё это ведёт к росту способностей ИИ.
Но Саттон всё ещё недоволен современным глубоким обучением.
По его мнению, нынешние системы по-прежнему сильно зависят от данных, которые были созданы, отобраны и структурированы человеком.
В основном модели изучают то, что люди уже написали, сняли или промаркировали в прошлом.
Настоящий интеллектуальный агент должен генерировать новый опыт через собственные действия и использовать этот опыт для достижения долгосрочных целей.
Это также объясняет, почему он от «Горького урока» перешёл к «эре опыта».
В 2025 году он вместе с ключевой фигурой AlphaGo Дэвидом Сильвером предложил, что ИИ будет постепенно переходить от зависимости от человеческих данных к опоре на опыт, генерируемый взаимодействием агента с окружающей средой.
Oak Lab — это предпринимательская реализация данной исследовательской программы.
Сорок лет назад, когда Саттон писал в своей докторской диссертации о «временном распределении заслуг в обучении с подкреплением», это направление было нишевой дисциплиной.
Спустя сорок лет, когда весь мир охвачен волной коммерциализации больших моделей, он всё ещё задаётся тем же вопросом —
Откуда берётся интеллект?
И ещё кое-что
Первая остановка для патриарха после запуска стартапа — Шанхай, WAIC.
На Форуме мыслителей WAIC Саттон выступит с докладом на тему «Первопричина обучения с подкреплением: взращивание суперинтеллекта из опыта».
Ссылка для справки: https://x.com/RichardSSutton/status/2076663628301058329
Эта статья взята с официального аккаунта WeChat «Квантовый бит», автор: Гуаньчжу Цяньянь Кэцзи.
