69-летний отец обучения с подкреплением Ричард Саттон основал стартап: создание 20-ваттного агента уровня человеческого мозга
69-летний Ричард Саттон, основоположник обучения с подкреплением и лауреат премии Тьюринга 2024 года, вместе со своим учеником Хуррамом Джаведом покинул Keen Technologies (основанную Джоном Кармаком) и основал собственную лабораторию — Oak Lab.
Цель Oak Lab — создание интеллектуального агента с триллионом параметров, способного к обучению и планированию в реальном времени, с энергопотреблением всего 20 Вт, что сравнимо с энергозатратами человеческого мозга. Это является прямым ответом Саттона на его убеждение, что современные методы глубокого обучения неэффективны и требуют фундаментально новых идей, а не постепенных улучшений.
Ключевая идея Oak Lab заключается в том, что «интеллект возникает из опыта, постоянно генерируемого во время работы». В отличие от современных больших языковых моделей, которые обучаются на статических наборах данных, агент Oak Lab должен постоянно обучаться на основе своего взаимодействия с окружающей средой, немедленно адаптируя свое поведение.
Исследовательский подход лаборатории сосредоточен на архитектуре OaK (Options and Knowledge), которая позволяет агенту выделять из опыта абстрактные навыки (опции) и знания. Это позволяет разбивать сложные задачи на повторно используемые навыки, что является формой временной абстракции. Кроме того, система должна обучаться в реальном времени (размер пакета равен 1), без хранения и воспроизведения исторических данных, что, по замыслу, радикально снизит вычислительные затраты.
Эта философия развивает идеи, изложенные Саттоном в его знаменитом эссе «Горький урок» (2019). Хотя он и признает успех масштабирования вычислений, он считает, что истинный интеллект должен происходить из опыта, генерируемого самим агентом в погоне за долгосрочными целями, а не только из данных, созданных и отобранных человеком. Oak Lab представляет собой практическое воплощение этого видения «эпохи опыта».
Первым публичным выступлением Саттона после начала创业 станет доклад «Первые принципы обучения с подкреплением: выращивание сверхинтеллекта из опыта» на Всемирной конференции по искусственному интеллекту (WAIC) в Шанхае.
marsbit07/14 12:32
