Бывший главный научный сотрудник OpenAI Илья — это, пожалуй, классический пример человека, который "ушёл из мира, но мир всё ещё полнится легендами о нём".
Он, своими руками создавший эпоху глубокого обучения, покинул OpenAI более двух лет назад. Его собственная компания SSI не выпускает модели, не создаёт продукты и почти исчезла с рынка.
Но сообщество ИИ время от времени продолжает задавать один и тот же вопрос: Чем занимается Илья?
Теперь у этого вопроса внезапно появился ответ.
Совсем недавно пользователь X «Три клубники» сообщил, что SSI исследует небольшой движок логического вывода на основе TTT (Test-Time Training, обучение во время тестирования).
По его описанию, эта модель будет учиться «как учиться» на специально подготовленных данных, а затем обновлять часть весов в процессе решения задач.
Даже при небольшом размере модели её будет достаточно, чтобы конкурировать с моделями, обученными на гораздо больших масштабах данных.
Более того, в комментариях он добавил, что текущая версия SSI уже готова, и команда работает над увеличением масштаба следующего поколения прямо в 10 раз.
И что ещё важнее, возможно, это не просто «обещание на будущее».
По его словам, текущая версия может появиться уже в августе и будет доступна ограниченному кругу пользователей на раннем этапе.
То есть, если информация верна, первый проект SSI, который готовился два года, действительно может быть представлен.
После появления этой информации многие уже почувствовали изменение ситуации.
Некоторые сразу заявили, что теперь это похоже на настоящий интеллект;
Другие считают, что если этот подход сможет успешно масштабироваться, другим компаниям будет сложно догнать SSI.
Но как только все были готовы встретить «триумфальное возвращение Ильи», появились новые слухи:
Возможно, выпуск откладывается на неопределённый срок.
Истина ложь, ложь истина~
На этот раз, обнажит ли Илья свой меч?
Меч, который меняет свои приёмы в процессе нанесения удара
Честно говоря, с тех пор как Илья покинул OpenAI и основал свою компанию, слухи о SSI стали бесчисленными.
Некоторые сомневаются в реальном вкладе Ильи в историю глубокого обучения, утверждая, что истинным отцом GPT является Алек Радфорд;
Другие говорят, что он, подобно Лян Вэньфэну, переключился на исследования в области квантования.
Но причина, по которой этот слух быстро распространился, не только в том, что имя «Илья» само по себе привлекает внимание.
А в том, что он действительно совпадает с несколькими уже опубликованными намёками, по крайней мере, с тремя:
Первый — это непрерывное обучение после развёртывания, что полностью совпадает с мнением Ильи, выраженным в ноябре прошлого года в подкасте Дваркеша Пателя.
Тогда Илья заявил: термины «ИИ общего назначения (AGI)» и «предварительное обучение (pre-training)» ввели отрасль в заблуждение.
Потому что человек не рождается с универсальным интеллектом, способным выполнять все задачи. На самом деле, человек полагается на непрерывное обучение.
Сверхразум, который он себе представлял, больше похож на чрезвычайно умного, любознательного 15-летнего подростка.
Он знает не так много, но способен после развёртывания изучать программирование, медицину и различные профессии, продолжая расти в процессе проб и ошибок.
По мнению Ильи, SSI создаёт не машину, которая знает всё с момента выпуска (после завершения предварительного обучения), а разум, способный научиться любой работе.
Эта цель имеет очевидный оттенок метаобучения: модель должна освоить не только конкретный навык, но и методы изучения новых навыков.
Хотя Илья тогда не упомянул TTT, они указывают на одну и ту же проблему:
Может ли модель продолжать меняться после развёртывания?
Вторая подсказка исходит от NVIDIA.
27 июля этого года NVIDIA и SSI объявили о долгосрочном стратегическом партнёрстве, инвестициях в SSI и предоставлении ей следующей системы Vera Rubin.
Вычислительные мощности SSI увеличатся на порядок, то есть примерно в 10 раз, и, по данным Reuters, сумма инвестиций составит 50 миллиардов долларов.
Ключевым моментом является не только деньги и GPU.
NVIDIA в своём заявлении специально отметила, что SSI последние два года тихо продвигает новое направление исследований.
NVIDIA, получив редкий доступ к этим тщательно охраняемым исследованиям, решила вывести их на следующий этап.
Другими словами, Хуан (Дженсен Хуан, CEO NVIDIA) проверил карты. Но какие именно карты — он не сказал.
Заявление самого Ильи также показательно: пора расширять SSI!
И тогда... это расширение масштаба становится очень интригующим.
Илья, что ты увидел своими глазами?
Третья подсказка — это сам прогресс TTT за последние два года.
В последнее время всё больше исследователей пытаются выйти за рамки пути «постоянного расширения контекста» и ищут парадигму, более близкую к непрерывному обучению.
Причина проста. Потому что человек учится не путём увеличения длины шпаргалки, и уж точно не как главный герой фильма «Помни», который записывает каждое событие на своём теле.
После какого-либо события мозг меняет внутренние связи. При следующей встрече с подобной проблемой человек уже не тот, что был раньше, и в этом заключается истинная привлекательность подхода TTT.
Проще говоря, TTT (Test-Time Training) — это обучение во время тестирования. Оно позволяет модели не разделять «обучение» и «логический вывод» полностью, а продолжать обучаться на данных, которые она обрабатывает в процессе решения реальных задач, а затем корректировать своё внутреннее состояние, и даже напрямую обновлять часть параметров, на основе ошибки между прогнозируемым результатом и целевым значением.
В сообщении «Три клубники» также специально упомянул связанную научную работу —
End-to-End Test-Time Training for Long Context.
Проще говоря, эта работа переосмысливает проблему длинного контекста как проблему непрерывного обучения.
Традиционная модель длинного контекста сохраняет предыдущий текст в окне контекста и при генерации нового контента ищет необходимую информацию.
Предлагаемый в работе TTT-E2E рассматривает весь контекст как обучающие данные, заставляя модель продолжать предсказывать следующий токен в процессе чтения и встраивать полученную информацию в свои веса.
Таким образом, контекст перестаёт быть просто шпаргалкой, к которой можно обратиться в любой момент, и начинает становиться учебным материалом, который действительно меняет саму модель.
Кроме того, стоит добавить, что TTT принципиально отличается от недавно ставших популярными Agent Harness и Context Engineering.
Последние полагаются на внешний контекст для построения структуры, позволяя модели видеть больше информации и использовать больше инструментов, но сама модель не меняется.
TTT идёт дальше: она не только позволяет модели видеть больше и использовать больше, но и позволяет модели напрямую меняться в процессе решения задач.
И тогда возникает вопрос.
Если TTT не является чем-то новым и настолько мощна, почему её не начали использовать раньше? Причины нетрудно догадаться:
Потому что если модель может изменять себя после развёртывания, она может учиться неправильно, отклоняться или даже забывать о своих прежних возможностях.
В 2016 году чат-бот Microsoft Tay был снят с эксплуатации менее чем за 24 часа после того, как под влиянием пользователей начал выдавать оскорбительный контент.
Tay и TTT — не одна и та же технология, но они давно выявили одну и ту же проблему:
Безопасность.
Поэтому естественно, что пользователи задали этот вопрос, и «Три клубники» ответили, что Илья уже решил эту проблему.
Конечно, это утверждение далеко не является доказательством и больше похоже на лёгкий слух.
Но, как ни странно, оно возвращает нас к букве S в названии SSI (Safe Superintelligence):
Безопасность (Safe).
Если Илья действительно хочет создать сверхразум, который будет непрерывно развиваться после развёртывания, то «научить его учиться» решает только половину проблемы.
Оставшаяся половина, возможно, ещё сложнее: научить его понимать, чему нельзя учиться.
Почему все его ждут
Говоря об этом, остаётся последний вопрос:
Почему анонимный слух, в достоверности которого нельзя быть уверенным, вызывает такое волнение у стольких людей?
Только потому, что за воротами стоит Илья Суцкевер.
Он соучредитель OpenAI, бывший главный научный сотрудник и один из самых влиятельных исследователей в области глубокого обучения за последние десять лет.
От AlexNet, Sequence-to-Sequence, AlphaGo до серии GPT — везде можно увидеть его имя.
NVIDIA в заявлении о сотрудничестве также специально отметила, что Илья позднее возглавлял исследования, которые в итоге привели к появлению моделей логического вывода, таких как OpenAI o1.
Другими словами, самое пугающее в нём — не количество выпущенных моделей.
А то, что за свою карьеру он несколько раз оказывался на правильном пути ещё до того, как этот путь становился общепризнанным.
Именно поэтому с мая 2024 года, после ухода из OpenAI, следующий шаг Ильи оставался одной из самых больших загадок в мире ИИ.
А SSI, основанная месяц спустя, сделала таинственность своей сущностью.
Кроме цели — безопасного сверхразума — в течение последующих двух лет SSI не выпускала модели, не создавала продукты, не публиковала научные работы, и внешнему миру даже не было известно, над чем конкретно они работают.
Даже когда Илья изредка появлялся на публике, он лишь говорил об обобщении, непрерывном обучении и возможном приближении конца эпохи предварительного обучения.
Только в июле этого года, после того как NVIDIA ознакомилась с тщательно охраняемыми исследованиями SSI и решила удвоить ставки, а также помочь увеличить вычислительные мощности на порядок, SSI снова оказалась в центре внимания.
В свете этого сегодняшний слух о TTT приобретает иной оттенок.
Илья всегда говорил, что настоящий сверхразум должен уметь продолжать обучение после развёртывания;
Теперь же появляются сообщения о том, что SSI работает над моделью, которая будет продолжать обновлять себя в процессе логического вывода.
Конечно, пока нет железных доказательств. Но если эти две линии действительно сойдутся —
То, что Илья оттачивал в уединении в течение двух лет, возможно, действительно не очередной, более крупный GPT.
А меч, который меняет свои приёмы в момент нанесения удара.
Будьте готовы!
Ссылки[1]https://x.com/i/trending/2087551605553901958[2]https://www.youtube.com/watch?v=aR20FWCCjAs
Эта статья из публичного аккаунта WeChat «Квантовый бит», автор: Обращаем внимание на передовые технологии
