Словно гром среди ясного неба в мире ИИ!
Anthropic обращается ко всему человечеству с предупреждением: прекратите исследования ИИ!
Внутренние данные Anthropic показывают, что ИИ ускоряет развитие самого ИИ, возможно, уже проявился путь к рекурсивному самосовершенствованию.
Другими словами, ИИ приближается к переломному моменту, когда он сможет «создавать сам себя».
Этот процесс идёт быстрее, чем предполагала Anthropic, поэтому компания призывает замедлить или приостановить исследования ИИ.
А в это время Ян Дюбуа, руководитель группы посттренинга OpenAI, в своём последнем интервью представил более микроскопический, но не менее вдумчивый взгляд:
Эволюция ИИ — это не внезапный читерский скачок, а просто пересечение порога годности!
В свежем интервью он раскрыл несколько внутренних взглядов:
Рост способностей ИИ линеен и непрерывен, но «полезность», которую ощущают пользователи, дискретна и скачкообразна.
Потому что до достижения определённого «порога надёжности» ИИ — всего лишь игрушка, умеющая показывать фокусы; как только он переступает эту черту, он превращается в сотрудника, которому можно доверить работу, и начинает самоускоряться.
Этот порог OpenAI пересёк примерно в декабре прошлого года.
Кроме того, Ян Дюбуа выдвинул контр-интуитивное утверждение: создание ИИ больше похоже на «ремесло (Craft)», чем на «науку».
Этот вывод полон напряжения: в области, где так важен аппаратный расчёт, в итоге побеждает нечто вроде «flare (интуиция/вдохновение)», схожее с алхимией.
Он также упомянул «ИИ-дивиденды последней мили».
Если бы мы сейчас заморозили все модели и работали только над вертикальными приложениями (Harness), мы могли бы уже достичь ОИИ.
Узким местом является не «мозг» модели, а «права доступа, подключения и данные». Это напрямую обливает холодной водой разработчиков, которые выжидают, но одновременно указывает на золотую жилу.
Порог надёжности пройден, ИИ самоускоряется
За последние недели в мире ИИ кипела жизнь: вышли GPT-5.5, появился Claude Mythos.
Особенно в таких областях, как кибербезопасность и написание кода ИИ-агентами, ощущение такое, будто прогресс идёт день ото дня, кажется, что ИИ совершил огромный скачок.
По словам Дюбуа, всё несколько грубее: рост способностей на самом деле довольно непрерывен, но людям кажется, что он резкий, потому что между ними лежит «порог надёжности».
Пока порог не преодолён, ИИ похож на умного, но проказливого стажёра: он умеет писать, считать, предлагать идеи, но ты не осмеливаешься полностью доверить ему дело.
После преодоления порога ты решаешься дать ему «настоящую работу».
Он полагает, что OpenAI пересёк эту черту примерно «в декабре прошлого года», и тогда внешний мир ощутил «ступенчатый скачок».
Более стимулирующей является вторая причина: когда модель становится достаточно хороша, она сама начинает ускорять исследования.
Это именно то, чего больше всего опасается Anthropic.
Дюбуа отметил, что особенно в сценариях программирования, где исследователи сами пишут код ежедневно, улучшение модели равносильно получению каждым сотрудником бессонного напарника — который может помочь построить цепочку инструментов для исследователя, а также использовать ИИ для «выращивания» следующего поколения моделей.
Как только цикл ускорения запущен, он раскручивается всё быстрее, и неудивительно, что за последние несколько месяцев прогресс стал «всё более интенсивным».
Это также происходит внутри Anthropic: к второму кварталу 2026 года объём кода, приходящийся на одного сотрудника в квартал, уже в 8 раз превышал показатель первого квартала 2024 года.
Третья движущая сила — «трансформация и модернизация» обучения с подкреплением (RL).
Ранее модели рассуждений, такие как o1, в основном набирали очки на задачах с «поддающимся проверке вознаграждением» — математических задачах, соревнованиях по программированию, где правильность и ошибочность чётко определены, и награду легко задать.
Но за последний год они перенесли инструменты, отработанные в соревнованиях, в более реальные, более размытые рабочие сценарии: больше не оптимизируя только «задачи с готовым ответом», а оптимизируя «то, что пользователи считают действительно полезным».
Одним словом: от участника, набирающего баллы, началась эволюция в сторону офисного работника.
Инженеры ИИ — не учёные, ИИ «выращивают»
Но стоит войти в реальный мир, возникают проблемы: как повысить надёжность?
Дюбуа дал очень прямолинейную «вероятностную модель»:
Поскольку сейчас много систем с ИИ-агентами (agentic), можно грубо представить, что «каждые две минуты существует определённая вероятность ошибки»; чем дольше время выполнения, тем выше вероятность в итоге получить неверный ответ.
Поэтому так называемое «повышение надёжности» по сути сводится к постоянному снижению этого «коэффициента ошибок каждые две минуты».
Это сложная проблема, присущая ИИ-агентам.
Это также объясняет, почему Дюбуа говорит, что создание ИИ больше похоже на «ремесленную работу», а не на «научный эксперимент» из учебника.
Реальный процесс часто таков: сначала создать что-то, полагаясь на опыт, интуицию, метод проб и ошибок, даже с налётом «алхимии»; когда это действительно заработает и будет действительно полезно, тогда возвращаться назад и добавлять более научное объяснение и методологию.
Он также упомянул маленький, но показательный поворотный эпизод —
Когда ChatGPT публично заявил об использовании RL, его первой реакцией было: «Слишком сложно, достаточно будет контролируемой тонкой настройки (SFT)», и именно эту идею он хотел проверить, работая над Alpaca в Stanford.
Но позже факты показали, что как только масштаб модели переступает определённый уровень, RL действительно «внезапно начинает хорошо работать», только цена немаленькая — выборка множества ответов, определение, какие верны, какие ошибочны, требует больших вычислительных мощностей и сложных инженерных систем.
Системы управления (Harness) в вертикальных областях уже достигли уровня ОИИ
Говоря о «внедрении ИИ в реальность», нельзя не упомянуть слово, которое сейчас чаще всего на устах у стартап-сообщества: Harness (система оркестровки).
Кто-то считает его «внешним скелетом» для ИИ-агентов, а кто-то подозревает, что рано или поздно модель его «поглотит».
Позиция Дюбуа очень реалистична:
В краткосрочной перспективе Harness для вертикальных сценариев очень ценен, он может повысить надёжность с 80% до 85%.
Но при условии, что ты готов принять: модель продолжает становиться сильнее, и Harness тоже придётся постоянно перенастраивать.
Создать долгосрочно стабильный, универсальный «общеприменимый Harness», по его мнению, в основном нереально.
Более того, он бросает весьма «провокационное» суждение: если бы сегодня мы «заморозили» существующие модели и сосредоточились только на оттачивании Harness и обучении на его основе, многие в своих областях могли бы «явно ощутить вкус Общего Искусственного Интеллекта (ОИИ)».
Последняя миля
Но что действительно одновременно волнует и озадачивает Дюбуа, так это давняя и сложная проблема «непрерывного обучения (continual learning)».
Три года назад, когда только начался бум ChatGPT, он с другом даже серьёзно обсуждал, не основать ли стартап, занимающийся персонализированной памятью и непрерывным обучением.
Тогда они думали, что «OpenAI разберётся с этим за 6 месяцев», и поэтому не стали заниматься этим; три года спустя он уже сам работает в OpenAI, но обнаруживает, что проблема до сих пор не решена по-настоящему.
Нынешнее неловкое положение модели таково: в первый день, попав в компанию, она может быть полезнее большинства новых сотрудников (стартовый уровень высокий); но затем она в основном «остаётся прежней», потому что она не становится более понимающей и эффективной в конкретной среде.
Кривая обучения человека идёт вверх, а кривая ИИ легко становится плоской.
Превратить кривую ИИ из «плоской» в «постоянно растущую» Дюбуа считает одной из важнейших задач в ближайшее время.
Итак, остаётся ли у стартапов пространство для создания вертикальных приложений?
Ответ Дюбуа категоричен: не только остаётся, но и большое.
Потому что реальным узким местом часто является не «достаточно ли умна модель», а последняя миля — как предоставить права доступа, как подключить данные, как наладить соединения, как внедрить в конкретный бизнес-процесс.
Какими бы высоко в небесах ни летели большие модели, не приземлившись, они останутся лишь фейерверком; а приземлить их, дать им нужные ключи и открыть нужные двери — это и есть самая ценная, тяжёлая и трудная работа.
Ссылки:
https://x.com/Potatoloogs/status/2062494654885749126
https://www.youtube.com/watch?v=DhD1zZ8w8Mw&t=3s
Эта статья взята из официального аккаунта WeChat «Новая эра искусственного интеллекта», автор: ASI启示录
