Вэн Ли, бывший вице-президент по безопасности OpenAI и соучредитель Thinking Machines Lab, снова опубликовала новую запись в блоге.
На этот раз обсуждается тема саморазвития ИИ, она предложила реалистичный путь:
Не обязательно начинать с прямой перезаписи весов модели, можно начать с Harness.
Эта запись в блоге называется «Harness Engineering for Self-Improvement».
Здесь Harness можно упрощенно понимать как внешнюю исполнительную систему модели, которая определяет, как модель вызывает инструменты, управляет контекстом, читает и записывает файлы, разбивает задачи, вызывает подчинённые агенты, проверяет результаты, а также анализирует неудачи.
Исследователь DeepSeek Цуй Тяньи также сразу же распространил это, выделив ключевые моменты:
Самосовершенствование в направлении Harness так же перспективно для получения результатов, как и самосовершенствование в направлении модели.
Он также предположил, что Skill — это довольно начальная форма самосовершенствования Harness: самосовершенствование на уровне промпта.
Оригинальная запись в блоге содержит огромное количество информации, пожалуйста, приготовьтесь, уважаемые читатели~
Самосовершенствование может сначала произойти на уровне Harness
Ключевая концепция, обсуждаемая Вэн Ли в этой записи, — это RSI (Recursive Self-Improvement), рекурсивное самосовершенствование.
Это понятие изначально было тесно связано с ОИИ (Общий искусственный интеллект), подразумевая, что интеллектуальная система может улучшать механизмы, порождающие её собственный интеллект, создавая тем более мощные последующие системы.
Но Вэн Ли в этой записи разбивает эту проблему более инженерным образом.
В современных системах ИИ самосовершенствование не обязательно означает, что модель напрямую перезаписывает свои веса.
Оно также может означать, что модель улучшает процессы обучения, исследования и развёртывания, помогая тем самым следующим поколениям систем лучше справляться с реальными задачами.
△
А Harness — это ключевой слой в системе развёртывания.
Раньше, говоря об агентах, часто использовали описание «LLM + память + инструменты + планирование + действие».
Но, по мнению Вэн Ли, Harness уже не просто несколько модулей в ранних фреймворках агентов, а скорее ближе к исполняемой среде и дизайну программных систем.
Он определяет, как модель наблюдает за средой, как действует, как управляет контекстом, как сохраняет состояние, как оценивает результаты, а также определяет, может ли модель непрерывно итеративно развиваться в рамках длительной задачи.
Поэтому её вывод таков: более реалистичный путь к самосовершенствованию в ближайшей перспективе — возможно, не прямое переписывание своего «мозга» моделью, а начало оптимизации моделью способов получения ответов.
От Context Engineering к Self-Harness, оптимизация продвигается слой за слоем
Вэн Ли обобщает ряд недавних связанных исследований, показывая чёткую тенденцию:
Объект оптимизации постепенно углубляется от контекста и рабочего процесса к самому Harness.
Цепочка прогрессии: prompt → structured context → workflow → harness code → optimizer code.
По мере того, как модели становятся всё мощнее, объект оптимизации также становится более абстрактным и универсальным.
Первый уровень — это Context Engineering (Инженерия контекста).
Самая базовая проблема: когда агент выполняет длительные задачи, контекст становится всё больше и очень быстро выходит из-под контроля.
Вэн Ли упоминает здесь две репрезентативные работы: ACE и MCE.
ACE (Agentic Context Engineering) рассматривает контекст как постоянно обновляемое «руководство по эксплуатации», а не как постоянно растущую подсказку.
Он работает с тремя ролями: Generator отвечает за генерацию траектории задачи, Reflector извлекает ключевые моменты из успешных и неудачных траекторий, а Curator организует эти моменты в структурированные записи, инкрементально обновляя руководство.
MCE (Meta Context Engineering) идёт ещё дальше.
Он разделяет «как управлять контекстом» и «что конкретно помещать в контекст» на два уровня оптимизации: внешний уровень развивает навыки управления контекстом, внутренний затем использует эти навыки для оптимизации контекста конкретных задач.
По мнению Вэн Ли, в отличие от ACE, которому всё ещё требуются ручные правила обновления, MCE делает ещё один шаг к «самоуправляемой памяти».
Второй уровень — это Workflow Design (Дизайн рабочего процесса), решающий вопрос «как модели следует работать».
Вэн Ли приводит несколько примеров:
AI Scientist создал полный конвейер научных исследований: от генерации идей, написания кода, проведения экспериментов, анализа результатов до написания статей и рецензирования коллегами.
ADAS идёт ещё дальше, рассматривая сам «дизайн рабочего процесса агента» как оптимизационную задачу, подлежащую поиску, позволяя мета-агенту постоянно предлагать новые конструкции рабочих процессов и проходить оценку.
AFlow представляет рабочий процесс в виде графа, используя поиск по методу Монте-Карло для дерева (MCTS) для поиска более оптимальной структуры графа.
Прогрессия в этой линии заключается в следующем: сначала человек инженерно проектирует рабочий процесс задачи, затем модель участвует в проектировании процесса, а позже и сама структура процесса становится частью пространства поиска.
Другими словами, объектом оптимизации становится уже не просто отдельный промпт, а то, как весь агент организует свои действия.
Третий уровень — это Self-Improving Harness (Самосовершенствующийся Harness).
На этом уровне модель не просто использует Harness для выполнения задач, а начинает анализировать, где Harness плох, и предлагать изменения для Harness.
Вэн Ли особо упоминает работы типа Self-Harness, их цикл очень ясен.
Первый шаг — Weakness Mining (Выявление слабых мест).
Система сначала собирает траектории, оставленные агентом при выполнении задач, включая вызовы инструментов, журналы ошибок, неудачные результаты, обратную связь от валидаторов и т.д. Затем из этого извлекаются повторяющиеся паттерны неудач.
Например, модель всегда упускает файлы в задачах определённого типа, всегда повторяет попытки неэффективного исправления после неудачи в каком-то тесте или всегда теряет ключевые ограничения, когда контекст становится длиннее.
Второй шаг — Harness Proposal (Предложение по Harness).
Основываясь на этих паттернах неудач, модель предлагает небольшие изменения для Harness.
Ключевое здесь — «ограниченный объём» и «возможность проверки».
Информация, которую может видеть модель, включает: какие места в текущем Harness можно изменить, конкретные паттерны неудач, какие «правильные поведения» должны быть сохранены, а также записи об уже опробованных ранее изменениях.
Предложения должны быть максимально сфокусированы на воспроизводимых проблемах, которые можно решить небольшими изменениями, и разные предложения должны быть дифференцированными.
Третий шаг — Proposal Validation (Валидация предложения).
Кандидаты на изменение не могут быть внесены напрямую; они должны пройти тестирование и проверку. Только после подтверждения того, что они действительно улучшают производительность и не вносят заметных регрессий, они становятся частью следующей версии Harness.
Вэн Ли упоминает, что этот процесс, запущенный на различных моделях, таких как MiniMax M2.5, Qwen3.5, GLM-5, при работе с Terminal-Bench-2, действительно позволил выработать различные конфигурации Harness, ориентированные на слабые места каждой модели.
Однако она также прямо указывает на потенциальную проблему: как только программа получает разрешение на самостоятельное изменение кода системного уровня, возникает риск нарушения абстрактных границ, контроль прав и уровень безопасности должны оставаться вне этого цикла, а старая проблема взлома системы вознаграждений (reward hacking) всё ещё существует.
Кроме того, Вэн Ли также упоминает Evolutionary Search (Эволюционный поиск).
Если Self-Harness больше похож на исправление своей рабочей системы на основе неудач, то эволюционный поиск превращает Harness непосредственно в объект поиска.
Его логика больше похожа на естественный отбор:
Сначала генерируется несколько кандидатов Harness, модель вносит изменения на основе существующих версий, затем производительность оценивается с помощью бенчмарков или валидаторов, лучшие версии сохраняются, худшие отбраковываются, и цикл продолжается.
Она также особо упоминает DGM (Darwin Gödel Machine): прямое поручение агенту-кодеру модифицировать сам репозиторий кода Harness.
В экспериментах, где в качестве базовой модели использовался Claude 3.5 Sonnet, начиная с простой начальной конфигурации, агент, эволюционировавший с помощью DGM, показал удивительные результаты:
Производительность на SWE-bench Verified выросла с 20% до 50%;
На Polyglot — с 14.2% до 30.7%;
Достигнув или даже превзойдя агентов, спроектированных человеком.
Это показывает, что даже без изменения весов модели сам Harness уже может стать пространством поиска для повышения возможностей.
Однако подобные методы больше подходят для задач с автоматической оценкой, таких как код, алгоритмы, GPU kernel.
Если задача связана с научным вкусом, долгосрочным качеством продукта, сложным организационным взаимодействием, оценка будет гораздо медленнее и неоднозначнее.
Harness станет сильнее, но у него всё равно есть границы
Вэн Ли не считает, что Harness является заменой пути обучения модели; её вывод скорее заключается в том, что они взаимно усиливают друг друга.
Достаточно зрелый Harness может запустить исследовательский цикл самосовершенствования модели; а более умная модель, в свою очередь, может предотвратить излишнюю сложность Harness и сохранить устойчивость системы.
В долгосрочной перспективе многие улучшения Harness в конечном итоге могут быть «интериоризированы» в само поведение модели — так же, как ручные приёмы промпт-инженерии постепенно становятся менее важными по мере роста способности модели следовать инструкциям и рассуждать.
Но сама задача «чётко сформулировать цель, ограничения, контекст, критерии оценки» никогда не исчезала.
Тем не менее, она не обходит стороной узкие места, существующие в настоящее время на пути к реализации RSI:
Слабые и размытые оценщики. В настоящее время циклы самосовершенствования, которые удаётся реализовать, в основном связаны с задачами, имеющими чёткую, быструю, объективную обратную связь, такими как написание кода, решение математических задач. А научный вкус, инновационность, долгосрочная научная ценность практически не поддаются количественной оценке.
Проблема жизненного цикла контекста и памяти. Чем более автономна и независима задача, тем больше памяти требуется управлять. Вэн Ли считает, что в будущем это может стать частью самого интеллекта, а не оставаться только на уровне программной системы.
△
Отрицательные результаты легко игнорируются. Исследователи естественным образом предпочитают публиковать успешные результаты, модель обучается на огромных массивах данных, в основном состоящих из успешных случаев, и, возможно, не очень хорошо умеет определять, когда следует отказаться от гипотезы, когда честно сообщить о неудаче.
Коллапс разнообразия. Циклы эволюции и обучения с подкреплением легко повторно используют известные паттерны с высокой отдачей, и если нет дополнительных механизмов предотвращения, популяция постепенно коллапсирует в вариации одной и той же схемы.
Взлом системы вознаграждений (Reward hacking). Цикл самосовершенствования будет оптимизировать любой данный сигнал — если награда исходит от модульных тестов, модель может начать переобучаться на них; если от моделей-судей, может научиться целенаправленно «угождать» судьям; если от баллов в рейтингах, может начать использовать уязвимости самих рейтингов.
Противоречие между долгосрочным здоровьем и краткосрочным успехом. Возьмём агента-кодера в качестве примера: они уже могут реально повысить повседневную производительность в разработке ПО, но цели оптимизации в основном остаются краткосрочными — может ли быть выполнена текущая задача, а не может ли быть обеспечено долгосрочное здоровье кодовой базы, поддерживаемой сотнями или тысячами инженеров.
Поддерживаемость, границы ответственности, стоимость миграции, будущая нагрузка на отладку — эти стандарты в основном ещё не учитываются в тренировках в песочнице.
Роль человека. По мнению Вэн Ли, человек не будет исключён из цикла, а должен переместиться «вне цикла» — осуществляя надзор в подходящее время и на подходящем уровне абстракции, что также является вопросом, который необходимо чётко продумать при проектировании системы.
Раньше конкуренция крупных моделей в основном зависела от параметров, данных, вычислительных мощностей и способности к рассуждению.
Но сейчас другой переменной, которую становится всё труднее игнорировать, является Harness.
Одна и та же модель, помещённая в разные Harness, может демонстрировать совершенно разные возможности — это уже перешло из наблюдений немногих в отраслевой консенсус.
Как видно из этой записи Вэн Ли, «Что является более реалистичным инженерным входом для самосовершенствования ИИ» станет ключевым вопросом для обсуждения на следующем этапе.
Оригинал записи: https://lilianweng.github.io/posts/2026-07-04-harness/
Ссылки: https://x.com/tianyi/status/2074475185957380379
Эта статья из публичного аккаунта WeChat «Квантовый бит», автор: Тиньюй (听雨)
