【Новое введение к искусственному интеллекту】 Годовое самое опасное исследование опубликовано! NVIDIA снимает 20-летнее табу, позволяя ИИ собственными руками создать более жесткого «экзаменатора», чтобы отсеять себя. Как только начнется бесконечная самоэволюция, появление ИСИ в 2028 году — не шутка.
Anthropic окончательно «помешался на RSI»!
Сооснователь Jack Clark сделал ошеломляющий прогноз: к концу 2028 года родится высокоавтономно эволюционирующий ИИ.
Вероятность этого составляет 60%!
Пока люди спорят о том, «возможно ли достичь RSI к 2028 году», Кембриджский университет, NVIDIA и другие организации совместно представили важное исследование —
«Машина Красной Королевы Гёделя» (Red Queen Gödel Machine).
Её работа напоминает жестокую игру на выживание для ИИ:
ИИ самостоятельно пишет новые алгоритмы обучения и помещает их в песочницу для испытаний. Неудачные стираются, успешные сохраняются.
Затем выжившие запускают следующий раунд самоэволюции и размножения.
Ссылка на исследование: https://arxiv.org/pdf/2606.26294
Но по-настоящему леденящее душу — это последующее «озарение» ИИ: оно осознало, что для постоянного усиления необходимо сталкиваться с более суровыми испытаниями.
Итак, ИИ начинает активно «эволюционировать» своих экзаменаторов.
Оно собственными руками создает более строгих судей, чтобы оценивать написанный им более продвинутый код.
Этот механизм намертво запирает ИИ в бесконечном, безумном цикле самоитерации RSI.
Прочитав эти 37 страниц, многие испытали холодок: «Это абсолютно самое опасное исследование ИИ года!»
Самоэволюция RSI к 2028 году
Превращение пророчества в код
В 2003 году немецкий ученый Jürgen Schmidhuber представил концепцию машины под названием «Машина Гёделя» (Gödel Machine).
Её задумка была идеальной: машина, способная доказать полезность собственных улучшений, а затем переписать свой код.
Если её создать, она сможет постоянно самообновляться, становясь все сильнее без ограничений.
Однако у «Машины Гёделя» был фатальный «порог» —
перед выполнением любой строки самоизменяющего кода она должна была строго математически доказать: это изменение обязательно будет полезным.
Но в реальности это почти невыполнимая задача, требующая вычислительной мощности, сравнимой с «черной дырой».
Таким образом, на протяжении последующих 20 лет Машина Гёделя оставалась лишь на бумаге — теоретическим пределом, мысленным экспериментом, до которого никому не было дотянуться.
В последние годы научное сообщество обошло этот барьер доказательства.
Дарвиновская Машина Гёделя (DGM), Машина Гёделя Хаксли (HGM) просто отказались от математического доказательства, заменив его эволюцией —
заставляя ИИ «размножать» множество вариантов кода с мутациями, запуская их в песочнице, отсеивая неудачные, сохраняя успешные, позволяя выжившим продолжать размножаться.
ИИ преодолел последний шаг, начав буквально «эволюционировать» себя.
Но у этих методов все еще была общая слепая зона — их экзаменатор был статичен.
Как бы ИИ ни эволюционировал, тот стандарт оценки, тот бенчмарк, тот валидатор, который его оценивает, оставался за пределами цикла, неподвижным.
Это как раз противоречит одному из ключевых законов эволюции:
виды не оптимизируют себя в статичной среде, а меняются вместе с постоянно меняющейся средой.
Машина Красной Королевы Гёделя (RQGM) призвана разрушить именно эту слепую зону.
Настоящий козырь «Красной Королевы»: заставить ИИ создать экзаменатора
Название «Красная Королева» происходит от «Гипотезы Красной Королевы», выдвинутой биологом Van Valen в 1973 году —
ты должен бежать изо всех сил, чтобы остаться на месте, потому что твой соперник тоже эволюционирует.
То, что делает RQGM, — это именно написание этого утверждения в виде алгоритма: заставить экзаменатора (оценщика) и участника (агента задачи) эволюционировать вместе.
Это самое жуткое место во всей статье.
Этот изящный механизм называется «контролируемая эволюция полезности» (controlled utility evolution):
весь поиск разбит на эпохи (epochs);
в каждой эпохе оценщик (экзаменатор) заморожен, выставляет оценки всем кандидатам, обеспечивая стабильность сигнала;
смена экзаменатора разрешена только на границе эпохи, причем новый экзаменатор должен статистически превзойти старого на зарезервированном наборе «эталонных истинных» данных, чтобы занять его место;
при смене система немедленно выполняет «селективное стирание»: удаляются только те оценки, которые были выставлены замененным экзаменатором, все остальные доказательства сохраняются.
Другими словами, она должна стремительно эволюционировать, но при этом каждый шаг должен быть обоснован.
Это действительно работает, ИИ сам меняет код
Говорить только о механизме слишком абстрактно, лучше посмотреть на результаты.
Первая битва: написание кода (Polyglot).
RQGM снабдила агента, пишущего код, «рецензентом кода» в качестве спарринг-партнера.
В результате, на отложенном тестовом наборе процент прохождения вырос с предыдущего SOTA 69,9% до 71,7%.
Более того, этот результат был достигнут с затратой в 1,35–1,72 раза меньше токенов, чем у соперника. Потому что рецензенту нужно проверить только один раз, что намного дешевле многократных запусков тестов.
Вторая битва: написание научных статей.
Это область без однозначного ответа, качество статьи невозможно оценить автоматически.
RQGM позволила автору и его рецензенту эволюционировать вместе. В результате, процент принятия статей фиксированной группой рецензентов взлетел с предыдущего SOTA 21,8% до 40,5%.
Третья битва: доказательство математических теорем олимпиадного уровня.
Эволюционировавший «оценщик» (grader) оказался точнее статического базового уровня, а стоимость поиска снизилась в 3 раза;
эволюционировавший «агент доказательств» набрал наивысший средний балл.
Но самая кульминационная часть всей статьи — это решение старой проблемы ИИ. У LLM-судьи есть известный недостаток: предвзятость в пользу контента, сгенерированного ИИ.
В исследовании самый сильный базовый рецензент принимал статьи, написанные ИИ, с вероятностью в 1,91 раза выше, чем статьи, написанные людьми.
Как RQGM решает эту проблему? На границе эпохи она извлекала статьи ИИ, ранее одобренные фиксированными рецензентами, формируя «пул состязательных примеров», а затем специально поощряла новых рецензентов, способных выявлять и отклонять эти статьи ИИ.
После нескольких раундов эволюции итоговый рецензент стал одинаково относиться к ИИ и человеку, сохранив при этом 80% точности истинных значений.
Когда ИИ учится оценивать себя
Тем же летом сооснователь Anthropic Jack Clark сделал серьезную ставку: с вероятностью 60% к концу 2028 года ИИ сможет собственными руками создать более мощную версию себя.
Высокая стена, удерживавшая «Машину Гёделя» в плену 20 лет, называлась «доказательство».
А «Машина Красной Королевы» пробудила её, использовав лишь один самый жестокий прием: бесконечное размножение, отбор, снова размножение.
Когда ИИ начинает самостоятельно проектировать для себя самых строгих экзаменаторов, в безумной рекурсии подталкивая себя к пределу, мы сталкиваемся с совершенно новым видом, который начинает самостоятельно определять «что такое интеллект».
Когда этот день настанет, ИСИ не постучится с предупреждением.
Он просто молча создаст того единственного судью, который имеет право его оценивать, а затем спокойно войдет на экзамен.
Пророчество указывает только на конечную точку, код отвечает за её достижение.
И сейчас это душащее расстояние сам ИИ сокращает в геометрической прогрессии.
Источники:
https://x.com/HowToPrompt__/status/2070824205663273175?s=20
https://x.com/kimmonismus/status/2070968241548120168
Эта статья взята из WeChat публичного аккаунта «Новый интеллект», редактор: Таоцзы
