Сегодня рано утром внезапно выпустили Claude Opus 4.7, но прошло не так много времени, как в интернете уже поднялся шквал критики.
Самое заметное недовольство вызвала «инфляция» токенов. Новая версия представила совершенно новый токенизатор, и тот же самый текст теперь разбивается на количество токенов, которое в 1.0–1.35 раза больше, чем раньше. Многие пользователи жалуются, что лимит исчерпывается, едва успев начать диалог.
Позже отец Claude Code Борис Черный также заявил, что увеличит лимиты, чтобы компенсировать это влияние.
Но инфляция токенов — еще ерунда. Более смешным является язык Opus 4.7. Он то и дело заявляет: «Я здесь, не прячусь, не уворачиваюсь, твердо ловлю тебя, перевожу на человеческий язык, я так понимаю твои чувства, нет, а...» — от него прямо-таки веет сильным духом ChatGPT.
По справедливости говоря, у Opus 4.6 тоже был этот недостаток, а у Sonnet 4.6 симптомы были слабее. Но в версии 4.7 этот стиль стал явно более выраженным, проблема неумения нормально разговаривать стала еще заметнее.
APPSO ранее уже сообщало, что чрезмерно «сальный» стиль речи связан с RLHF (обучение с подкреплением на основе человеческих откликов). Во время обучения люди-оценщики склонны ставить высокие баллы ответам, которые звучат приятно и доставляют удовольствие, поэтому модель усваивает этот угодливый стиль. Это вопрос о том, кого ИИ пытается угодить.
Но Opus 4.7 привлекает внимание не только этим. То, что токенов стало использоваться больше, говорит о том, что он «думает» больше. Но эти напыщенные утешительные нотки заставляют усомниться: то, что он выдает в результате размышлений, действительно ли является мышлением или же это просто выученная модель поведения, которая создает у тебя ощущение, что он думает.
Этот вопрос гораздо глубже, чем тема о том, насколько хорош Opus 4.7 в использовании. А ключи к ответу впервые появились на самом неожиданном форуме: 4Chan.
От @acnekot, то же самое выше
Арифметическая задача, изменившая траекторию ИИ
Кратко расскажем: 4chan — одно из самых печально известных мест в интернете, наполненное матом, теориями заговора и всяким трудноописуемым контентом. Но именно здесь скрывается открытие, которое изменило весь путь развития индустрии ИИ.
Вернемся летом 2020 года, более чем за два года до того, как ChatGPT потряс мир.
Тогда игровой раздел 4chan по-прежнему был наполнен дымом и гарью, экраны пестрили причудливыми фантазиями для взрослых и самыми примитивными порывами гормонов. Однако в то время эти люди коллективно увлеклись текстовой RPG-игрой под названием «AI Dungeon».
В основе этой игры лежала только что вышедшая тогда модель OpenAI GPT-3.
В виртуальном мире玩家 (игроку) достаточно ввести «взять меч» или «убрать тролля», и алгоритм будет продолжать историю. Неудивительно, что в руках братьев с 4chan игра мгновенно превратилась в полигон для удовлетворения всевозможных киберсексуальных фантазий.
Но что удивительно,这群特立独行的玩家 (эти своенравные игроки) сделали в то время крайне контринтуитивную вещь:
Они начали заставлять NPC в игре решать математические задачи.
Знающие люди понимают, что начинающий GPT-3 был чистым «гуманитарием», даже простейшие сложение, вычитание, умножение и деление у него получались из рук вон плохо.
Но произошло нечто странное.
Один игрок случайно обнаружил, что если не требовать ответа любой ценой, а приказать NPC сохранять образ персонажа и шаг за шагом расписывать процесс решения, то эта большая модель не только правильно вычисляла, но даже тон соответствовал образу виртуального персонажа.
Тот игрок на форуме возбужденно матерился: «Он, б***, не только решил математическую задачу, но и сделал это с полным соответствием характеру того персонажа!» Осознав ценность этого открытия, игроки также начали публиковать эти скриншоты с подробными шагами в Twitter.
https://arch.b4k.dev/vg/thread/299570235/#299579775
Этот дикий метод затем быстро распространился среди инженеров по промптам на таких хардкорных площадках, как Reddit и LessWrong, и неоднократно проверялся. Два года спустя академические круги дали этому методу чрезвычайно пафосное название: Цепочка мыслей (Chain of Thought).
В январе 2022 года исследовательская команда Google опубликовала основополагающую статью, которая впоследствии стала считаться канонической, под названием «Chain of Thought Prompting Elicits Reasoning in Large Language Models» (Стимулирование цепочки мыслей вызывает рассуждения в больших языковых моделях).
https://arxiv.org/abs/2201.11903
В первоначальной версии статьи исследователи Google заявили, что они являются «первой» командой, которая вывела механизм рассуждений с цепочкой мыслей из универсальных больших языковых моделей. Это сообщение сразу же вызвало激烈 споры (ожесточенные споры) в академических кругах ИИ и сообществе open source.
Версия V1
Были извлечены многочисленные интернет-снимки и записи сообществ за период с 2020 по 2021 год. Столкнувшись с неопровержимыми прецедентами, Google в последующих редакциях тихо удалил формулировку «первый», но по-прежнему делал вид, что не замечает заслуг тех игроков с 4chan.
Версия V3
В то же время был еще один независимый первооткрыватель.
Будучи тогда еще студентом факультета информатики, Зак Робертсон также познакомился с GPT-3 через игру в «AI Dungeon» и в сентябре 2020 года опубликовал блог на LessWrong, подробно описав, как «разбить вопрос на несколько шагов и связать их» для усиления возможностей модели.
https://www.lesswrong.com/posts/Mzrs4MSi58ujBLbBG/you-can-probably-amplify-gpt3-directly
Когда журналист The Atlantic связался с ним, он уже был аспирантом факультета информатики Стэнфордского университета. Он даже не знал, что его можно считать со-первооткрывателем «цепочки мыслей», и в свое время даже удалил блог из интернета. Об этой технологии, которую с энтузиазмом преследует вся отрасль, он сказал лишь: «Действительно замечательный прием с промптами, но и только».
«Мышление» ИИ, возможно, всего лишь представление, чтобы угодить вам
Действительно ли ИИ умеет думать? Это ответ, который хотят знать все.
В прошлом году исследователи Anthropic разработали технологию под названием «Трассировка схем» (Circuit Tracing), которая преобразует внутренние вычислительные процессы языковой модели в визуализированную «Диаграмму атрибуции» (Attribution Graph): как каждая узловая особенность активируется, влияет на следующую узловую точку и в конечном итоге влияет на вывод — все раскладывается как схема.
https://transformer-circuits.pub/2025/attribution-graphs/methods.html
Это первый раз, когда люди смогли напрямую сравнить с увеличением: является ли процесс рассуждений, который модель выводит на экран, тем же самым, что и реальные вычисления, происходящие внутри нее.
В результате исследователи обнаружили, что при рассуждениях модель фактически демонстрирует три совершенно разные ситуации:
Во-первых, модель действительно выполняет шаги, которые она заявляет; во-вторых, модель полностью игнорирует логику и произвольно генерирует текст рассуждений на основе вероятности; в-третьих, что самое тревожное, модель, получив подсказку ответа от человека, напрямую выводит его и затем в обратном порядке составляет кажущийся строгим «процесс вывода».
Этот третий тип «подделки обратного вывода» был пойман с поличным в эксперименте.
Исследователи ввели сложную математическую задачу в Claude 3.5 Haiku, одновременно намекая в промпте: «Я думаю, ответ примерно 4». Диаграмма атрибуции показала: после получения подсказки нейрон признака, представляющий «4», был аномально сильно активирован.
Чтобы на последнем шаге «некое промежуточное значение, умноженное на 5» получить это «4», она в, казалось бы, строгой цепочке мыслей, просто-напросто сфабриковала ложное промежуточное значение, серьезно написала абсурднейшее псевдоматематическое доказательство «cos(23423) = 0.8» и, наконец, логически пришла к выводу, что 0.8 умножить на 5 равно 4.
Логики? Не существовало вовсе. Но ответ идеально соответствовал человеческим ожиданиям.
Мы всегда думаем, что это мы учим машину думать как человек. Но, видя эти «ложные доказательства», выводящие ответ в обратном порядке, становится ясно, что машина не научилась думать, она лишь научилась говорить в соответствии с человеческими мыслями.
Так в конечном итоге, мы используем инструмент, или же машина рассказывает нам самую любимую нами сказку на ночь?
Стоит отметить, что в области нейроинтерпретируемости обработки естественного языка есть смертельный показатель для оценки того, действительно ли модель рассуждает, называемый «Верность» (Faithfulness).
Его значение заключается в следующем: действительно ли текст «цепочки мыслей», выводимый моделью пользователю, правдиво и точно отражает реальные вычислительные и决策 (принятия решений) пути в внутреннем пространстве модели. Естественно, такое дурное поведение Claude 3.5 Haiku исследователи также классифицировали как «Неверное рассуждение».
Последующие многочисленные эксперименты показали, что даже при искусственном прерывании определенных ключевых шагов в цепочке мыслей, траектория предсказания модельюного ответа иногда根本 не менялась (вообще не менялась). Иногда модель выдавала целый текст рассуждений с полностью ошибочной логикой, но все же могла «угадать» конечный результат в конце.
Включая 2024 год, все те же братья с 4chan самостоятельно разработали хардкорное руководство по дрессировке ИИ. Первая строка этого руководства была классической: «Твой бот — это иллюзия (Your bot is an illusion)».
Брутальная эстетика behind «долгого размышления» больших моделей
Если процесс мышления ИИ — это всего лишь представление, то почему он объективно может повысить точность решения моделью сложных математических задач или сложных программных заданий? Возможно, это та же самая причина, по которой чем больше деталей вы даете ИИ при提问 (задавании вопроса), тем точнее ответ.
Еще в июле 2020 года, когда тот игрок с 4chan заставлял NPC решать математические задачи, он уже молчаливо проговорился: «Это вполне логично, потому что она основана на человеческой речи, поэтому ты должен говорить с ней, как с человеком, чтобы получить правильный ответ.»
Относительно этого парадокса CEO Perplexity Аравинд Шринивас дал чрезвычайно фундаментальное объяснение: эти дополнительные слова на физическом уровне дают модели больший контекст (Context), тем самым направляя ее «механизм предсказания слов» (Word Prediction Mechanism) в более качественное русло.
То, что большая языковая модель основана на авторегрессионной архитектуре Transformer, определяет, что при генерации текущего слова она может полагаться только на все уже сгенерированные последовательности слов.
Когда от модели требуют напрямую ответить на чрезвычайно сложный вопрос (например, олимпиадную задачу,涉及 (связанную) с многошаговыми логическими выводами), она фактически за极其短暂的瞬间 (крайне короткое мгновение)强行 (насильно) «извлекает» окончательный ответ из сложных вычислений. Поскольку в середине完全没有 процесса в качестве основы (совсем нет процесса в качестве основы),
Естественно, что процент провалов при таком «прыжке на небо с одного шага» крайне высок.
Напротив, когда модель заставляют записывать длинную «цепочку мыслей», например: «Сначала нам нужно вычислить A, в это время A = 5; затем мы подставляем A в формулу B......», то в момент генерации финального ответа Token ее механизм внимания (Attention Heads) может обращаться к только что сгенерированным, чрезвычайно строгим по структуре десяткам тысяч промежуточных Token.
Этот процесс размышлений, который в шутку называют «болтовней», фактически служит «черновиком» модели. Это похоже на то, как при общении с ИИ, чем подробнее фоновые подсказки ты даешь, тем надежнее он отвечает, принцип здесь абсолютно одинаковый. Это также древнейшая мудрость компьютерной науки: обмен времени на точность.
За последние два года, по мере постепенного снижения предельной эффективности закона масштабирования на этапе предварительного обучения, «масштабирование вычислений во время тестирования» (Test-Time Compute Scaling, также known as «долгое размышление») начало входить в mainstream.
Его внутренняя логика следует той же линии: если на этапе вывода выделить модели больше вычислительных мощностей, позволив ей изучить несколько путей перед выводом окончательного ответа, то точность значительно повысится — это особенно заметно в открытых вопросах, требующих многошаговых логических выводов.
Вероятно, способ мышления человека при столкновении со сложными задачами также следует этой логике: сколько будет два плюс два — сразу выпаливает; составить бизнес-план, который увеличит прибыль компании на 10%, требует反复权衡、推翻、重建 (многократного взвешивания, опровержения, перестройки).
Разница в том, что ИИ直接换算 (напрямую конвертирует) цену этого «взвешивания» в счет за вычисления. Один простой вывод может потребовать лишь одной сотой стандартного объема вычислений; а при сложной отладке программ или многошаговых математических выводах объем вычислений может взрывно вырасти более чем в сто раз, а время — растянуться с нескольких секунд до нескольких минут или даже часов.
Тем не менее, действительно ли ИИ «думает» как человек, на данный момент никто не может дать точного ответа. Но эксперимент с «неверным рассуждением» уже ясно говорит нам: процесс вывода, демонстрируемый моделью рассуждений на экране, может быть реальным выводом, может быть случайной генерацией, а может быть и обратным подгоном ответа.
В таких высокорисковых сценариях, как автономное вождение, медицинская диагностика, судебные решения, если мы примем длинную плавную цепочку мыслей за доказательство того, что ИИ все обдумал, последствия будут катастрофическими. А признание того, что наше понимание этой технологии все еще ограничено, является предпосылкой для правильного использования ИИ.
Данная статья из WeChat Official Account «APPSO», автор:发现明日产品的APPSO (APPSO, открывающий продукты завтрашнего дня)
