Больше модель — значит умнее?
【Введение】Больше модель — значит умнее? Возможно, это самое глубокое заблуждение пользователей Claude Code. Многие из-за этого переходили на самую дорогую модель Fable. Недавно компания Anthropic лично прояснила это недоразумение.
Бывало ли у вас такое: Claude Code написал плохой код, и первая мысль — срочно сменить на более мощную модель.
Но этот приём часто не работает и даже является пустой тратой денег.
Недавно Anthropic официально опубликовала большую статью, посвящённую именно этому вопросу.
Официальная статья Anthropic
Причина в том, что слишком многие путают два параметра в Claude Code:
Выбор модели (Model) и Уровень усилий (Effort).
Официальная статья Anthropic
Раньше понимание этих двух параметров было простым: выбрать модель побольше — ИИ станет умнее; повысить уровень Effort — всего лишь заставить ИИ подумать подольше.
А в марте этого года это недоразумение вызвало немалый переполох.
Тогда многие разработчики обнаружили, что их Claude Code внезапно «поглупел». Не читает нужные файлы, не запускает тесты, бросает задачу на полпути и просит больше информации.
В результате на GitHub поднялась волна критики.
Самый жёсткий удар нанесла глава отдела ИИ в AMD Стелла Лоренцо.
Она изучила логи 6852 сессий на GitHub, проверила на практике, что объём «размышлений» Claude упал на 67% по сравнению с периодом до февраля, и заявила:
Claude больше нельзя доверять для сложной инженерной работы.
Claude уже нельзя доверять
Сначала все думали, что проблема в плохо написанных промптах или где-то в настройках. Покопавшись, наконец поняли: проблема вовсе не в них, Anthropic тихо изменила один параметр.
4 марта, чтобы снизить задержки, они изменили значение по умолчанию для параметра Effort в Claude Code с high на medium.
Об этом написали в логе обновлений, но большинство не заметило. Они лишь почувствовали, что модель в их руках почему-то стала как будто глупее.
Промучившись месяц, Anthropic 7 апреля вернула значение по умолчанию обратно и сбросила лимиты использования для всех подписчиков.
И только тогда большинство узнало, что этот переключатель всегда был у них под рукой, и он тайно решает: будет ли ИИ работать на полную катушку.
Model меняет мозги, Effort меняет отношение
Объяснение от Anthropic можно кратко сформулировать так:
Model меняет мозги, Effort меняет отношение.
Сначала о Model, она меняет мозги.
Каждая модель — это набор «замороженных весов». Её способности и знания намертво зафиксированы в момент окончания обучения: только чтение, без изменений.
Это означает, что промпты, CLAUDE.md, код, помещённый в контекст во время инференса, — всё это не меняет эти веса: вы можете направлять модель, но не можете её «дообучить».
Смена модели по сути означает замену всего набора весов для выполнения вашей задачи. Поэтому она решает проблему «умеет ли модель это делать».
Библиотека, которой не существовало во время обучения модели. Вы загружаете ей всю документацию, она может изучить и применить на лету, но это сработает только для этого конкретного запроса. Сама модель ничего не запоминает, тут же забывает.
Она иногда серьёзно вызывает несуществующий API по той же причине. Это не ошибка поиска, а веса, следуя старой логике обучения, жестко составляющие что-то.
Если заглянуть ещё глубже, всё становится яснее. Ваш код `const x = await fetch` сначала разбивается моделью на токены, каждый заменяется числом из словаря.
Источник изображения: Официальный блог Anthropic
Одна строка вашего кода после разбивки на токены соответствует целым числам в словаре: `const` — 1078, `await` — 2597, словарь содержит около 100 000 слов. Модель получает не текст, а эту последовательность чисел.
Модель не выдаёт весь ответ сразу. Она предсказывает только один токен за раз, добавляет его, затем заново вычисляет всю последовательность, чтобы предсказать следующий. Ответ из двухсот токенов — это двести полных вычислений.
Ваше время ожидания, ваши деньги — большая часть тратится в этом цикле.
Теперь о Effort. Он меняет «отношение».
Многие думают, что высокий Effort — это «подумать на несколько секунд дольше». Это неверно.
Он определяет, сколько работы Claude готов вложить в эту конкретную задачу: прочитать несколько файлов, запускать ли тесты, нужна ли дополнительная проверка, стоит ли пройти всю цепочку многошаговой задачи до конца, прежде чем вернуться к вам.
Проще говоря: Claude с низким Effort стремится быстро ответить, а затем спросить у вас больше контекста, делать лишние действия не будет; Claude с высоким Effort стремится сам найти информацию, несколько раз вызвать инструменты, за один раз пройти длинную цепочку задач.
Effort в Claude Code разделён на несколько уровней. Не воспринимайте его как жёсткий бюджет токенов.
Это поведенческий сигнал, который говорит Claude, насколько тщательно и уверенно нужно выполнить работу. Текстовый ответ, вызов инструментов, расширенное обдумывание — всё под его контролем.
Компания также опубликовала схему: на один и тот же промпт высокий Effort может выдать примерно в 7 раз больше токенов, чем низкий. Все дополнительные токены тратятся на чтение файлов, запуск проверок, повторные подтверждения.
Источник изображения: Официальный блог Anthropic
На один и тот же промпт путь с высоким Effort генерирует примерно в 7 раз больше токенов, чем с низким. Дополнительные токены тратятся на чтение файлов, запуск проверок, повторные подтверждения.
Здесь скрывается контринтуитивный вывод: маленькая модель с высоким Effort вполне может превзойти большую модель с низким Effort.
Не умеет или недостаточно старается?
Зная разделение задач, по-настоящему полезна предложенная компанией система оценки.
Источник изображения: Официальный блог Anthropic
Официальная система оценки: Если Claude ошибся, сначала спросите, недостаточно ли он умен или недостаточно старается, а затем решите, сменить модель или повысить Effort.
Если Claude провалил задачу, не спешите менять модель.
Первый шаг всегда — проверить контекст: понятен ли промпт? Даны ли нужные инструменты? Соответствует ли CLAUDE.md? Большинство случаев так называемого «оглупения ИИ» коренятся здесь, а не в выборе модели.
Если с контекстом всё в порядке, а он всё равно ошибается, задайте себе вопрос: он не умеет или недостаточно старается?
«Недостаточно старается» легко определить: пропускает нужные файлы, не запускает тесты, рефакторинг делает наполовину и возвращается с вопросом. Ему не хватает не ума, а усилий.
Это проблема Effort, можно поднять на уровень выше.
Если же «не умеет», ситуация иная: вы дали достаточно контекста, он явно старался, но всё равно ошибся, пробуете переформулировать — снова ошибка.
В этом случае сколько ни повышай Effort, толку не будет. Это проблема модели: нужно менять на более мощную.
Компания также привела очень понятную аналогию.
Sonnet — это универсальный специалист с целым днём впереди.
Он прочитает ваш код от начала до конца, запустит, проверит ещё раз, и в итоге действительно глубоко разберётся в вашей задаче.
Opus — это эксперт, у которого есть только пять минут. Он приносит опыт, которого нет в вашей кодовой базе: знакомые ловушки, ошибки, которые нужно обойти — всё это интуиция, накопленная при решении множества подобных проблем. Но пять минут — это мало времени, хватит лишь бегло просмотреть, а не прочитать все файлы.
Fable — это узкий специалист, к которому обращаются, когда все уже зашли в тупик. Даже за пять минут он может одним взглядом найти ошибку, которую никто другой не заметил.
Конечно, этот эксперт и самый дорогой за токен, его нужно оставлять для действительно сложных задач, с которыми никто не справится.
Отсюда и контринтуитивный вывод:
Sonnet с высоким Effort во многих задачах действительно может превзойти Opus с низким Effort. Маленькая модель с достаточным контекстом и высокими усилиями способна справиться с большим, чем вы думаете.
Источник изображения: Официальный блог Anthropic
В длинных, многоэтапных задачах Fable показывает наибольший отрыв. В официальных тестах некоторые задачи были недоступны для Opus и Sonnet при любом уровне Effort.
После гонки в рейтингах моделей, постановка задач ИИ стала сложным искусством
Это официальное объяснение на поверхности учит настройке параметров, но за ним стоит важный поворот:
Конкуренция в области ИИ-программирования смещается с «чья модель мощнее» на «кто лучше управляет агентами».
Раньше было просто: человек выбирал самую сильную модель, а всё остальное доверял ей.
Теперь всё иначе. Вы должны, как менеджер проекта, назначать разные роли разным моделям, устанавливать разные уровни вовлечённости:
Простые правки — Sonnet на низкой настройке, мгновенный ответ и экономия денег; крупный рефакторинг — мощная модель на высоких настройках; задачи для агентов, которые должны долго работать самостоятельно, — мощная модель с максимальным Effort.
Эти операции не только помогают лучше выполнять работу, но и экономят реальные деньги на счёте за токены.
Дополнительный уровень ultracode в меню Effort Claude Code — это внедрение этого подхода «управления» в продукт.
При выборе этой опции Claude получает максимальную мощность xhigh, а также разрешение: при столкновении с существенной работой сам решает, нужно ли формировать команду агентов, чтобы разделить задачу для параллельного выполнения.
Оглядываясь назад на мартовский скандал с «оглупением».
Тот факт, что он взволновал всё сообщество, как раз показывает, что большинство всё ещё застряло в старом мышлении «сменить модель» и совершенно не осознаёт важность параметра Effort, который у них под рукой.
Эпоха, когда смотрели только на рейтинги моделей, уходит. Управление моделями становится ключевым навыком.
Тот, кто первым научится ставить задачи ИИ, сможет на шаг опередить других, используя того Claude, который действительно будет стараться для вас. В противном случае даже самая дорогая модель в ваших руках будет лишь более дорогим окном поиска.
Только так каждый потраченный вами токен будет действительно потрачен с умом.
Источники:
https://claude.com/blog/claude-model-and-effort-level-in-claude-code
https://x.com/ClaudeDevs/status/2074900291062034618?s=20
https://platform.claude.com/docs/en/managed-agents/multi-agent
Редактор: Юань Юй
Эта статья взята из официального аккаунта WeChat «Синь Чжи Юань», автор: ASI Апокалипсис
