Исследовательское подразделение Google недавно опубликовало статью, основную мысль которой можно выразить одной фразой: Вместо того чтобы упорно стремиться к "всеведению" ИИ, лучше научить его говорить "я не уверен".
Эта статья под названием «Hallucinations Undermine Trust; Metacognition is a Way Forward» подготовлена совместно Google Research и Тель-Авивским университетом и принята на ICML 2026 Position Track. В статье утверждается, что нынешний основной подход индустрии ИИ к борьбе с «галлюцинациями» может быть принципиально ошибочным — все заняты тем, чтобы впихнуть в модели больше знаний, упуская из виду более важную и недооценённую способность: дать ИИ возможность оценивать и выражать степень своей уверенности в каждом ответе.
(Ссылка на статью: [2605.01428] Hallucinations Undermine Trust; Metacognition is a Way Forward)
Налог на полезность: реальная цена устранения галлюцинаций
Начнём с ситуации, с которой сталкивался каждый.
Вы задаёте вопрос ИИ-ассистенту, и он чрезвычайно уверенным тоном даёт ответ, формулируя его строго и логично, без видимых изъянов. Позже вы проверяете и обнаруживаете, что ответ полностью выдуман. Ещё больше раздражает то, что он произносил его без малейших колебаний, как будто видел своими глазами.
Это и есть «галлюцинация» ИИ — модель выводит фактически ошибочный контент, но преподносит его пользователю в неоспоримой манере. Эта проблема особенно опасна в таких областях высокого риска, как медицина, юриспруденция, научные исследования.
По сути, у индустрии есть два пути борьбы с галлюцинациями. Первый: заставить ИИ знать больше — расширяя обучающие данные, увеличивая параметры модели, чтобы охватить больше фактов. Второй: заставить ИИ молчать, когда он не уверен — при возникновении неоднозначных вопросов просто отказываться отвечать.
У обоих путей есть очевидные недостатки. Фактов в мире бесконечно много, модель не может запомнить всё, поэтому у первого пути всегда будут «мёртвые зоны». Проблема второго пути в том, что как только ИИ начинает массово отказываться отвечать, он превращается из «полезного помощника» в «трусоватого молчуна» — пользователь задаёт десять вопросов, на восемь получает отказ, опыт отвратительный.
В статье для цены второго пути дано точное название: «налог на полезность» (utility tax) — чтобы снизить частоту галлюцинаций, ты должен пожертвовать огромным количеством информации, на которую мог бы дать правильный ответ.
Почему этот налог такой тяжёлый? Корень проблемы в отсутствии у ИИ ключевой способности. Чтобы стратегия «отказа» работала точно, модель должна чётко различать «этот вопрос я ответил правильно» и «этот вопрос я ответил неправильно» — отказываться только от неправильных, сохраняя правильные. Но в реальности модель не способна на такое точное различение. В статье различаются два легко смешиваемых, но принципиально разных понятия для иллюстрации этой проблемы.
Калибровка (calibration) измеряет, соответствует ли общий уровень уверенности ИИ общему проценту правильных ответов. Например, ИИ отвечает на 100 вопросов, каждый раз говоря «я уверен на 60%», и из этих 100 вопросов ровно 60 отвечены верно — это идеальная калибровка.
Дискриминативность (discrimination) же измеряет, может ли ИИ точно различить «я прав» и «я ошибаюсь» в каждом конкретном вопросе. ИИ, который на все вопросы даёт уверенность 60%, и общая точность составляет ровно 60%, имеет прекрасную калибровку, но нулевую дискриминативность — он вообще не может различить, кому доверять, а кого остерегаться. Хорошая калибровка не равна сильной дискриминативности, и в этом суть проблемы.
Анализ большого количества литературы, проведённый в статье, показывает, что у текущих ведущих больших моделей показатель дискриминативности AUROC в задачах фактологических вопросов-ответов находится в диапазоне примерно 0.70–0.85. Эта цифра звучит неплохо, но на практике её далеко недостаточно. Статья приводит результаты моделирования с параметром AUROC=0.71, и они поразительны: предполагая базовый уровень ошибок ИИ 25%, чтобы снизить уровень ошибок до 5%, ИИ должен отказаться отвечать более чем на 52% правильных вопросов. Даже если дискриминативность повысить до уровня 0.85, близкого к потолку, зафиксированному в литературе, всё равно придётся отказаться от 28% правильных ответов. Только при достижении дискриминативности выше 0.95 затраты становятся пренебрежимо малыми — и ни один из существующих методов в задачах, требующих обширных знаний, даже близко не приближается к этой цифре.
Рис.: Разница между калибровкой и дискриминативностью. Левая диаграмма показывает хорошую калибровку модели (красная линия близка к диагонали). Правая же открывает суровую реальность: даже при идеальной калибровке, чтобы снизить ошибки с 25% до 5%, приходится жертвовать 52% правильных ответов.
Реальные данные подтверждают этот вывод. Статья анализирует производительность различных передовых моделей на бенчмарке SimpleQA Verified, и результат ясен и даже жесток: большинство моделей распределено вдоль диагонали «больше отвечаешь — больше ошибаешься», некоторые модели, стремящиеся к высокой точности, добиваются её за счёт массового отказа отвечать, но платят огромную цену в полезности. Идеальная область «правого верхнего угла» — отвечаешь много и ошибаешься мало — пока пустует. Этот пробел и есть та самая «щель дискриминативности», о которой говорит статья.
Рис.: Результаты тестирования основных моделей на SimpleQA Verified. Пятиконечная звезда в правом верхнем углу — идеальная цель. "Discrimination Gap" отмечает пропасть между существующими моделями и идеалом, а "Utility Tax" показывает цену полезности, которую заплатила Claude Opus 4 за высокую точность.
Если «впихнуть больше знаний» имеет пробелы, а «молчать, когда не уверен» — слишком дорого, есть ли третий путь?
Переопределение галлюцинации: не «сказал неправильно», а «не имея права быть уверенным, настаивал»
Ключевой вклад статьи не в диагностике проблемы, а в переопределении самой проблемы.
Долгое время индустрия определяла «галлюцинацию» как «ИИ выводит ошибочную информацию». Это подразумевает предпосылку: искоренить галлюцинации = искоренить все ошибки. Но в статье предлагается взглянуть иначе — галлюцинация — это не «ИИ ошибся», а «ИИ, не имея оснований для уверенности, дал ошибочную информацию с уверенной интонацией».
Это различие, кажущееся тонким, на деле имеет далеко идущие последствия. Например: врач, посмотрев анализы, говорит: «У вас болезнь X». Если он на самом деле просто догадывался по интуиции, это безответственно. Но если он говорит: «В настоящее время симптомы склоняются к X, но для подтверждения нужны дополнительные анализы», даже если первоначальное направление мысли было ошибочным, такая формулировка сама по себе честна — он говорит пациенту: «Отнеситесь к этому диагнозу с осторожностью». Ошибка сама по себе неприемлема, неприемлемо выдавать неуверенность за уверенность.
Исходя из этого нового определения, появляется третий путь: честная неопределённость (faithful uncertainty) — заставить ИИ на языковом уровне выражать степень уверенности, соответствующую реальной степени уверенности его внутреннего состояния.
Конкретнее, «внутреннюю неопределённость» ИИ можно объективно измерить путём повторной выборки: один и тот же вопрос задать сто раз, если каждый раз даётся одинаковый ответ, значит, он внутренне уверен; если ответы разнятся, значит, внутри идёт колебание. «Языковая неопределённость» — это ощущение уверенности, передаваемое формулировками ИИ — «4 августа 1961 года» и «вроде помнится 1961 год, но не совсем уверен» дают читателю совершенно разные сигналы.
Честная неопределённость требует их согласования: когда внутри есть колебания — формулировать с оговорками, а уверенно говорить только тогда, когда внутри есть уверенность. В статье подчёркивается, что эта цель более достижима, чем «искоренить все ошибки». Причина в том, что честная неопределённость требует лишь соответствия языкового вывода ИИ его внутреннему состоянию — это замкнутая проблема, сигнал находится внутри модели, не зависит от внешней истины. Искоренение же ошибок требует полного соответствия вывода ИИ истине внешнего мира, и как указывает статья, ссылаясь на проблему остановки и теорию вычислений, здесь существуют фундаментальные теоретические ограничения.
В статье эту способность обобщают в более широкое понятие: метапознание (metacognition) — ИИ может как ощущать собственную неопределённость, так и на основе этого ощущения корректировать своё поведение. Это понятие заимствовано из психологии, где означает «знание о собственном процессе познания», в контексте ИИ — это осознание ИИ того, что он знает, а чего не знает.
Рис.: Слева — традиционная дилемма: «ответ» несёт риск галлюцинаций, «отказ» влечёт налог на полезность. Справа — новый путь: путём честного выражения неопределённости сохранить полезную информацию и минимизировать вред от ошибочной, достигнув «надёжной полезности».
Эпоха ИИ-агентов: Agent без метапознания — это «слепой полёт»
Ценность метапознания не ограничивается диалоговыми сценариями. В эпоху ИИ-агентов (Agent) она становится ещё более критичной.
На первый взгляд, установка поисковой системы ИИ решает проблему недостатка знаний — не знаешь? поищи, чего бояться галлюцинаций? Но в статье указывается, что инструменты вносят не «решение для хранения», а «проблему управления».
Появившись, инструменты ставят перед ИИ ряд новых решений: знаю ли я ответ на этот вопрос сам? нужно ли искать? найденной информации можно доверять? если результаты поиска противоречат моей собственной информации — кому верить? когда остановить поиск?
Все эти решения зависят от точного восприятия ИИ своей внутренней степени уверенности. ИИ-агент без способности к метапознанию похож на лётчика без приборной панели — двигатель уже сигналит о неисправности, а он ещё и ускоряется.
Рис.: Уровень управления метапознанием как мост между базовыми способностями ИИ и внешними инструментальными системами. Без этого уровня управление внешними инструментами агентом подобно «слепому полёту» — не знаешь, нужно ли искать, стоит ли доверять найденному и в какой степени.
В статье приводятся исследования, показывающие, что текущие поисково-усиленные ИИ-агенты часто страдают от злоупотребления инструментами — ищут по вопросам, которые вообще не требуют поиска, снижая эффективность и внося ненужный шум. Причина проста: ИИ без метапознания просто не может судить, «нужна ли мне дополнительная информация».
На пути к метапознанию ещё есть несколько трудных проблем
В статье также честно указаны ключевые вызовы на пути реализации.
«Парадокс самозагрузки»: обучение ИИ выражать неопределённость требует обучающих данных с примерами «когда сомневаться». Но границы знаний ИИ динамичны. Обучающий пример, помеченный как «я не уверен», после эволюции модели может превратиться в то, что он уверенно знает. Обучение динамической способности на статических данных может привести к ИИ, который «притворяется неуверенным». Это требует разработки динамической инфраструктуры данных, отражающей текущие границы знаний модели.
«Сигнал разрушения согласования»: исследования обнаружили, что после предварительного обучения ИИ уже обладает довольно хорошим внутренним сигналом неопределённости — его внутреннее состояние может различать «этот вопрос более уверенный» и «этот вопрос менее определённый». Но последующее обучение с подкреплением на основе человеческих предпочтений (RLHF) и другие методы согласования стирают этот сигнал. Причина в том, что люди предпочитают ответы, сказанные уверенным тоном, что заставляет ИИ научиться внешне выглядеть уверенным, каким бы шатким ни было его внутреннее состояние.
«Причинно-следственная оценка»: более глубокая проблема в том, как гарантировать, что ИИ действительно считывает внутренний сигнал, а не просто научился поверхностному трюку «при встрече с редким словом говорить "я не уверен"»? Различение «истинного метапознания» и «игры в метапознание» является фундаментальной научно-оценочной проблемой.
В статье также даны конкретные предложения исследовательскому сообществу: больше не оценивать методы борьбы с галлюцинациями лишь одним числом точности. Следует визуализировать полную «кривую компромисса между полезностью и частотой ошибок», чтобы увидеть, действительно ли метод повысил базовую дискриминативную способность или просто сдвинул порог отказа вдоль той же кривой. Также необходимо проверять «сопутствующий ущерб» — не пришлось ли ради снижения ошибок в фактологических вопросах-ответах заплатить неожиданную цену в задачах на рассуждение, программирование, написание текста.
В конечном счёте, ключевое послание, которое хочет донести эта статья: ИИ может быть не всеведущим, но он должен честно осознавать, что знает, а чего не знает, и доносить это осознание до пользователя.
Мы доверяем профессионалам не потому, что они никогда не ошибаются, а потому что они могут честно различать «я уверен» и «я предполагаю» — именно это различие отделяет профессионала от дилетанта. И ИИ должен идти этим же путём. Вместо бесконечной погони за химерой совершенной безошибочности лучше научить ИИ делать кое-что более практичное: знать, когда он несёт чушь, и честно говорить об этом пользователю. (Впервые опубликовано в Titanium Media APP, автор | Silicon Valley Tech_news, редактор | Jiao Yan)
