Имя прямо вертится на языке.
Вы видите знакомое лицо, но никак не можете вспомнить его имя. В психологии для этого явления есть название: «феномен кончика языка» (tip-of-the-tongue).
Теперь Google в ходе исследования обнаружил, что у GPT-5 и Gemini 3 наблюдается та же самая проблема.
Эти модели поместили 95%–98% проверяемых фактов в свои параметры. Но если спросить их напрямую, они не могут ответить на 26%–34% фактов.
Если включить режим «размышления» (thinking) и дать подумать подольше, всё равно остаётся 11%–12%, которые никак не вспомнить.
Когда большая модель не может ответить, во многих случаях это не означает, что у неё в «мозгах» этого нет. Она это учила, но не может извлечь.
Это исследование называется «Пустые полки или потерянные ключи?» (Empty Shelves or Lost Keys?), принято на конференцию ICML 2026.
12 августа Google Research опубликовал в блоге краткий обзор результатов, одновременно представив набор данных и эталонный тест под названием WikiProfile.
Полки не пусты, ключи потеряны
Модель может ошибаться по двум причинам.
Первая — она вообще этого не изучала. Тогда нужно добавлять данные и параметры на этапе предварительного обучения. Вторая — она изучала, но не может извлечь при другом способе формулировки вопроса, и это уже проблема пост-обучения и этапа логического вывода.
Обе эти проблемы раньше сводили к вопросу точности.
Предложенная Google концепция «профиля знаний» (knowledge profile) перестаёт задаваться вопросом «верно ли ответила модель на этот вопрос», а вместо этого определяет, «в каком состоянии находится этот факт в памяти модели». Всего выделяется пять состояний.
«Профиль знаний» делит каждый факт на пять состояний: сбой кодирования, сбой извлечения, прямое извлечение, извлечение с помощью thinking, ответ угадан без хранения в памяти.
Один и тот же неверный ответ в разных состояниях требует совершенно разных методов исправления.
Как определить, сохранён ли факт в памяти?
Метод заключается в том, чтобы обрезать оригинальный текст Википедии до момента появления ответа и заставить модель продолжить написание; или напрямую задать вопрос после того же контекста.
В этих двух типах задач запрещено включать thinking, чтобы отделить «запомнил» от «вывел логически».
Слева проверяется, сохранён ли факт: обрезка текста Википедии и дополнение моделью. Справа проверяется, может ли модель ответить: вопросы с разной формулировкой, в прямой и обратной форме.
Эталонный тест называется WikiProfile, всего 2150 фактов, все взяты из англоязычной Википедии.
Каждому факту соответствует 10 вопросов: 2 на проверку сохранения, 4 на самостоятельный ответ, 4 на выбор из вариантов. Итого 21500 вопросов.
Создание вопросов полностью поручено модели: Gemini-2.5-Pro генерирует, Google Search проверяет каждый вопрос. Если ответ неоднозначен или вопрос двусмыслен, вместе с ним отбрасывается весь факт. Затем проводится ручная проверка, отбрасывается менее 2%.
Тестировались 13 моделей, охватывающих семейства Gemini 3, GPT-5, GPT-4.1 и Gemma 3. Каждая модель запускалась с включённым и выключенным thinking, по каждому вопросу делалось 8 выборок, собрано около 4,5 миллионов ответов.
Полное тестирование одной передовой модели стоит примерно 500 долларов.
Результат — это цифры в начале статьи.
В ошибках передовых моделей, связанных с фактами, «невозможность извлечь» уже превзошла «не изучено» и стало основной проблемой.
Неизвлекаемое застревает в двух одинаковых местах
Первое — малопопулярные знания.
Ранее основным объяснением была недостаточная ёмкость модели — некоторые малопопулярные факты просто не заучивались.
Согласно данным этого исследования, малопопулярные знания на самом деле сохранены. Gemini-3-Pro сохранила 94,5% малопопулярных фактов, популярных — 99,5%, разница всего 5 процентных пунктов.
Но когда дело доходит до ответа, малопопулярные факты падают до 63,3%, а популярные остаются на уровне 84,7%, разница в 21 пункт.
При сохранении разница почти незаметна, при извлечении разница в четыре раза.
Сравнение малопопулярных фактов (последние 20%) и популярных (первые 20%). Разница в коэффициенте сохранения мала, разница в коэффициенте прямого извлечения заметно больше.
У GPT-5 разрыв ещё больше.
Она сохранила 90,7% малопопулярных фактов и 98,4% популярных. Но когда нужно ответить, малопопулярных остаётся только 52,9%, а популярных — 77,8%.
Почти половина малопопулярных фактов явно лежит в модели, но их просто не получается вызвать.
Разница при сохранении невелика, разница при извлечении велика. Истина о проблеме «длинного хвоста» заключается не в том, что модель не видела эти малопопулярные факты, а в том, что эти знания труднее активировать.
Второй сценарий — обратные вопросы. Спросите ИИ, кто мать Тома Круза, он ответит быстро и точно. Спросите наоборот — кто сын этой женщины, и он зависнет.
В статье 2023 года это назвали «проклятием обращения» (reversal curse): модель выучила, что «A — это B», но не может автоматически обобщить до «B — это A». Объяснение в то время было: двунаправленная связь вообще не была усвоена.
Google превратил ту же серию вопросов в тесты с четырьмя вариантами ответов, и результат немедленно изменился.
Коэффициент извлечения GPT-5 при прямых вопросах составляет 82,9%, при обратных падает до 74%. Но как только переключаются на задачи распознавания с выбором из вариантов, обратные вопросы не только не становятся сложнее прямых, но 9 из 13 моделей справляются с ними даже лучше, остальные 4 показывают одинаковый результат.
Задачи с выбором из вариантов решаются, но стоит перейти на вопросы с открытым ответом — модель не может ответить.
Одна и та же серия прямых и обратных вопросов. В задачах распознавания с выбором из 4 вариантов обратные вопросы не сложнее прямых. В задачах генерации с закрытой книгой обратные вопросы заметно сложнее.
Это говорит о том, что связь явно присутствует, реальная проблема — в том, как её извлечь.
Объяснение авторов: когда факт сохраняется, вместе с ним в память закладывается контекст, формулировка и порядок, в котором он был представлен.
Если способ, которым вы задаёте вопрос, отклоняется от того, как это было во время обучения, ключ не подходит к замку.
Другая роль thinking — помочь вспомнить
Вопросы в WikiProfile — это «спросил — ответил», без промежуточных шагов рассуждения.
«В каком клубе состоялось первое выступление Oasis?» — на такой вопрос либо помнишь, либо нет.
Теоретически, если дать модели подумать подольше, это не должно сильно помочь.
Но thinking действительно вытягивает забытое. Для фактов, которые были сохранены, но на которые не удалось ответить, оно возвращает 40%–65%.
Ключевая подсказка скрыта в его предпочтениях: для фактов, которые вообще не были сохранены, thinking может вернуть только 5%–15%.
Доля фактов, восстановленных после включения thinking. Сохранённые в параметрах факты возвращаются на 40%–65%, не сохранённые — только на 5%–15%.
Она не выводит ответ, используя другие знания, а ищет ключ на месте.
Авторы также исключили более простое объяснение.
Можно подумать, что thinking просто позволяет модели давать более разнообразные ответы, увеличивая шанс угадать один раз из восьми попыток. Если бы это было так, ответы должны были бы быть более разбросанными.
В реальности всё наоборот: при включённом thinking количество правильных ответов на один и тот же вопрос в восьми попытках становится более концентрированным.
Наибольшая польза проявляется именно в двух самых проблемных местах, упомянутых выше.
Разрыв между малопопулярными и популярными фактами у Gemini-3-Pro сократился с 21,4 пункта до 12,5. Разрыв между прямыми и обратными вопросами у GPT-5 сократился с 9 пунктов до 2. Где самые большие трудности, туда и направляются усилия.
Сопутствующая статья Google «Размышлять, чтобы вспомнить» (Thinking to Recall) даёт механистическое объяснение:
Во-первых, вычислительный буфер: генерируемые токены размышлений, даже если их содержание само по себе не имеет смысла, предоставляют модели дополнительные неявные вычислительные ресурсы.
Во-вторых, прайминг фактами: когда модель сначала выдаёт ряд связанных фактов, она строит семантический мост к правильному ответу.
В человеческом познании это называется «распространённая активация» (spreading activation).
Если не можете вспомнить чьё-то имя, сначала вспомните, в какой компании он работает, какую носит причёску, при каких обстоятельствах вы встречались в последний раз — имя часто само всплывает.
Способ избавления от «феномена кончика языка» у людей и моделей оказывается одним и тем же.
Но у этого способа есть и цена.
Та же статья предупреждает: если промежуточные факты в цепочке рассуждений выдуманы, вероятность галлюцинаций в конечном ответе оказывается выше.
Если мост построен криво, чем дальше идёшь, тем сильнее ошибаешься.
Увеличение масштаба равносильно пополнению запасов, но не выдаче ключей
Возьмём открытое семейство моделей Gemma 3 в качестве линейки.
Когда количество параметров увеличивается с 1B до 27B, частота сбоев кодирования падает с 85% до 23%.
Масштаб действительно пополняет запасы, полки явно заполняются. Но частота сбоев извлечения не снижается синхронно. Её доля в оставшихся ошибках постоянно растёт и на модели 27B становится основным компонентом ошибок.
Для передовых моделей ситуация ещё более крайняя: сбои извлечения составляют более 70% всех ошибок GPT-5.2, и чем сильнее модель, тем выше эта доля.
Распределение пяти состояний для 13 моделей. С увеличением параметров сбои кодирования постоянно сокращаются, сбои извлечения почти не меняются.
Масштаб улучшает то, сколько сохранено, а не то, сколько можно извлечь.
Это не ставит крест на scaling laws, а очерчивает их границы.
Поскольку доля сохранённых фактов уже достигла потолка в 95%–98%, дальнейшее увеличение параметров и данных принесёт видимо уменьшающийся прирост точности.
Следующий этап выигрыша, скорее всего, придёт от методов пост-обучения и логического вывода, то есть от того, как эффективно использовать уже сохранённые знания.
Конечно, может помочь дополнение извлечением (retrieval augmentation).
Но авторы также отмечают: знания в параметрах по-прежнему связаны с беглостью, скоростью реакции и кросс-контекстной интеграцией, их сложно полностью заменить внешним поиском.
Сначала она должна понять, что не может вспомнить
Итак, когда нужно дать модели подумать подольше?
В статье эта проблема определяется как метапознание, то есть способность модели оценивать собственное состояние: она должна сначала осознать «я не могу ответить прямо сейчас», чтобы понять, что этот вопрос стоит того, чтобы включить thinking и подумать подольше.
В последние два года стандартным ответом на вопрос о повышении надёжности моделей было добавление больше данных и увеличение параметров.
Это исследование проясняет ситуацию: на уровне фактов полки передовых моделей уже забиты достаточно полно. Следующее испытание — сможет ли модель сама достать товар с полки.
Следующий шаг ещё сложнее: сначала она должна понять, что не может вспомнить.
Источники:
https://research.google/blog/empty-shelves-or-lost-keys-recall-is-the-bottleneck-for-parametric-factuality/
https://aihot.virxact.com/items/cmsqe6mat01bsroli3hw71nz7
Эта статья из WeChat-официального аккаунта «Новая Эра ИИ» (新智元), автор: ASI启示录
