GPT-5 тоже мучается с "вертится на языке", Google проверил 4,5 миллиона раз: ключи потеряны
Google провела исследование «Пустые полки или потерянные ключи?», выявив, что современные большие языковые модели (LLM), такие как GPT-5 и Gemini 3, сталкиваются с проблемой, похожей на человеческий феномен «кончика языка»: они часто не могут извлечь факты, которые явно хранятся в их параметрах.
Исследователи создали бенчмарк WikiProfile (2150 фактов из Википедии) и протестировали 13 моделей, сделав около 4.5 миллионов запросов. Ключевые выводы:
* **Основная проблема — не кодирование, а извлечение.** Модели кодируют 95-98% фактов, но при прямом запросе не могут вспомнить 26-34% из них. Даже с включённым «размышлением» (thinking) 11-12% фактов остаются недоступными.
* **«Забывание» затрагивает определённые типы знаний:** 1) **Редкие факты** — они кодируются почти так же хорошо, как популярные, но извлекаются гораздо хуже. 2) **Обратные вопросы** (например, «сын Марии» вместо «мать Тома») — модель знает связь, но не может её сформулировать в ответе, хотя в заданиях с выбором справляется хорошо.
* **«Размышление» помогает вспомнить.** Механизм thinking помогает восстановить 40-65% фактов, которые есть в памяти, но не всплывают сразу. Это работает через «расширяющуюся активацию» — генерацию связанных контекстов, которые подводят к правильному ответу.
* **Масштабирование (scaling) решает проблему кодирования, но не извлечения.** Увеличение параметров модели снижает долю «невыученных» фактов, но доля «невспоминаемых» остаётся высокой и становится основной причиной ошибок в передовых моделях.
Вывод: для повышения фактической точности современных LLM ключевым становится не добавление данных, а улучшение механизмов **доступа и извлечения** уже усвоенных знаний. Следующий шаг — развитие метапознания у моделей, чтобы они могли сами определять, когда им нужно «подумать» для поиска ответа в памяти.
marsbit08/14 08:17
