Ce nom est sur le bout de votre langue.
Vous voyez un visage familier, mais vous n'arrivez pas à vous souvenir de son nom. La psychologie a donné un nom à ce phénomène : le "phénomène du bout de la langue" (tip-of-the-tongue).
Maintenant, Google a découvert dans une étude que GPT-5 et Gemini 3 souffrent du même problème.
Ces deux modèles ont encodé 95% à 98% des faits testés dans leurs paramètres. Pourtant, si on les interroge directement, ils sont incapables de répondre pour 26% à 34% de ces faits.
En activant le "thinking" (pensée réfléchie) pour leur donner plus de temps, il reste encore 11% à 12% de faits qu'ils n'arrivent tout simplement pas à retrouver.
Quand un grand modèle ne peut pas répondre, ce n'est souvent pas qu'il ne l'a pas appris, c'est qu'il a appris mais ne parvient pas à l'extraire.
Cette étude s'intitule « Rayons vides, ou clés perdues ? » (Empty Shelves or Lost Keys?), et sera publiée à l'ICML 2026.
Le 12 août, Google Research a publié un article de blog résumant les résultats, et a rendu public en même temps un benchmark nommé WikiProfile et l'ensemble complet de données.
Les rayons ne sont pas vides, les clés sont perdues
Quand un modèle répond mal à une question, cela peut être dû à deux problèmes différents.
Le premier est qu'il ne l'a tout simplement pas appris, ce qui nécessiterait d'ajouter des données et des paramètres au pré-entraînement. Le second est qu'il l'a appris, mais ne parvient pas à le récupérer avec une formulation différente, ce qui relève du post-entraînement et du processus d'inférence.
Ces deux problèmes étaient jusqu'ici souvent regroupés sous un seul indicateur de précision.
Le cadre de "profilage des connaissances" (knowledge profiling) proposé par Google ne demande plus "cette question est-elle correcte ?", mais détermine "dans quel état se trouve ce fait dans la mémoire de ce modèle", en le classant en cinq états possibles.
Le "profilage des connaissances" divise un fait en cinq états : encodage raté, rappel raté, rappel direct, rappel assisté par thinking, réponse correcte par inférence sans avoir été encodé.
Pour une même réponse erronée, selon l'état, la méthode de correction est complètement différente.
Comment déterminer si un fait a été encodé ou non ?
La méthode consiste à tronquer l'article Wikipédia original juste avant l'apparition de la réponse, et à demander au modèle de continuer à écrire ; ou bien à poser une question directe après le même contexte.
Ces deux types de questions sont posés sans activer le thinking, afin de séparer "mémorisé" de "inféré".
A gauche, on teste l'encodage, en faisant compléter un article Wikipédia tronqué ; à droite, on teste la capacité à répondre, en reformulant et en posant des questions dans les deux sens.
Le benchmark s'appelle WikiProfile, il contient 2150 faits, tous tirés de Wikipédia anglais.
Chaque fait est accompagné de 10 questions : 2 pour tester l'encodage, 4 pour répondre directement, 4 pour choisir parmi des options. Soit 21500 questions au total.
La génération des questions a été entièrement confiée à un modèle : généré par Gemini-2.5-Pro, vérifié question par question via Google Search, les faits pour lesquels la réponse n'était pas unique ou la question ambiguë ont été écartés. Une vérification humaine finale a éliminé moins de 2% supplémentaires.
Le benchmark a été exécuté sur 13 modèles, couvrant les familles Gemini 3, GPT-5, GPT-4.1 et Gemma 3. Pour chaque modèle, le test a été effectué une fois avec le thinking activé, une fois désactivé, avec huit échantillonnages par question, totalisant environ 4,5 millions de réponses.
Tester un modèle de pointe de manière complète coûte environ 500 dollars.
Les résultats sont ceux donnés au début.
Dans les erreurs factuelles des modèles de pointe, "impossible à extraire" dépasse désormais "non appris", et est devenu la majorité.
Ce qui est impossible à extraire, coince aux mêmes deux endroits
Le premier : les connaissances peu connues.
L'explication dominante jusqu'à présent était que la capacité des modèles était insuffisante, et que certains faits peu connus n'étaient simplement pas appris.
Les données de cette étude montrent que les connaissances peu connues ont en réalité été encodées. Gemini-3-Pro a encodé 94,5% des faits peu connus, contre 99,5% pour les faits très connus, soit seulement 5 points d'écart.
Mais quand il s'agit de répondre, le taux de rappel pour les faits peu connus chute à 63,3%, contre 84,7% pour les faits très connus, soit un écart de 21 points.
Quasiment pas de différence à l'encodage, quatre fois plus de différence à l'extraction.
Comparaison entre faits peu connus (20% inférieurs) et faits très connus (20% supérieurs). L'écart de taux d'encodage est faible, l'écart de taux de rappel direct s'élargit nettement.
L'écart est encore plus grand pour GPT-5.
Il a encodé 90,7% des faits peu connus et 98,4% des faits très connus. Mais au moment de répondre, il ne parvient à extraire que 52,9% des faits peu connus, contre 77,8% pour les faits très connus.
Près de la moitié des faits peu connus reposent clairement dans le modèle, mais sont impossibles à récupérer.
Peu de différence à l'encodage, grande différence à l'extraction. La vérité sur les questions de longue traîne, ce n'est pas que le modèle n'a pas vu ces faits peu connus, c'est que ces connaissances sont plus difficiles à réveiller.
Le second scénario est la question inverse. Si vous demandez à l'IA qui est la mère de Tom Cruise, elle répond rapidement et avec précision. Si vous demandez l'inverse, qui est le fils de cette dame, elle coince.
Un article de 2023 avait nommé cela la "malédiction de l'inversion" (reversal curse). Le modèle apprend "A est B", mais ne généralise pas automatiquement à "B est A". L'explication de l'époque était que l'association bidirectionnelle n'était tout simplement pas apprise.
Google a transformé le même lot de questions en QCM à quatre choix, et les résultats se sont immédiatement inversés.
Le taux de rappel de GPT-5 pour les questions directes est de 82,9%, il chute à 74% pour les questions inversées. Mais une fois transformé en question de reconnaissance avec des options, non seulement l'inverse n'est pas plus difficile que le direct, mais pour 9 des 13 modèles, les réponses sont même meilleures à l'inverse, les 4 autres restant stables.
Il sait répondre aux QCM, mais dès qu'il s'agit de questions ouvertes, il ne peut plus répondre.
Pour le même lot de questions directes/inversées, la reconnaissance à choix multiples ne montre pas de difficulté accrue pour l'inverse, tandis que la génération à livre fermé est nettement plus difficile à l'inverse.
Cela montre que l'association est clairement présente, ce qui coince vraiment, c'est comment l'extraire.
Les auteurs expliquent que lorsqu'un fait est encodé, le contexte, la formulation et l'ordre de l'époque sont également conservés à l'intérieur.
Dès que votre façon de poser la question s'écarte de la forme d'entraînement, la clé ne correspond plus à la serrure.
L'autre rôle du thinking : l'aider à se souvenir
Les questions de WikiProfile sont du type "une question, une réponse", sans étapes de raisonnement intermédiaires.
"Dans quel club a eu lieu le premier concert d'Oasis ?", pour ce genre de question, soit on s'en souvient, soit non.
En principe, donner plus de temps de réflexion au modèle ne devrait pas l'aider beaucoup.
Mais le thinking en a bien récupéré. Pour les faits encodés mais non extraits, il en a retrouvé 40% à 65%.
L'indice crucial se trouve dans sa préférence : pour les faits qui n'ont pas du tout été encodés, le thinking ne peut en récupérer que 5% à 15%.
Proportion de faits récupérés après activation du thinking. Ceux déjà encodés sont récupérés à 40%-65%, ceux non encodés seulement à 5%-15%.
Il ne fait pas de déduction à partir d'autres connaissances, il cherche la clé sur place.
Les auteurs ont aussi écarté une explication plus simple.
Certains pourraient penser que le thinking ne fait qu'inciter le modèle à répondre de manière plus fantaisiste, augmentant ses chances de deviner juste une fois sur huit essais. Si c'était le cas, les réponses devraient être plus dispersées.
En réalité, c'est l'inverse qui se produit : avec le thinking activé, le nombre de réponses correctes sur huit essais pour une même question est plus concentré.
Les deux endroits où le gain est le plus important sont précisément les deux points les plus bloquants mentionnés précédemment.
L'écart entre faits connus/peu connus de Gemini-3-Pro passe de 21,4 points à 12,5 points, l'écart direct/inverse de GPT-5 passe de 9 points à 2 points. Là où c'est le plus bloqué, c'est là qu'il met le plus d'effort.
Un autre article jumeau de Google, « Penser pour se souvenir » (Thinking to Recall), donne une explication mécaniste :
Premièrement, un tampon de calcul : les tokens de pensée produits, même si leur contenu n'a pas de sens en soi, offrent au modèle une puissance de calcul implicite supplémentaire.
Deuxièmement, l'amorçage de faits : le modèle énonce d'abord un ensemble de faits liés, ce qui équivaut à construire un pont sémantique vers la bonne réponse.
En cognition humaine, cela s'appelle "l'activation en propagation" (spreading activation).
Quand on n'arrive pas à se souvenir du nom de quelqu'un, on commence par se rappeler dans quelle entreprise il travaille, quelle coiffure il a, dans quelle circonstance on l'a rencontré la dernière fois, et le nom apparaît souvent de lui-même.
La méthode pour échapper au "phénomène du bout de la langue" est, de manière surprenante, la même pour l'homme et le modèle.
Mais cette méthode a aussi un prix.
Le même article met en garde : si les faits intermédiaires dans la chaîne de pensée sont inventés, la probabilité d'hallucination pour la réponse finale est en réalité plus élevée.
Si le pont est mal construit, plus on avance, plus on s'éloigne de la vérité.
Augmenter l'échelle, c'est comme réapprovisionner, pas comme fournir des clés
Prenons la famille open-source Gemma 3 comme étalon.
Lorsque les paramètres passent de 1B à 27B, le taux d'échec d'encodage passe de 85% à 23%.
L'échelle remplit bien les rayons, ils se remplissent visiblement. Mais les échecs de rappel ne diminuent pas de manière synchrone. Leur proportion dans les erreurs restantes ne cesse d'augmenter, et pour le modèle 27B, ils constituent la majeure partie des erreurs.
Sur les modèles de pointe, c'est encore plus extrême : les échecs de rappel représentent plus de 70% de toutes les erreurs de GPT-5.2, et plus le modèle est puissant, plus cette proportion est élevée.
Distribution des cinq états pour les 13 modèles. L'échec d'encodage diminue constamment avec l'augmentation des paramètres, l'échec de rappel reste presque immobile.
L'échelle améliore ce qui est encodé, pas ce qui peut être extrait.
Cela ne condamne pas le scaling, mais lui trace une limite.
Puisque la proportion encodée atteint déjà un plafond de 95% à 98%, continuer à ajouter des paramètres et des données ne procurera qu'un gain de précision qui devient visiblement plus petit.
Le prochain gain important est plus susceptible de provenir de méthodes de post-entraînement et d'inférence, c'est-à-dire comment mieux utiliser les connaissances déjà encodées.
L'augmentation par recherche (RAG) peut bien sûr combler les lacunes.
Mais les auteurs rappellent aussi : les connaissances dans les paramètres restent liées à la fluidité, la vitesse de réponse et l'intégration trans-contextuelle, elles sont difficiles à remplacer complètement par une recherche externe.
Il faut d'abord qu'il sache qu'il ne s'en souvient pas
Alors, quand faut-il laisser le modèle réfléchir plus longtemps ?
L'article définit ce problème comme une métacognition, c'est-à-dire la capacité du modèle à juger de son propre état : il doit d'abord réaliser "je ne peux pas répondre directement" pour savoir que cette question mérite d'activer le thinking et de réfléchir davantage.
Ces deux dernières années, la réponse par défaut pour rendre les modèles plus fiables était de leur donner plus de données et d'augmenter leur taille.
Cette étude clarifie les choses : au niveau factuel, les rayons des modèles de pointe sont déjà bien remplis. La prochaine épreuve, c'est s'ils peuvent eux-mêmes extraire les marchandises.
La prochaine étape est encore plus délicate : il faut d'abord qu'ils sachent qu'ils ne s'en souviennent pas.
Références :
https://research.google/blog/empty-shelves-or-lost-keys-recall-is-the-bottleneck-for-parametric-factuality/
https://aihot.virxact.com/items/cmsqe6mat01bsroli3hw71nz7
Cet article provient du compte WeChat officiel "新智元" (New Wisdom Era), auteur : ASI启示录
