GPT-5 oublie aussi des choses sur le bout de la langue, Google l'a testé 4,5 millions de fois : les clés sont perdues
Lorsqu'on demande à un modèle de langage de l'information qu'il a pourtant apprise, il échoue parfois à la restituer, un phénomène comparable au « bout de la langue » chez l'humain. Une étude de Google, « Empty Shelves or Lost Keys? », analyse cette défaillance en évaluant 13 modèles (dont GPT-5 et Gemini 3) sur 21 500 questions basées sur Wikipédia.
Le cadre « profil de connaissance » distingue cinq états pour un fait : non mémorisé, mémorisé mais non rappelé, rappel direct, rappel avec « pensée » (chain-of-thought), ou correct par inférence sans mémorisation. Les résultats révèlent que pour les modèles avancés, 95 à 98 % des faits sont encodés en mémoire. Cependant, 26 à 34 % de ces faits mémorisés ne sont pas rappelés en réponse directe. Même avec une phase de réflexion explicite, 11 à 12 % restent inaccessibles.
L'étude identifie deux principaux points de blocage. Premièrement, les faits peu connus sont presque aussi bien mémorisés que les populaires, mais leur taux de rappel direct est bien inférieur. Deuxièmement, les questions posées sous une forme inverse (« qui est le fils de X ? » vs « qui est la mère de Y ? ») posent problème en génération ouverte, mais pas en QCM, prouvant que l'association est stockée mais difficile à extraire.
La réflexion permet de récupérer 40 à 65 % des faits mémorisés mais initialement non rappelés, en agissant comme un « amorçage sémantique » pour activer la mémoire. L'augmentation de la taille des modèles réduit principalement les échecs d'encodage, mais pas proportionnellement les échecs de rappel, qui deviennent l'obstacle dominant pour les modèles les plus grands. L'enjeu futur est donc moins d'empiler des connaissances que d'améliorer les mécanismes d'accès et de métacognition pour que le modèle sache quand il doit « chercher ses clés ».
marsbitIl y a 10 h
