# Amnésie de l'IA Articles associés

a16z : Le syndrome de l'« amnésie » de l'IA, l'apprentissage continu peut-il le guérir ?

Résumé : Les modèles de langage actuels souffrent d’une forme d’amnésie : une fois entraînés, leurs paramètres sont figés, les empêchant d’intégrer de nouvelles connaissances après leur déploiement. Pour pallier cela, des méthodes comme l’apprentissage en contexte (ICL) ou les systèmes de mémoire externe (RAG) sont utilisées, mais elles ne permettent pas une véritable internalisation des informations. L’article explore la question de l’apprentissage continu (continual learning), une piste de recherche cruciale pour permettre aux modèles de mettre à jour leurs paramètres de manière ciblée et durable. Trois approches sont présentées : l’apprentissage par contexte (non paramétrique), l’ajout de modules spécialisés (semi-paramétrique) et la mise à jour directe des poids (paramétrique). Si les méthodes non paramétriques sont matures et efficaces, elles butent sur des limites structurelles : impossibilité de généraliser véritablement, difficulté à traiter des connaissances implicites ou à résoudre des problèmes nécessitant une compression profonde (comme des preuves mathématiques novatrices). Les défis techniques et de sécurité liés aux mises à jour paramétriques (oubli catastrophique, auditabilité, alignement) restent importants, mais des solutions émergent (apprentissage métacognitif, architecture éparse, auto-amélioration). Une combinaison de ces approches pourrait permettre aux IA de passer d’une simple mémoire externe à une véritable capacité d’apprentissage continu.

marsbit04/25 04:43