Qui ose encore dire que la recherche n'a plus de nouveaux problèmes et que tous les bons sujets ont été pris par les prédécesseurs ??
Et si je vous disais que la plupart des articles publiés dans des revues prestigieuses contiennent des problèmes ?
Récemment, après avoir utilisé un Agent IA pour « vérifier l'intégrité académique », des chercheurs ont découvert que :
Parmi les 92 articles présentés à la Conférence Internationale sur l'Apprentissage Automatique (ICML) de 2026, 58 n'étaient pas reproductibles.
Vraiment ? Serait-ce enfin l'occasion de publier massivement dans des revues prestigieuses ?
Les articles de conférences prestigieuses sont collectivement « vérifiés » par l'IA
Habituellement, lorsqu'un article est accepté dans une conférence de renom, cela signifie qu'il a passé l'évaluation par les pairs.
Cependant, en raison de contraintes de temps, les évaluateurs n'ont presque jamais le temps de télécharger les données, d'exécuter les modèles ou de reproduire les expériences pour vérifier chaque conclusion expérimentale de l'article.
Parallèlement, avec l'explosion du nombre de publications en IA, les modèles deviennent de plus en plus complexes et les expériences de plus en plus vastes. Le code, les données et les paramètres derrière un article peuvent impliquer des centaines de détails.
La vérifiabilité des articles devient donc cruciale. Une fois publié, ses conclusions peuvent-elles être reproduites ?
Actuellement, les Agents IA réduisent considérablement le coût de cette vérification et reproduction.
Le 22 juillet, une société américaine d'examen de la recherche a utilisé un Agent IA pour réaliser un audit systématique de la reproductibilité des résultats sur les 168 articles présentés oralement à l'ICML 2026.
Parmi les 168 articles, 92 comportaient au moins 5 affirmations conclusives vérifiables.
Le résultat final est le suivant : l'Agent IA a pu reproduire plus de 40 % des conclusions pour seulement 34 articles ; et plus de 80 % des conclusions pour seulement 8 articles.
Cependant, il est important de préciser qu'il existe une énorme différence entre « non reproductible » et « fraude scientifique ».
Les raisons de l'échec de la reproduction incluent, sans s'y limiter : l'absence de fichiers clés dans le code, des ruptures de version des dépendances, des résultats d'exécution ne correspondant pas à l'article. De plus, pour 4 articles, les modèles nécessaires étaient hors ligne, ce qui signifie que les résultats expérimentaux ne pourront plus jamais être reproduits par quiconque.
En dehors de cela, certaines erreurs étaient simplement assez graves —
Par exemple, un article présentait comme principal argument de vente « n'avoir entraîné que 0,77 % des paramètres du modèle de base », mais le checkpoint publié avait en réalité entraîné 6,31 % des paramètres, soit une différence d'environ 8 fois.
Un autre article présentait un tableau de fiabilité basé sur un modèle d'évaluation, mais son code source ne contenait pas du tout ce modèle d'évaluation, et aucun script ne permettait de générer les résultats du tableau.
De même, en 2026, Hugging Face et AlphaXiv ont conjointement lancé le concours « Agent Reproduction Challenge » pour l'ICML 2026, invitant les chercheurs à utiliser des Agents IA de codage pour reproduire automatiquement les articles acceptés. Les résultats étaient également peu encourageants.
Une tendance similaire, encore plus surprenante, est observée dans la détection des erreurs et omissions dans les articles.
Fin 2025, une étude a développé un système de vérification d'articles basé sur GPT-5 pour analyser les publications parues dans des conférences et revues prestigieuses d'IA, à la recherche de problèmes objectivement vérifiables. Les chercheurs ont clairement indiqué :
Nous ne recherchons que les « erreurs objectives », peu importe l'innovation ou la valeur de recherche de l'article.
Les résultats finaux ont montré que chaque article contenait en moyenne 4,7 erreurs objectives, et 99,2 % des articles présentaient au moins un problème marqué.
△ Image générée par IA
En termes de type d'erreurs, les erreurs mathématiques et de formules sont les plus fréquentes, représentant 54,0 % (y compris les équations incorrectes, les failles logiques dans les dérivations, les hypothèses erronées dans les preuves, etc.).
Environ 30,8 % des articles de NeurIPS et 23,8 % des articles de l'ICLR contenaient au moins une erreur substantielle susceptible d'affecter l'interprétation des résultats.
Plus notable encore est la tendance temporelle : le nombre moyen d'erreurs par article à NeurIPS est passé de 3,8 en 2021 à 5,9 en 2025, soit une augmentation de 55,3 %.
......
À l'avenir, peut-être que la publication d'un article ne signifiera plus la « victoire » de la recherche, mais marquera simplement le début d'un nouveau cycle de vérification par l'IA.
Bonne nouvelle majeure pour les débutants académiques : publier dans des revues prestigieuses sans faire d'expériences
Ainsi, mes amis, pour ceux qui peinent à trouver un sujet de recherche, cela pourrait bien être un « avantage » inattendu.
Vérifier la littérature pour y trouver des erreurs et écrire des erratum est en soi une forme légitime de production académique, et cela semble désormais être un véritable océan bleu académique.
Comment s'y prendre ? Voici quelques conseils pour les débutants académiques en quête de sujet :
Premièrement, changer de perspective de recherche : ne pas courir après la pointe, mais examiner le passé.
Passer de « trouver un nouveau sujet » à « trouver les anomalies dans les anciens articles ». Accorder une attention particulière aux articles classiques fortement cités mais peu controversés. Après tout, « 99,2 % des articles présentent au moins une erreur ».
Deuxièmement, faire créer par l'IA des cartes de connaissances et des arbres généalogiques de recherche.
Ces cartes peuvent aider à comprendre : quels sont les travaux véritablement fondateurs ? Quelles idées de recherche sont encore controversées aujourd'hui ? Quelles conclusions sont largement citées mais peu vérifiées ? Quelles sont les relations de citation entre différents articles ? Cela permet de découvrir des connexions et anomalies autrefois difficiles à repérer.
Troisièmement, Poser n'importe quelle question.
Nombre de percées importantes dans l'histoire des sciences ne viennent pas de la formulation de questions totalement nouvelles, mais de la reconsidération d'une hypothèse longtemps acceptée.
Par exemple : une expérience classique a-t-elle été vérifiée selon les standards d'aujourd'hui ? Une conclusion largement citée comporte-t-elle des conditions limitatives passées inaperçues ?
Par le passé, poser ce type de questions avait un coût très élevé, nécessitant de longues heures à consulter la littérature originale et à comparer les détails expérimentaux. Aujourd'hui, l'IA réduit ce coût à presque zéro.
L'IA pourrait commencer à réorganiser l'histoire des sciences
Récemment, Pios, un chimiste théoricien d'un laboratoire du Zhejiang, utilisant l'IA pour prédire le point d'ébullition de molécules, a découvert un conflit flagrant entre les résultats et une base de données chimique vieille de 75 ans.
Face à cela, la première réaction de quiconque serait probablement : « C'est sûrement moi qui ai tort ».
Pios ne fit pas exception. Il vérifia aussitôt son modèle. Mais après avoir remonté manuellement à la littérature originale, il découvrit : Mon Dieu, c'est l'IA qui avait raison.
Stupéfait, Pios poursuivit la vérification avec l'IA et découvrit même qu'une valeur de point d'ébullition mesurée il y a environ un siècle, pourtant reconnue comme faisant autorité dans le milieu académique, était également fausse.
Il faut savoir que ces données ont été citées, assimilées année après année dans les recherches ultérieures.
Le fait que de tels problèmes soient restés longtemps non détectés est probablement lié à l'ampleur même de la littérature scientifique.
△ Image générée par IA
Le nombre d'articles scientifiques modernes dépasse largement la capacité de lecture de tout chercheur individuel. Par exemple, le nombre de soumissions annuelles pour la seule conférence d'IA prestigieuse ICLR est passé de 1013 en 2018 à 19619 en 2026.
À cette échelle, une erreur initialement apparue dans un article, si elle est ensuite reprise et citée par d'autres, se propage le long des chaînes de citations, formant de facto un consensus académique.
En raison de leur ancienneté, de la complexité des chaînes de citation, et du fait que la vérification demande un temps considérable pour un retour académique limité, la grande majorité des erreurs intégrées dans la littérature n'ont jamais été systématiquement réexaminées.
Mais aujourd'hui, tout est remis en question. D'un point de vue technique, nous possédons pour la première fois la capacité de réexaminer à grande échelle la littérature scientifique passée.
Cependant, prenons l'exemple du Paper Correctness Checker basé sur GPT-5 : sa précision de détection est de 83,2 %, et lors de chaque vérification, environ 40 % des erreurs réelles ne sont pas détectées.
On peut dire que de tels outils de vérification des faits par IA ne suffisent pas à eux seuls à juger la littérature scientifique. Les résultats de ces outils de vérification par IA doivent finalement être examinés par des humains.
Cet article provient du compte WeChat officiel « Quantum Bit » (ID: QbitAI), auteur : Cheng Qian
