Les gens des laboratoires de pointe ne lisent presque plus d'articles ?
Une déclaration d'un chercheur d'OpenAI cible trois grandes conférences : Trop d'exagérations et de falsifications !
L'origine de l'affaire est un article ICLR dont les résultats étaient si bons qu'ils semblaient incompréhensibles. En l'étudiant, les internautes ont découvert son « secret ».
Les publications dans les grandes conférences en sont-elles arrivées à ce point ?
D'abord vérifier si le code est open-source, puis voir si la méthode expérimentale cache des « raccourcis douteux », et enfin, les résultats obtenus soutiennent-ils réellement les conclusions principales — après cet interrogatoire en plusieurs étapes, combien d'articles de grandes conférences résistent vraiment à l'examen ?
Et bien, certains l'ont fait.
Sur 105 articles, seuls 8 sont « valides »
En juillet de cette année, SAI, co-fondé par Chenhao Tan, professeur associé en informatique et science des données à l'Université de Chicago, a publié un « examen expérimental » à grande échelle.
Ils ont sélectionné les 168 articles « Oral » de l'ICML 2026.
Cette année, l'ICML a reçu 23 918 soumissions, et seuls 168 ont obtenu le statut Oral, soit environ 0,7 %.
En d'autres termes, SAI a examiné le niveau le plus élevé parmi plus de vingt mille soumissions.
En plus de lire les méthodes, la conception expérimentale et les résultats comme le feraient des examinateurs traditionnels, SAI Review télécharge également le code, les modèles et les données, configure l'environnement et exécute les expériences, avant de comparer point par point les résultats d'exécution avec l'article original.
SAI a examiné les 168 articles Oral. Seuls 104 articles avaient leur code en open source, et finalement 105 ont été entièrement reproduits.
Parmi eux, seuls 34 ont reproduit plus de 40 % des affirmations ; ceux avec un taux de reproduction supérieur à 80 % ne sont plus que 8.
Que chaque article contienne au moins 1, 3 ou 5 affirmations vérifiables, la médiane du score de reproductibilité reste stable entre 28 % et 30 %, la distribution globale ne variant guère.
Après exclusion des expériences non exécutées, interrompues prématurément ou dépassant les capacités matérielles, la médiane du score de reproduction n'est toujours que de 42 % à 50 % ; lorsqu'un article contient au moins 3 affirmations vérifiables, la médiane se stabilise à 42 %.
Les problèmes de reproductibilité les plus courants ont été rencontrés : code ne fonctionnant pas, fichiers manquants, documentation incomplète, dépendances corrompues, ou résultats du code ne correspondant pas à l'article.
Quatre articles dépendaient de modèles déjà retirés. Les chercheurs futurs, même prêts à dépenser argent et temps, ne pourront jamais reproduire les mêmes résultats.
SAI a également cité deux exemples plus concrets.
Un article présentait comme principal argument de vente « n'entraîner que 0,77 % des paramètres du modèle de base ». Les points de contrôle publiés montraient en réalité un entraînement de 6,31 % des paramètres, soit environ 8 fois le chiffre annoncé.
Un autre article présentait un tableau de fiabilité noté par un modèle arbitre, mais ce modèle arbitre était introuvable dans le code open source, et aucun script ne permettait de calculer les chiffres du tableau.
Articles de mauvaise qualité, récompenses élevées, risques faibles
Les résultats de reproduction de SAI sont pour le moins médiocres.
Pire encore, les problèmes détectés ici ne sont que ceux « pouvant potentiellement être détectés ».
Les articles sans code sont directement « invulnérables ».
Et même avec un code entièrement public, vérifier un article demande un investissement énorme en temps, en efforts et en argent, pour des résultats souvent décevants, ce qui est décourageant.
Selon l'estimation de SAI basée sur les prix publics à la demande de Google Cloud, le coût médian pour réexécuter entièrement un article Oral de l'ICML est d'environ 8 900 dollars. Parmi les 105 articles, 17 dépassent 100 000 dollars, le plus cher approchant les 2,2 millions de dollars.
Plus un article dépend d'une puissance de calcul massive, plus sa reproduction indépendante est difficile.
Sans code, les autres ne peuvent pas vérifier ; avec du code, le coût est souvent prohibitif.
Ainsi, un article problématique peut parfaitement passer l'examen par les pairs, obtenir des citations, figurer sur un CV, et ouvrir des portes vers des admissions en doctorat, des postes académiques ou des emplois dans de grands laboratoires.
Si quelqu'un découvre par hasard un résultat divergent, les conférences reconsidèrent rarement, et les articles sont rarement rétractés.
C'est ce qu'un commentaire appelle : « Faire de la mauvaise recherche est récompensé, avec presque aucun coût ».
Ne pas lire d'articles, mais recruter sur la base d'articles
Dans le domaine des grands modèles, de nombreuses avancées vraiment importantes ne prennent plus la forme d'articles.
En tant qu'ingénieur d'OpenAI, à la pointe de l'industrie, ce sentiment est compréhensible. Avec une puissance de calcul suffisante, des retours d'expérience rapides et de nombreux résultats internes non publics, ils ont la « suffisance » de ne pas lire d'articles.
Mais le dire ainsi est quelque peu délicat.
Un commentaire moque les employés des entreprises technologiques qui « retirent l'échelle après avoir grimpé » : ils recrutent des chercheurs dans le milieu académique, profitent des résultats accumulés et publiés, attirent les talents et les GPU avec des prix plus élevés, soumettent de moins en moins leurs propres travaux à l'examen par les pairs, et finalement déclarent que la recherche académique est « principalement une escroquerie ».
Un peu cynique, mais pas dénué de pertinence.
Ces personnes des laboratoires de pointe peuvent « ne pas lire d'articles », mais ceux qui veulent y entrer doivent d'abord en publier.
Pour les étudiants et jeunes chercheurs manquant d'expérience industrielle, les publications dans les grandes conférences restent la preuve la plus directe de leurs capacités de recherche.
Postuler en doctorat, chercher un poste académique, intégrer un laboratoire de pointe comme OpenAI, tout repose sur les articles pour attirer l'attention.
Les gens de l'industrie dédaignent les articles une fois dans les grands laboratoires, mais continuent à filtrer les candidats à l'entrée sur le nombre d'articles, le niveau des conférences et les citations.
L'article se retrouve donc dans une position inconfortable : sa crédibilité comme vecteur de connaissance est remise en cause, mais sa valeur dans la compétition pour les talents n'a pas diminué.
Donc, « les grands laboratoires ne lisent plus d'articles » sonne quelque peu hautain et arrogant. Parce que ceux qui ont vraiment le luxe de ne pas les lire ont souvent déjà franchi la porte grâce à eux.
Bien sûr, tous les étudiants ne sont pas des « méchants académiques » concoctant soigneusement des escroqueries.
Un chercheur universitaire plaisante en disant qu'il aimerait que ses étudiants soient déjà capables d'écrire un article exagéré, voire falsifié.
Certains s'efforcent de devenir des « escrocs académiques », tandis que d'autres se débattent encore avec LaTeX.
Références :
https://x.com/MathewShen42/status/2084465434506768867
https://x.com/kellerjordan0/status/2084721463089902074
https://sai.science/blog/how-much-science-is-verifiable
https://x.com/mengyer/status/2085134204786921886
Cet article provient du compte WeChat « Machine Heart » (ID : almosthuman2014), auteur : Machine Heart.
