Derrière le bulletin de notes de l'IA, se cache un « examinateur » chinois
À chaque publication d'un modèle d'IA de pointe, l'attention se porte sur des "bulletins de notes" bien connus comme MMLU-Pro, MMMU et MMMU-Pro. Ces benchmarks sont devenus les épreuves standard pour évaluer et comparer les capacités des grands modèles de langage et multimodaux. Derrière ces outils d'évaluation influents se trouve Chen Wenhu, professeur assistant à l'Université de Waterloo.
Face à l'obsolescence d'anciens benchmarks comme le MMLU original, où les modèles atteignaient des scores quasi parfaits, Chen et son équipe ont créé MMLU-Pro. Cette nouvelle "feuille d'examen", plus difficile avec plus de choix et des questions nécessitant un raisonnement, permet de mieux différencier les performances des modèles.
Dans le domaine multimodal, leur benchmark MMMU, et sa version améliorée MMMU-Pro, évaluent la capacité des modèles à comprendre et raisonner à partir d'informations complexes combinant texte, images, tableaux, etc., comme dans des problèmes universitaires.
Chen, dont les recherches portent sur la compréhension d'informations complexes, a travaillé chez Google DeepMind sur Gemini avant de fonder le TIGERLab. Son équipe développe également des modèles (comme UniVideo pour la vidéo), une expérience qui l'aide à concevoir de meilleures évaluations. Il travaille désormais au sein du laboratoire Superintelligence de Meta sur les données et l'évaluation multimodales.
Son parcours illustre le rôle crucial, bien que moins médiatisé, des chercheurs qui conçoivent les outils permettant de mesurer objectivement les progrès de l'IA.
marsbit06/19 09:22
