À l'ère de l'Auto Research, 47 tâches sans réponse standard deviennent le tableau de référence obligatoire pour évaluer les capacités des Agents
À l'ère de la recherche automatique (Auto Research), 47 tâches sans réponse standard constituent désormais un banc d'essai obligé pour évaluer les capacités des agents IA. Le benchmark Frontier-Eng Bench, développé par le Navers lab d'Einsia AI, rompt avec l'approche traditionnelle des IA "mémorisantes". Il les confronte à un cycle d'ingénierie complet : proposer un plan, l'exécuter dans un simulateur, analyser les erreurs, ajuster les paramètres et recommencer.
Ces 47 défis multidisciplinaires, comme l'optimisation de la stabilité d'un robot sous-marin ou des limites de charge rapide d'une batterie, n'ont pas de solution parfaite mais exigent une optimisation continue. L'IA doit apprendre à naviguer entre des contraintes contradictoires (puissance, sécurité, performance) et à s'améliorer de manière itérative grâce au feedback, à l'image d'un ingénieur expérimenté.
Les résultats montrent que les progrès suivent une loi de décroissance : les gains sont rapides au début puis deviennent plus rares et plus faibles. La recherche révèle également que si l'exploration de plusieurs pistes en parallèle (largeur) est utile, la persévérance sur une voie prometteuse (profondeur) reste cruciale pour les percées.
Cette évolution esquisse un futur où les chercheurs humains définiraient les objectifs, tandis que des agents IA effectueraient des optimisations 24h/24 via des boucles de rétroaction avec des outils de simulation et d'ingénierie, marquant peut-être l'avènement de "l'ingénieur IA".
marsbit05/13 07:38
