Comment déterminer si l'intelligence artificielle est déjà assez intelligente pour mener des recherches scientifiques et réaliser des découvertes scientifiques de bout en bout de manière autonome ?
Les dernières recherches de l'Université des Sciences et Technologies de Chine font « prendre en main » par le « cerveau » de l'IA le « corps » du laboratoire du scientifique machine, faisant ainsi passer cette question de la simple interrogation des connaissances et de la génération de plans à l'exécution expérimentale et à l'apprentissage par feedback dans le monde physique réel.
Lien de l'article : https://arxiv.org/abs/2607.23045
L'équipe de recherche a construit un laboratoire de catalyse machine, comprenant 45 postes de travail automatisés modulaires couvrant la synthèse, la caractérisation et les tests de performance catalytique.
Pour permettre à l'IA de comprendre et d'utiliser les capacités du laboratoire, l'équipe de recherche a encapsulé ces capacités sous forme de compétences lisibles par la machine. L'agent d'IA peut directement faire appel au matériel expérimental via ces compétences, tout en étant soumis aux contraintes des capacités réelles des équipements, des procédures opérationnelles et des conditions expérimentales.
Figure 1. Architecture du laboratoire du scientifique machine compréhensible par l'IA pour la recherche en catalyse.
Figure 2. Cheminement de l'intention scientifique à l'exécution dans le laboratoire machine.
Stress test
Sur cette plateforme, l'équipe de recherche a réalisé une évaluation systématique de 48 configurations réelles, composées de 6 cadres d'agents intelligents et de 9 grands modèles de langage.
Les tests ont couvert 32 tâches de recherche définies par des experts du domaine, totalisant 4 608 cycles d'évaluation. L'évaluation n'a pas seulement examiné la capacité des agents à générer des plans expérimentaux, mais a également suivi si ces plans pouvaient être vérifiés et envoyés au système robotique, et si les flux de travail générés pouvaient être exécutés directement sans intervention humaine.
Les résultats brutaux de l'évaluation dans le monde réel
Les principaux agents basés sur les grands modèles de langage actuels sont encore loin de pouvoir « prendre le contrôle ». Sur les 4 608 tests, seulement 151 flux de travail ont pu être exécutés sans correction manuelle, soit 3,3 % du total. La combinaison Claude Code / Claude Opus 4.7, qui a obtenu les meilleurs résultats, a atteint un taux d'exécutabilité de 28,1 % ; la combinaison Codex / GPT 5.5 a atteint 19,8 %.
Savoir ajuster les paramètres n'est pas synonyme de savoir replanifier
La recherche a également examiné la capacité des agents à apprendre à partir des résultats expérimentaux réels. L'équipe a placé la combinaison Codex/GPT 5.5 dans un cycle en boucle ouverte de cinq tours, réalisant successivement la planification expérimentale, l'exécution robotique, l'acquisition de preuves et la replanification.
L'agent a pu ajuster les formulations de matériaux et les conditions opératoires en fonction des résultats expérimentaux retournés, mais ces ajustements sont principalement restés au niveau d'une optimisation locale des paramètres.
Au cours des cinq cycles, l'agent a toujours conservé la structure initiale du flux de travail, n'a pas redessiné les méthodes d'analyse et n'a pas corrigé certaines omissions critiques persistantes, telles que l'absence de liant d'électrode et de réactif chromogène pour des analytes spécifiques.
Les résultats montrent que la capacité à lire les retours d'expérience et à ajuster les paramètres n'équivaut pas à la capacité d'identifier les problèmes de la stratégie de recherche elle-même, et encore moins à une replanification au niveau scientifique.
Figure 3. Performances de l'agent d'IA à chaque étape : planification exécutable, vérification et envoi de tâches au laboratoire.
La planification à long terme reste un goulot d'étranglement
Bien que certains agents aient généré des flux de travail évalués comme exécutables par des experts et contenant jusqu'à 44 étapes opérationnelles, dans l'ensemble des tests, seuls 3 flux de travail dépassaient les 30 étapes. Cela indique qu'avec l'allongement de la chaîne de tâches, la capacité de l'agent à maintenir l'intégrité logique de l'expérience et la faisabilité physique reste confrontée à des défis significatifs.
Redéfinir les capacités scientifiques de l'IA
La recherche distingue ainsi trois capacités souvent confondues dans les discussions actuelles sur les « scientifiques IA » : premièrement, générer de manière fluide des plans expérimentaux ; deuxièmement, générer des flux de travail pouvant être réellement exécutés dans un laboratoire physique ; troisièmement, ajuster la stratégie de recherche globale en fonction des résultats expérimentaux.
Les résultats montrent que la capacité de planification au niveau du langage ne se traduit pas automatiquement en une capacité d'exécution expérimentale fiable, et que l'ajustement local des paramètres ne peut être directement considéré comme une replanification au niveau scientifique.
Du « terrain d'essai pour l'IA » au « terrain d'entraînement pour l'IA »
En tant qu'infrastructure de recherche intelligente pour l'IA pour la Science, le laboratoire machine peut à la fois servir de « terrain d'essai » pour évaluer les capacités scientifiques de l'IA, mais aussi de « terrain d'entraînement » pour favoriser son évolution continue. L'agent d'IA dialogue directement avec le laboratoire machine via des compétences lisibles par la machine, transformant l'intention scientifique en tâches exécutables, et recevant des retours réels de l'exécution machine, de l'état des instruments et des résultats expérimentaux.
La boucle « planification — exécution — feedback — replanification » ainsi formée peut non seulement révéler les lacunes de l'IA en termes de connaissances, d'opérations et de stratégie de recherche, mais aussi transformer les flux de travail réussis, les échecs, les résultats expérimentaux et les évaluations d'experts en données pour l'entraînement des modèles et l'alignement des agents, permettant une itération continue des modèles d'IA et de leurs systèmes d'agents.
Ainsi, le scientifique machine fournit des preuves quantifiables, reproductibles et vérifiables du monde physique pour répondre à la question « Comment déterminer si l'intelligence artificielle est déjà assez intelligente pour mener des recherches scientifiques ? », et pousse l'IA de la simple génération de plans expérimentaux vers une découverte scientifique autonome de bout en bout, couvrant la formulation du problème scientifique, la conception expérimentale, l'exécution robotique, l'analyse des données et la replanification fondée sur les preuves.
Figure 4. Cinq itérations de l'IA-scientifique machine sur une question scientifique ouverte.
Références : https://arxiv.org/abs/2607.23045
Cet article provient du compte WeChat public "新智元", auteur : 新智元 ; éditeur : LRST
