Scaling Law n'est pas une panacée ? Le premier benchmark sur la manipulation de structures cristallines fait trébucher les grands modèles de pointe

Les grands modèles de langage rencontrent des limites dans les tâches de manipulation atomique. Bien qu'ils puissent analyser les connaissances en science des matériaux, ils ont du mal à manipuler avec précision les structures atomiques. La recherche indique que le Scaling Law a une efficacité limitée dans les tâches de logique spatiale, soulignant que l'IA pour la Science doit se tourner vers le "Action Scaling" pour améliorer la capacité des modèles dans les opérations de recherche réelles.

Ces dernières années, la leçon la plus marquante dans le domaine des grands modèles de langage est sans doute le « Scaling Law » (loi d'échelle). Un consensus presque universellement accepté par l'industrie est que tant que le modèle est suffisamment grand et les données suffisamment nombreuses, les capacités continueront d'émerger, voire de se généraliser automatiquement à des domaines inconnus.

Mais un nouveau benchmark publié en science des matériaux apporte une perspective différente à cet optimisme du « la force brute crée des miracles ».

Le benchmark AtomWorld, publié conjointement par l'Institut supérieur de recherche de l'USTC à Suzhou, l'Université de Nouvelle-Galles du Sud et d'autres institutions à l'ICML2026, conclut, à travers une série de tâches réelles de manipulation atomique : le Scaling Law, stable et efficace dans des scénarios tels que la compréhension de texte et l'induction de connaissances, n'atteint souvent pas les résultats escomptés lorsqu'il est appliqué à des tâches pratiques de manipulation atomique contraintes par des règles physiques.

Lien de l'article : https://arxiv.org/abs/2510.04704

Page du projet : https://masterai-eam.github.io/atomworld/

Dépôt de code : https://github.com/MasterAI-EAM/atomworld

Comprendre n'est pas égal à opérer

Dans le domaine scientifique, les grands modèles de langage ont déjà montré une capacité de « compréhension » étonnante : lire la littérature, prédire les propriétés des matériaux, analyser les structures cristallines, voire même faire des découvertes scientifiques.

Par exemple, Anthropic a lancé la plateforme de recherche scientifique Claude Science, qui décompose la recherche en un pipeline pouvant être audité étape par étape, améliorant l'efficacité de certaines étapes spécifiques comme la rédaction de revues ou l'analyse génétique jusqu'à 10 fois ; Le GNoME de Google DeepMind utilise des réseaux de neurones graphiques pour prédire la stabilité des cristaux inorganiques, produisant environ 2,2 millions de structures grâce à une boucle « génération de candidats → validation DFT → réinjection des données ».

Cela a également conduit à une perception répandue dans l'industrie – puisque les modèles peuvent comprendre les connaissances liées aux matériaux, il semble logique qu'ils puissent accomplir des tâches pratiques comme la construction atomique ou l'ajustement structurel.

Mais la recherche réelle en modélisation des matériaux n'est pas un simple QCM. Le quotidien de la recherche est rempli d'instructions pratiques hautement concrètes : construire la surface (001) d'un matériau spécifique, simuler une limite du « monde réel » ; remplacer un atome à un site spécifique du réseau pour doper ou modifier un matériau ; insérer un nouvel atome dans une position interstitielle spécifiée, concevoir des canaux de « stockage d'énergie » ou de « transport », etc.

Ce type de tâches impose des exigences de capacités complètement différentes au modèle : la capacité à manipuler un espace tridimensionnel conforme aux lois physiques.

Pour quantifier objectivement cette capacité, l'équipe de recherche a construit le cadre d'évaluation AtomWorld, qui s'appuie sur les informations cristallographiques universelles du domaine des matériaux pour une évaluation automatisée. Il n'évalue pas des questions de type identification de matériaux ou analyse théorique, mais se concentre uniquement sur les tâches fondamentales de manipulation spatiale : le modèle peut-il ajuster précisément l'arrangement atomique selon les instructions ?

Figure 1 : Diagramme schématique du processus du benchmark AtomWorld. Processus du générateur AtomWorld : 1. Un échantillonneur aléatoire récupère des structures atomiques prédéfinies ; 2. Un initialiseur aléatoire configure les indices atomiques, les paramètres de position ; 3. Les opérateurs structurels calculent pour obtenir la structure cible ; 4. Le module de prompts génère la description en langage naturel correspondante. Les paires de données structure-texte produites sont envoyées à l'agent de grand modèle, et les structures de sortie du modèle sont comparées aux structures cibles standard à l'aide de l'outil StructureMatcher de pymatgen, permettant une évaluation quantitative des performances du modèle.

Le Scaling Law rencontre ses limites

Figure 2 : Performance globale des différents modèles sur AtomWorld. a, c représentent le taux de réussite ; b, d représentent l'erreur géométrique mean max_dist. La partie gauche compare différents modèles grand public, la partie droite compare différentes tailles du modèle Qwen. L'augmentation de la taille du modèle peut améliorer certaines tâches aux règles claires, comme le remplacement, la suppression et le déplacement d'atomes ; mais face à des opérations nécessitant une compréhension spatiale 3D et une planification géométrique, comme la rotation, la suppression de régions ou l'expansion de supercellules, l'amélioration n'est pas stable. Même des modèles généraux puissants comme Claude ont des performances médiocres sur des tâches comme la « rotation autour d'un atome ».

Les résultats d'AtomWorld suggèrent que le Scaling Law ne peut pas être simplement interprété comme « plus le modèle est grand, plus il est capable » pour les tâches de manipulation atomique.

Ce test a couvert les principaux modèles Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, Gemini 2.5 Pro, Qwen3-32B, GPT o3, GPT-4o-mini, DeepSeek Chat, Llama3-70B, etc. La Figure 2 montre que l'augmentation de la taille des modèles améliore effectivement certaines opérations aux règles claires et pouvant être modélisées, mais face à des tâches dépendant de relations spatiales tridimensionnelles, cette amélioration n'est pas stable.

Prenant la série Qwen comme exemple, de 4B à 32B, le taux de réussite des tâches de remplacement, retrait et déplacement d'atomes s'améliore nettement, indiquant que la croissance de taille a toujours de la valeur. Mais cette amélioration se concentre principalement sur des tâches aux règles explicites et au chemin relativement fixe, et ne se transfère pas automatiquement à toutes les manipulations atomiques.

Les tâches plus difficiles révèlent des limites évidentes. Un exemple typique est la « rotation autour d'un atome » : non seulement elle présente toujours de faibles performances sur les modèles Qwen de différentes tailles, mais même sur un modèle puissant comme Claude Opus 4.6, le taux de réussite n'est que d'environ 12%. Cela indique que le problème n'est pas seulement qu'un modèle n'est pas assez grand ou assez puissant, mais que les grands modèles généraux actuels manquent généralement d'une capacité d'action stable dans l'espace tridimensionnel.

De même, des tâches comme « supprimer l'atome en dessous » ou « étendre la supercellule » restent instables même avec des modèles plus grands ; l'erreur géométrique ne diminue pas non plus nécessairement avec l'augmentation de la taille du modèle.

Par conséquent, AtomWorld ne nie pas simplement le Scaling Law, mais souligne son champ d'application limite : l'augmentation de taille peut apporter des gains partiels de capacité, mais ne peut pas combler automatiquement les lacunes essentielles dans les opérations de manipulation spatiale physique 3D. Pour la modélisation des matériaux, les capacités de raisonnement linguistique, les réserves de connaissances textuelles et les capacités d'action au niveau atomique ne peuvent pas être directement mises sur un pied d'égalité.

En ce sens, AtomWorld suggère également une nouvelle direction : outre la poursuite de l'échelle des paramètres et des données textuelles, l'IA pour la Science doit également s'intéresser au « Action Scaling ».

C'est-à-dire systématiquement mettre à l'échelle la génération de données d'actions exécutables, la décomposition en primitives d'action, la rétroaction des simulateurs, la validation des contraintes physiques et la correction par appel d'outils, afin que le modèle devienne plus fort non seulement en langage, mais aussi dans les actions de recherche vérifiables.

Une nouvelle piste pour les agents de recherche scientifique

La valeur fondamentale d'AtomWorld ne se limite pas à identifier les échecs des modèles, mais aussi à décomposer la douleur floue « l'agent de matériaux ne sait pas modéliser » en une série de capacités de manipulation atomique mesurables et traçables – du remplacement d'éléments de base à la détermination de régions spatiales, en passant par la compréhension géométrique continue, clarifiant ainsi couche par couche le type, le degré d'échec et les lois de gain liées à l'échelle.

Cela met également en lumière la difficulté de la simple augmentation de paramètres pour une mise en œuvre pratique : le Scaling Law actuel se concentre sur l'ajustement linguistique et des connaissances à partir d'immenses corpus textuels, mais la capacité de compréhension spatiale, de planification géométrique et d'action sous contraintes physiques nécessaire à la modélisation atomique des matériaux manque cruellement, dans les données publiques, d'échantillons d'entraînement de haute qualité appariés « instruction opérationnelle – changement de coordonnées », difficiles à combler uniquement par l'expansion de l'échelle linguistique.

Face à la faiblesse des grands modèles en manipulation 3D, l'industrie comble généralement cette lacune en les connectant à des bibliothèques d'outils spécialisées comme pymatgen. Les tests comparatifs d'AtomWorld montrent que les outils externes ne peuvent améliorer que les tâches fortement dépendantes du calcul de coordonnées, comme l'insertion d'atomes ; face à des scénarios complexes nécessitant de discriminer les relations atomiques ou les régions spatiales, l'amélioration est très limitée.

Fondamentalement, les outils ne peuvent produire que des coordonnées précises, mais ne peuvent remplacer le modèle dans les décisions clés du type « où placer l'atome », « quels atomes appartiennent à la région cible » ; si le modèle lui-même manque de perception spatiale tridimensionnelle, l'outil exécutera simplement l'intention erronée avec plus de précision, aboutissant finalement à un résultat d'« erreur logique de modélisation ».

AtomWorld ne nie pas directement le Scaling Law, mais invite les agents scientifiques à reconsidérer « ce qu'il faut mettre à l'échelle ». Le Language Scaling des corpus textuels est une base de connaissances, mais les tâches à forte composante opérationnelle comme la modélisation des matériaux nécessitent davantage un Action Scaling orienté vers les capacités d'action – transformer le processus complet « action – rétroaction – correction » en objet d'apprentissage pouvant être mis à l'échelle.

La véritable signification d'AtomWorld est précisément, en générant automatiquement des tâches, des structures standard et une rétroaction de correspondance, de fournir une base pour les données d'action et la boucle d'entraînement de la modélisation des matériaux, poussant l'IA pour la Science à passer de la poursuite de modèles généraux plus grands à l'itération de véritables capacités d'action dans des opérations scientifiques vérifiables.

Conclusion

AtomWorld n'est pas seulement un benchmark d'évaluation standardisé, il ressemble plus à un miroir d'observation, montrant clairement un problème clé dans le développement actuel de l'IA pour la Science : le fait qu'un grand modèle puisse expliquer la structure et les propriétés d'un matériau ne signifie pas qu'il peut déjà modifier de manière fiable la structure d'un matériau ; le fait qu'il puisse lire le tableau périodique des éléments ne signifie pas qu'il peut exécuter de manière stable une manipulation atomique dans un espace tridimensionnel.

Ce problème ne se limite pas à la modélisation des matériaux. La véritable recherche scientifique n'a jamais été un travail purement textuel, mais est constituée d'une série d'actions telles que formuler des hypothèses, concevoir des expériences, appeler des outils, ajuster des paramètres, observer des résultats, identifier des erreurs et procéder à des corrections continues. Qu'il s'agisse de la modélisation de matériaux, de la conception moléculaire, de l'expérimentation automatisée, ou des processus de découverte scientifique plus larges, si l'IA veut vraiment participer à la recherche, elle ne peut pas se contenter de « expliquer les connaissances », elle doit aussi apprendre à « exécuter des actions ».

Par conséquent, AtomWorld nous rappelle de réévaluer la portée du Scaling Law dans les scénarios scientifiques : le Language Scaling basé sur des corpus textuels du web reste important, mais ce n'est qu'un point de départ.

À l'avenir, l'IA pour la Science aura encore plus besoin d'un Action Scaling orienté vers les capacités d'action, permettant aux modèles d'apprendre, à travers des tâches exécutables, l'appel d'outils, la rétroaction de l'environnement et la validation physique, comment accomplir de véritables tâches de recherche.

Ce n'est que lorsque les modèles posséderont simultanément des capacités de compréhension des connaissances et des capacités d'action que les agents scientifiques pourront potentiellement passer d'une encyclopédie « capable de répondre aux questions » à un assistant expérimental « capable d'accomplir des tâches ».

Références :

https://arxiv.org/abs/2510.04704

Cet article provient du compte WeChat officiel « 新智元 », auteur : LRST