Scaling Law n'est pas une panacée ? Le premier benchmark sur la manipulation de structures cristallines fait trébucher les grands modèles de pointe
Une nouvelle étude met en lumière les limites des grands modèles linguistiques dans les tâches concrètes de manipulation atomique pour la science des matériaux. La recherche, présentée par AtomWorld, un cadre d'évaluation publié à l'ICML 2026, révèle que le « Scaling Law », principe selon lequel la performance s'améliore avec la taille du modèle et des données, rencontre des limites significatives face à des opérations nécessitant une compréhension précise des contraintes physiques et de l'espace tridimensionnel.
Les modèles testés, dont Claude Opus, GPT-5.4, Gemini et Qwen, montrent des difficultés notables pour des tâches comme la rotation autour d'un atome, la suppression d'atomes dans une zone spécifique ou l'extension de super-cellules. Bien que l'augmentation de l'échelle améliore les opérations simples et bien définies (remplacement, suppression), elle ne garantit pas une meilleure performance pour les actions complexes de raisonnement géométrique.
L'étude souligne une distinction cruciale : comprendre les connaissances textuelles sur les matériaux est différent de la capacité à exécuter des actions précises dans l'espace 3D. Elle propose un changement de paradigme : au-delà du « Language Scaling » (agrandissement basé sur le texte), le domaine « AI for Science » a besoin d'un « Action Scaling », c'est-à-dire d'augmenter systématiquement la capacité des modèles à apprendre à partir de données d'action, de retours d'environnement et de contraintes physiques vérifiables.
AtomWorld sert ainsi de référence pour mesurer et développer les capacités d'action des futurs agents d'intelligence artificielle scientifiques, qui devront non seulement expliquer mais aussi exécuter des tâches de recherche réelles.
marsbit07/15 04:05
