Закон масштабирования — панацея? Первый бенчмарк для операций с кристаллическими структурами, и ведущие большие модели терпят коллективный провал

Большие модели столкнулись с проблемами в задачах манипуляции атомами. Несмотря на способность анализировать знания о материалах, им трудно точно управлять атомной структурой. Исследование показывает, что Scaling Law имеет ограниченную эффективность в задачах пространственной логики, и подчеркивает, что AI for Science необходимо переходить к Action Scaling, чтобы повысить способности моделей в реальных научных операциях.

За последние годы самым успешным эмпирическим выводом в области больших моделей стал «Scaling Law (закон масштабирования)». Почти общепринятым в отрасли является мнение, что если модель достаточно большая, а данных достаточно много, способности будут непрерывно проявляться и даже автоматически обобщаться на неизвестные области.

Однако новый бенчмарк, выпущенный в материаловедении, привносит иной взгляд на этот оптимизм «силой пробить стены».

AtomWorld, совместно опубликованный Высшим институтом Сучжоу Китайского университета науки и технологий, Университетом Нового Южного Уэльса и другими учреждениями на ICML2026, с помощью серии реальных задач по манипуляции атомами приходит к выводу: Scaling Law, стабильно эффективный в сценариях понимания текста и обобщения знаний, при применении к практическим задачам манипуляции атомами, ограниченным физическими правилами, часто не достигает ожидаемых результатов.

Адрес статьи: https://arxiv.org/abs/2510.04704

Домашняя страница проекта: https://masterai-eam.github.io/atomworld/

Репозиторий кода: https://github.com/MasterAI-EAM/atomworld

Понимание не равно действию

В научной сфере большие модели уже продемонстрировали поразительную «способность к пониманию»: чтение литературы, прогнозирование свойств материалов, анализ кристаллических структур и даже научные открытия.

Например, Anthropic представила научную рабочую станцию Claude Science, разделяющую исследовательскую работу на поэтапно проверяемый конвейер, повысив эффективность в таких конкретных этапах, как написание обзоров, анализ генов, в 10 раз; GNoME от Google DeepMind использует графовые нейронные сети для прогнозирования стабильности неорганических кристаллов, создавая замкнутый цикл «генерация кандидатов → проверка DFT → возврат данных» и производя около 2,2 миллионов структур.

Это также сформировало в отрасли распространенное мнение — раз модели могут понимать знания о материалах, выполнение практических задач, таких как построение атомов или настройка структур, должно быть естественным.

Но реальные исследования в вычислительном материаловедении — это не простой выбор ответов. Научные будни наполнены высоко конкретными практическими инструкциями: построение (001) поверхности определенного материала, моделирование границ «реального мира»; замена атома в определенной точке решетки для легирования или модификации материала; внедрение нового атома в указанное междоузлие для проектирования каналов «накопления энергии» и «транспорта» и т.д.

Такие задачи предъявляют к моделям совершенно другие требования: способность к манипуляциям в трехмерном пространстве, соответствующая законам физики.

Для объективной количественной оценки этой способности исследовательская группа создала фреймворк оценки AtomWorld, основанный на общепринятой кристаллографической информации в области материаловедения для автоматизированного тестирования. Он не проверяет задачи распознавания материалов или теоретического анализа, а фокусируется исключительно на базовых задачах пространственных операций: может ли модель точно настраивать расположение атомов в соответствии с инструкцией?

Рис. 1: Схема процесса тестирования бенчмарка AtomWorld. Процесс генератора AtomWorld: 1. Случайный сэмплер извлекает предустановленные атомные структуры; 2. Случайный инициализатор настраивает параметры атомных номеров и позиций; 3. Вычисления оператора структуры дают целевую структуру; 4. Модуль генерации подсказок создает соответствующее описание на естественном языке. Полученные парные данные «структура-текст» передаются агенту большой модели, и с помощью инструмента StructureMatcher из pymatgen сравнивается структура, выведенная моделью, со стандартной целевой структурой для количественной оценки производительности модели.

Scaling Law сталкивается с границами возможностей

Рис. 2: Общая производительность различных моделей на AtomWorld. a, c — процент успеха; b, d — средняя геометрическая ошибка mean max_dist. Слева сравниваются различные основные модели, справа — модели Qwen разных размеров. Увеличение масштаба модели может улучшить выполнение части задач с четкими правилами, таких как замена, удаление и перемещение атомов; но при операциях, требующих трехмерного пространственного понимания и геометрического планирования, таких как вращение, удаление области, расширение суперячейки, улучшение нестабильно. Даже такие мощные универсальные модели, как Claude, показывают низкие результаты в задачах вроде «вращения вокруг атома».

Результаты AtomWorld указывают на то, что Scaling Law в задачах манипуляции атомами нельзя просто понимать как «чем больше модель, тем сильнее её способности».

Данное тестирование охватило основные модели, такие как Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, Gemini 2.5 Pro, Qwen3-32B, GPT o3, GPT-4o-mini, DeepSeek Chat, Llama3-70B и другие. Рисунок 2 показывает, что увеличение масштаба модели действительно может улучшить часть операций с четкими правилами, поддающихся шаблонизации, но при задачах, зависящих от трехмерных пространственных отношений, такое улучшение нестабильно.

Взяв серию Qwen в качестве примера, от 4B до 32B, процент успеха в таких задачах, как замена, удаление, перемещение атомов, значительно повышается, что указывает на ценность роста масштаба. Однако такое улучшение в основном сосредоточено на задачах с четкими правилами и относительно фиксированными путями решения и не может автоматически распространиться на все атомные операции.

Более сложные задачи выявляют очевидные ограничения. Типичный пример — «вращение вокруг атома»: не только разные модели Qwen показывают по нему постоянно низкие результаты, но даже такие мощные модели, как Claude Opus 4.6, достигают успеха лишь примерно в 12% случаев. Это говорит о том, что проблема не только в том, что какая-то модель недостаточно велика или сильна, а в том, что текущим универсальным большим моделям в целом не хватает стабильной способности к действиям в трехмерном пространстве.

Аналогично, такие задачи, как «удалить атом ниже», «расширить суперячейку», даже при замене на более крупные модели, выполняются нестабильно; геометрическая ошибка также не обязательно уменьшается с увеличением модели.

Таким образом, AtomWorld не просто отрицает Scaling Law, а указывает на границы его применимости: увеличение масштаба может принести частичное усиление способностей, но не может автоматически восполнить ключевые слабости в операциях в трехмерном физическом пространстве. Для моделирования материалов нельзя ставить знак равенства между способностью к языковым рассуждениям, запасом текстовых знаний и способностью к действиям на атомарном структурном уровне.

В этом смысле AtomWorld также указывает на новое направление: помимо стремления к масштабу параметров и текстовых данных, AI for Science также необходимо уделять внимание «Action Scaling».

То есть системно масштабировать генерацию данных о выполняемых действиях, декомпозицию примитивов действий, обратную связь от симулятора, проверку физических ограничений и корректировку вызова инструментов, чтобы модели становились сильнее не только в языке, но и в проверяемых научных действиях.

Новая гонка научных агентов

Основная ценность AtomWorld заключается не только в выявлении несостоятельности моделей, но и в декомпозиции расплывчатой проблемы «материаловедческий агент не умеет моделировать» в серию измеримых, отслеживаемых способностей к атомным операциям — от базовой замены элементов до определения пространственных областей и понимания непрерывной геометрии, поэтапно проясняя тип, степень несостоятельности и закономерности усиления от масштаба.

Это также проясняет причину, по которой простое увеличение параметров сложно применить на практике: существующий Scaling Law фокусируется на подгонке языка и знаний под огромные массивы текстовых данных, но пространственное понимание, геометрическое планирование и способность к действиям с учетом физических ограничений, необходимые для атомного моделирования материалов, крайне нуждаются в высококачественных парных обучающих образцах «инструкция по действию — изменение координат», которых в открытых данных почти нет, и сложно восполнить этот пробел лишь за счет расширения языкового масштаба.

Для решения проблемы слабых трехмерных операций больших моделей в отрасли обычно используют подключение специализированных библиотек инструментов, таких как pymatgen, чтобы компенсировать недостатки. Контрольное тестирование AtomWorld показывает, что внешние инструменты могут улучшить результаты только в таких задачах, как вставка атома, где требуются сильные вычисления координат, а в сложных сценариях, требующих определения атомных отношений или пространственных областей, улучшение весьма ограничено.

По сути, инструменты могут выдавать точные координаты, но не могут заменить модель в принятии ключевых решений, таких как «куда поместить атом» или «что относится к целевой области»; если сама модель лишена восприятия трехмерного пространства, инструменты лишь более точно исполнят ошибочное намерение, что в итоге приведет к результату «ошибка логики моделирования».

AtomWorld не отрицает напрямую Scaling Law, а напоминает научным агентам переосмыслить «что масштабировать». Language Scaling текстовых данных — это основа знаний, но для сильно ориентированных на действия задач, таких как моделирование материалов, больше необходимо Action Scaling, ориентированное на способность к действиям — превращение полного цикла «действие → обратная связь → исправление» в объект, доступный для масштабируемого обучения.

Истинный смысл AtomWorld как раз в том, чтобы через автоматическую генерацию задач, стандартных структур и соответствия обратной связи обеспечить основу для данных о действиях и замкнутого цикла обучения в моделировании материалов, продвигая AI for Science от стремления к более крупным универсальным моделям к итеративному развитию реальной способности к действиям в проверяемых научных операциях.

Заключение

AtomWorld — это не просто стандартизированный бенчмарк для оценки, а скорее обзорный прибор, наглядно демонстрирующий ключевую проблему в текущем развитии AI for Science: то, что большие модели могут объяснять структуру и свойства материалов, не означает, что они уже могут надежно изменять структуру материалов; то, что они могут читать периодическую таблицу элементов, не означает, что они могут стабильно выполнять атомарную операцию в трехмерном пространстве.

Эта проблема не ограничивается моделированием материалов. Настоящие научные исследования никогда не являются чисто текстовой работой, а состоят из серии действий: выдвижение гипотез, планирование экспериментов, вызов инструментов, настройка параметров, наблюдение за результатами, поиск ошибок и постоянная корректировка. Будь то моделирование материалов, дизайн молекул, автоматизированные эксперименты или более широкие процессы научных открытий, если ИИ хочет по-настоящему участвовать в научных исследованиях, он не может только «объяснять знания», но также должен научиться «выполнять действия».

Таким образом, AtomWorld напоминает нам о необходимости заново понять границы применимости Scaling Law в научных сценариях: Language Scaling на основе сетевых текстовых данных по-прежнему важен, но это лишь отправная точка.

В будущем AI for Science больше будет нуждаться в Action Scaling, ориентированном на способность к действиям, позволяя моделям обучаться выполнению реальных научных задач через исполняемые задания, вызов инструментов, обратную связь от среды и физическую проверку.

Только когда модель одновременно обладает способностью понимать знания и способностью действовать, научный агент сможет превратиться из энциклопедии, «умеющей отвечать на вопросы», в лабораторного помощника, «способного выполнять задачи».

Источники:

https://arxiv.org/abs/2510.04704

Эта статья взята из публичного аккаунта WeChat «新智元», автор: LRST