Scaling Law có phải là một phương pháp vạn năng? Tiêu chuẩn đánh giá đầu tiên về thao tác cấu trúc tinh thể, các mô hình lớn hàng đầu đều gặp thất bại

Các mô hình lớn (Large Models) gặp phải nút thắt trong nhiệm vụ thao tác nguyên tử. Mặc dù có thể phân tích kiến thức vật liệu, nhưng lại khó khăn trong việc điều khiển chính xác cấu trúc nguyên tử. Nghiên cứu chỉ ra rằng Scaling Law có hiệu quả hạn chế trong các nhiệm vụ logic không gian, nhấn mạnh rằng AI for Science cần chuyển hướng sang Action Scaling để nâng cao khả năng của mô hình trong các thao tác nghiên cứu thực tế.

Trong vài năm qua, kinh nghiệm thành công nhất trong lĩnh vực mô hình lớn có lẽ là "Scaling Law (Định luật Mở rộng Quy mô)". Một nhận thức gần như được ngành công nghiệp thừa nhận rằng: chỉ cần mô hình đủ lớn, dữ liệu đủ nhiều, năng lực sẽ liên tục xuất hiện, thậm chí tự động tổng quát hóa sang các lĩnh vực chưa biết.

Nhưng một bài kiểm tra chuẩn mực mới nhất trong khoa học vật liệu đã mang đến một góc nhìn khác cho sự lạc quan "mạnh tay sinh ra kỳ tích" này.

AtomWorld, được công bố tại ICML2026 bởi Viện Nghiên cứu Cao cấp Tô Châu của Đại học Khoa học và Công nghệ Trung Quốc, Đại học New South Wales và các tổ chức khác, thông qua một loạt nhiệm vụ thao tác nguyên tử thực tế đã kết luận: Scaling Law, vốn thể hiện ổn định và hiệu quả trong các tình huống như hiểu văn bản, quy nạp kiến thức, lại thường không đạt được hiệu quả mong đợi khi áp dụng vào các nhiệm vụ thao tác nguyên tử thực tế bị ràng buộc bởi các quy tắc vật lý.

Địa chỉ bài báo: https://arxiv.org/abs/2510.04704

Trang chủ dự án: https://masterai-eam.github.io/atomworld/

Kho mã nguồn: https://github.com/MasterAI-EAM/atomworld

Hiểu không bằng Thao tác

Trong lĩnh vực khoa học, các mô hình lớn đã thể hiện khả năng "hiểu biết" đáng kinh ngạc: đọc hiểu tài liệu, dự đoán tính chất vật liệu, phân tích cấu trúc tinh thể, thậm chí là khám phá khoa học.

Ví dụ, Anthropic ra mắt bàn làm việc nghiên cứu khoa học AI Claude Science, chia nhỏ nghiên cứu thành một dây chuyền có thể kiểm tra từng bước, nâng cao hiệu suất lên 10 lần ở các khâu cụ thể như viết tổng quan, phân tích gen; GNoME của Google DeepMind sử dụng mạng nơ-ron đồ thị để dự đoán độ ổn định của tinh thể vô cơ, tạo ra khoảng 2.2 triệu cấu trúc thông qua vòng lặp khép kín "sinh ứng viên → xác minh DFT → dữ liệu phản hồi".

Điều này cũng hình thành một nhận thức phổ biến trong ngành - nếu mô hình có thể hiểu kiến thức liên quan đến vật liệu, thì việc hoàn thành các nhiệm vụ thao tác thực tế như xây dựng nguyên tử, điều chỉnh cấu trúc hẳn là điều đương nhiên.

Nhưng nghiên cứu tính toán vật liệu thực tế không phải là trả lời câu hỏi trắc nghiệm đơn giản. Công việc nghiên cứu hàng ngày tràn ngập các chỉ dẫn thao tác cụ thể hóa cao: xây dựng bề mặt (001) của vật liệu cụ thể, mô phỏng ranh giới "thế giới thực"; thay thế nguyên tử tại vị trí đặc biệt trong mạng tinh thể để pha tạp hoặc cải thiện vật liệu; nhúng nguyên tử mới vào vị trí khe hở chỉ định, thiết kế kênh "lưu trữ năng lượng" và "vận chuyển", v.v.

Loại nhiệm vụ này đặt ra yêu cầu năng lực hoàn toàn khác cho mô hình: khả năng điều khiển không gian ba chiều tuân theo các định luật vật lý.

Để định lượng khách quan năng lực này, nhóm nghiên cứu đã xây dựng khung đánh giá AtomWorld, dựa trên thông tin tinh thể học phổ biến trong lĩnh vực vật liệu để thực hiện đánh giá tự động. Nó không kiểm tra các câu hỏi loại nhận dạng vật liệu, phân biệt lý thuyết, mà chỉ tập trung vào các nhiệm vụ thao tác không gian cơ bản: mô hình có thể điều chỉnh chính xác sự sắp xếp nguyên tử theo chỉ dẫn không?

Hình 1: Sơ đồ quy trình kiểm tra chuẩn AtomWorld. Quy trình bộ tạo AtomWorld: 1. Bộ lấy mẫu ngẫu nhiên gọi cấu trúc nguyên tử được thiết lập trước; 2. Bộ khởi tạo ngẫu nhiên cấu hình số hiệu nguyên tử, tham số vị trí; 3. Toán tử cấu trúc tính toán để có cấu trúc mục tiêu; 4. Mô-đun gợi ý tạo ra mô tả ngôn ngữ tự nhiên tương ứng. Dữ liệu ghép cặp cấu trúc - văn bản đầu ra được đưa vào tác nhân thông minh mô hình lớn, thông qua công cụ StructureMatcher của pymatgen so sánh cấu trúc đầu ra của mô hình với cấu trúc mục tiêu tiêu chuẩn, đánh giá định lượng hiệu suất mô hình.

Scaling Law gặp phải ranh giới năng lực

Hình 2: Biểu hiện tổng thể của các mô hình khác nhau trên AtomWorld. a, c là tỷ lệ thành công; b, d là sai số hình học mean max_dist. Bên trái so sánh các mô hình chính khác nhau, bên phải so sánh các mô hình Qwen kích thước khác nhau. Mở rộng quy mô mô hình có thể nâng cao một số nhiệm vụ có quy tắc rõ ràng, ví dụ: thay thế, xóa và di chuyển nguyên tử; nhưng đối với các thao tác như xoay, xóa khu vực, mở rộng siêu ô mạng cần hiểu không gian ba chiều và quy hoạch hình học, sự cải thiện không ổn định. Ngay cả các mô hình mạnh thông dụng như Claude, cũng thể hiện kém trong các nhiệm vụ như "xoay quanh nguyên tử".

Kết quả từ AtomWorld gợi ý rằng Scaling Law trong nhiệm vụ thao tác nguyên tử không thể đơn giản hiểu là "mô hình càng lớn, năng lực càng mạnh".

Lần kiểm tra này bao phủ các mô hình chính như Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, Gemini 2.5 Pro, Qwen3-32B, GPT o3, GPT-4o-mini, DeepSeek Chat, Llama3-70B. Hình 2 cho thấy, việc mở rộng quy mô mô hình thực sự có thể cải thiện một phần các thao tác có quy tắc rõ ràng, có thể mẫu hóa, nhưng đối với các nhiệm vụ phụ thuộc vào mối quan hệ không gian ba chiều, sự cải thiện này không ổn định.

Lấy dòng Qwen làm ví dụ, từ 4B đến 32B, tỷ lệ thành công của các nhiệm vụ như thay thế, loại bỏ, di chuyển nguyên tử được cải thiện rõ rệt, cho thấy sự tăng trưởng quy mô vẫn có giá trị. Nhưng sự cải thiện này chủ yếu tập trung vào các nhiệm vụ có quy tắc rõ ràng, đường đi tương đối cố định, không thể tự động chuyển sang tất cả các thao tác nguyên tử.

Các nhiệm vụ đầy thách thức hơn đã lộ ra điểm tắc nghẽn rõ ràng. Ví dụ điển hình là "xoay quanh nguyên tử": nó không chỉ luôn thể hiện thấp trên các mô hình Qwen kích thước khác nhau, mà ngay cả trên các mô hình mạnh như Claude Opus 4.6 cũng chỉ có tỷ lệ thành công khoảng 12%. Điều này cho thấy vấn đề không chỉ là một mô hình nào đó không đủ lớn, không đủ mạnh, mà là các mô hình lớn thông dụng hiện tại phổ biến thiếu năng lực hành động không gian ba chiều ổn định.

Tương tự, các nhiệm vụ như "xóa nguyên tử phía dưới", "mở rộng siêu ô mạng" ngay cả khi chuyển sang mô hình lớn hơn, hiệu quả hoàn thành vẫn không ổn định; sai số hình học cũng không nhất thiết giảm khi mô hình lớn hơn.

Vì vậy, AtomWorld không đơn giản phủ nhận Scaling Law, mà chỉ ra phạm vi áp dụng của nó: mở rộng quy mô có thể mang lại lợi ích cho một phần năng lực, nhưng không thể tự động bù đắp những điểm yếu cốt lõi trong thao tác không gian vật lý ba chiều. Đối với mô hình hóa vật liệu, năng lực suy luận ngôn ngữ, dự trữ kiến thức văn bản và năng lực hành động cấu trúc cấp nguyên tử không thể đánh đồng trực tiếp.

Từ ý nghĩa này, AtomWorld cũng gợi ý một hướng đi mới: ngoài việc theo đuổi quy mô tham số và quy mô dữ liệu văn bản, AI for Science cần quan tâm đến "Action Scaling".

Tức là quy mô hóa một cách hệ thống việc tạo dữ liệu hành động có thể thực thi, phân tách nguyên tố hành động cơ bản, phản hồi mô phỏng, xác minh ràng buộc vật lý và sửa lỗi gọi công cụ, để mô hình không chỉ mạnh lên về ngôn ngữ, mà còn mạnh lên trong các hành động nghiên cứu có thể kiểm chứng.

Đường đua mới cho Tác nhân Thông minh Nghiên cứu

Giá trị cốt lõi của AtomWorld, không chỉ dừng lại ở việc định vị sự thất bại của mô hình, mà còn ở chỗ biến điểm đau mơ hồ "tác nhân thông minh vật liệu không biết mô hình hóa" thành một loạt năng lực thao tác nguyên tử có thể đo lường, theo dõi - từ thay thế nguyên tố cơ bản đến phán định khu vực không gian, rồi đến hiểu hình học liên tục, làm rõ từng lớp loại thất bại, mức độ và quy luật tăng lợi ích theo quy mô.

Điều này cũng chỉ ra căn nguyên khó áp dụng của việc chỉ mở rộng tham số: Scaling Law hiện tại tập trung vào việc khớp ngôn ngữ và kiến thức từ kho ngữ liệu văn bản khổng lồ, nhưng năng lực hành động hiểu không gian, quy hoạch hình học và ràng buộc vật lý mà mô hình hóa nguyên tử vật liệu cần, lại cực kỳ thiếu các mẫu huấn luyện ghép cặp chất lượng cao "chỉ dẫn thao tác - thay đổi tọa độ" trong dữ liệu công khai, rất khó chỉ dựa vào việc mở rộng quy mô ngôn ngữ để tự nhiên bù đắp.

Để giải quyết vấn đề thao tác ba chiều yếu của mô hình lớn, ngành công nghiệp thường bù điểm yếu bằng cách kết nối với các thư viện công cụ chuyên nghiệp như pymatgen. Kiểm tra đối chiếu của AtomWorld cho thấy, công cụ ngoại chỉ có thể cải thiện hiệu quả của các nhiệm vụ loại tính toán tọa độ mạnh như chèn nguyên tử, nhưng đối với các tình huống phức tạp cần phân biệt quan hệ nguyên tử, khu vực không gian, sự cải thiện rất hạn chế.

Về bản chất, công cụ chỉ có thể xuất tọa độ chính xác, nhưng không thể thay thế mô hình đưa ra các quyết định cốt lõi như "nguyên tử nên đặt ở đâu", "những nguyên tử nào thuộc khu vực mục tiêu"; nếu bản thân mô hình thiếu nhận thức không gian ba chiều, công cụ chỉ sẽ thực thi ý định sai lầm một cách chính xác hơn, cuối cùng thu được kết quả "sai logic mô hình hóa".

AtomWorld không trực tiếp phủ nhận Scaling Law, mà nhắc nhở tác nhân thông minh khoa học suy nghĩ lại "nên mở rộng cái gì". Language Scaling dựa trên ngữ liệu văn bản là nền tảng kiến thức, nhưng các nhiệm vụ thao tác mạnh như mô hình hóa vật liệu, cần Action Scaling hướng đến năng lực hành động hơn - biến toàn bộ quy trình "hành động - phản hồi - sửa lỗi" thành đối tượng có thể học tập quy mô hóa.

Ý nghĩa thực sự của AtomWorld chính là thông qua việc tự động tạo nhiệm vụ, cấu trúc tiêu chuẩn và phản hồi khớp, cung cấp nền tảng cho dữ liệu hành động và vòng lặp huấn luyện mô hình hóa vật liệu, thúc đẩy AI for Science từ việc theo đuổi mô hình thông dụng lớn hơn, chuyển hướng sang lặp lại năng lực hành động thực tế trong các thao tác khoa học có thể kiểm chứng.

Kết luận

AtomWorld không chỉ là một bộ tiêu chuẩn đánh giá chuẩn hóa, mà giống như một tấm gương quan sát, thể hiện trực quan vấn đề then chốt trong sự phát triển của AI for Science hiện tại: mô hình lớn có thể giải thích cấu trúc tính chất vật liệu, không có nghĩa là nó đã có thể sửa đổi đáng tin cậy cấu trúc vật liệu; có thể đọc hiểu bảng tuần hoàn nguyên tố, không có nghĩa là nó có thể thực hiện ổn định một thao tác cấp nguyên tử trong không gian ba chiều.

Vấn đề này không chỉ giới hạn trong mô hình hóa vật liệu. Nghiên cứu khoa học thực sự chưa bao giờ là công việc thuần văn bản, mà được cấu thành bởi một loạt hành động như đưa ra giả thuyết, thiết kế thí nghiệm, gọi công cụ, điều chỉnh tham số, quan sát kết quả, kiểm tra lỗi và sửa chữa liên tục. Cho dù là mô hình hóa vật liệu, thiết kế phân tử, thí nghiệm tự động hóa, hay quy trình khám phá khoa học rộng hơn, nếu AI muốn thực sự tham gia nghiên cứu khoa học, thì không thể chỉ biết "giải thích kiến thức", mà còn phải học cách "thực thi hành động".

Vì vậy, AtomWorld nhắc nhở chúng ta hiểu lại phạm vi áp dụng của Scaling Law trong các tình huống khoa học: Language Scaling dựa trên ngữ liệu văn bản mạng vẫn quan trọng, nhưng nó chỉ là điểm khởi đầu.

Tương lai AI for Science cần Action Scaling hướng đến năng lực hành động hơn, để mô hình học cách hoàn thành nhiệm vụ nghiên cứu thực tế trong các nhiệm vụ có thể thực thi, gọi công cụ, phản hồi môi trường và xác minh vật lý.

Chỉ khi mô hình đồng thời có năng lực hiểu biết kiến thức và năng lực hành động, tác nhân thông minh khoa học mới có thể từ bách khoa toàn thư "biết trả lời câu hỏi" tiến đến trợ lý thí nghiệm "có thể hoàn thành nhiệm vụ".

Tài liệu tham khảo:

https://arxiv.org/abs/2510.04704

Bài viết này đến từ tài khoản WeChat công chúng "新智元 (Tân Trí Nguyên)", tác giả: LRST