Scaling Law có phải là một phương pháp vạn năng? Tiêu chuẩn đánh giá đầu tiên về thao tác cấu trúc tinh thể, các mô hình lớn hàng đầu đều gặp thất bại
Mô hình lớn gặp hạn chế trong các nhiệm vụ thao tác nguyên tử. Mặc dù có thể phân tích kiến thức vật liệu, chúng lại khó thao tác chính xác cấu trúc nguyên tử. Nghiên cứu chỉ ra rằng Scaling Law (Định luật Mở rộng Quy mô) có hiệu quả hạn chế trong các nhiệm vụ logic không gian, nhấn mạnh rằng AI for Science (AI cho Khoa học) cần chuyển hướng sang Action Scaling (Mở rộng Quy mô Hành động) để nâng cao khả năng của mô hình trong các thao tác nghiên cứu thực tế.
AtomWorld, một tiêu chuẩn đánh giá mới trong khoa học vật liệu, kết luận rằng Scaling Law, hiệu quả trong các tác vụ hiểu văn bản và tổng hợp kiến thức, thường không đạt kỳ vọng khi áp dụng vào các nhiệm vụ thao tác nguyên tử bị ràng buộc bởi các quy luật vật lý. Tiêu chuẩn này tập trung đánh giá khả năng thao tác không gian 3D cơ bản của mô hình, như điều chỉnh vị trí nguyên tử theo chỉ dẫn.
Kết quả thử nghiệm trên nhiều mô hình lớn như Claude Opus, GPT, Gemini, Qwen cho thấy việc tăng quy mô mô hình chỉ cải thiện rõ rệt các tác vụ có quy tắc rõ ràng (như thay thế, xóa, di chuyển nguyên tử). Tuy nhiên, với các tác vụ đòi hỏi hiểu biết và lập kế hoạch hình học không gian 3D phức tạp hơn (như xoay quanh một nguyên tử, xóa nguyên tử phía dưới, mở rộng siêu ô mạng), hiệu suất không ổn định và cải thiện rất ít dù mô hình có lớn hơn.
Điều này cho thấy năng lực suy luận ngôn ngữ và kiến thức văn bản không tự động đồng nghĩa với khả năng hành động ở cấp độ cấu trúc nguyên tử. AtomWorld đề xuất một hướng phát triển mới: bên cạnh Language Scaling dựa trên dữ liệu văn bản, AI for Science cần chú trọng Action Scaling. Điều này bao gồm việc mở rộng quy mô dữ liệu về các hành động có thể thực thi, phân tích nguyên thủy hành động, phản hồi từ mô phỏng, xác minh ràng buộc vật lý và sửa lỗi gọi công cụ, giúp mô hình mạnh lên không chỉ trong ngôn ngữ mà còn trong các hành động nghiên cứu có thể kiểm chứng.
Vấn đề này không chỉ giới hạn trong mô hình hóa vật liệu. Để AI thực sự tham gia vào nghiên cứu khoa học, nó không thể chỉ "giải thích kiến thức" mà phải học cách "thực hiện hành động" trong một quy trình bao gồm giả thuyết, thí nghiệm, công cụ và điều chỉnh.
marsbit07/15 04:01
