Scaling Law Satu Trik Serba Bisa? Benchmark Operasi Struktur Kristal Pertama, Model Besar Unggulan Tersandung Bersama

Model besar menghadapi hambatan dalam tugas operasi atom. Meski mampu menganalisis pengetahuan material, model besar kesulitan memanipulasi struktur atom dengan presisi. Penelitian menunjukkan efektivitas Scaling Law dalam tugas logika spasial terbatas, menekankan bahwa AI for Science perlu beralih ke Action Scaling untuk meningkatkan kemampuan model dalam operasi ilmiah nyata.

Selama beberapa tahun terakhir, salah satu pelajaran sukses terbesar di bidang model besar adalah "Scaling Law (Hukum Skala)". Konsensus yang hampir diterima industri adalah: asalkan modelnya cukup besar, datanya cukup banyak, kemampuannya akan terus muncul, bahkan secara otomatis menggeneralisasi ke domain yang tidak diketahui.

Tapi sebuah benchmark uji terbaru di bidang ilmu material memberikan perspektif berbeda pada optimisme "kekuatan besar menciptakan keajaiban" ini.

AtomWorld, dirilis bersama di ICML2026 oleh Institut Penelitian Lanjutan Suzhou Universitas Sains dan Teknologi China, Universitas New South Wales, dan lembaga lainnya, menggunakan serangkaian tugas operasi atom nyata untuk menyimpulkan: Scaling Law, yang stabil dan efektif dalam skenario pemahaman teks dan induksi pengetahuan, seringkali gagal mencapai hasil yang diharapkan saat diterapkan pada tugas operasi atom praktis yang dibatasi oleh aturan fisika.

Alamat makalah: https://arxiv.org/abs/2510.04704

Halaman proyek: https://masterai-eam.github.io/atomworld/

Repositori kode: https://github.com/MasterAI-EAM/atomworld

Memahami Tidak Sama dengan Mengoperasikan

Di bidang sains, model besar telah menunjukkan "kemampuan pemahaman" yang luar biasa: membaca literatur, memprediksi sifat material, menganalisis struktur kristal, bahkan penemuan ilmiah.

Misalnya, Anthropic meluncurkan platform kerja ilmiah AI Claude Science, yang memecah penelitian ilmiah menjadi alur kerja bertahap yang dapat diaudit, meningkatkan efisiensi 10 kali lipat dalam tautan tertentu seperti penulisan tinjauan literatur dan analisis gen; GNoME dari Google DeepMind menggunakan jaringan neural grafis untuk memprediksi stabilitas kristal anorganik, menghasilkan sekitar 2,2 juta struktur melalui loop tertutup "kandidat generasi → verifikasi DFT → aliran balik data".

Hal ini membentuk persepsi umum di industri — jika model dapat memahami pengetahuan terkait material, maka menyelesaikan tugas praktis seperti pembangunan atom dan penyesuaian struktur seharusnya menjadi hal yang wajar.

Tapi penelitian komputasi material nyata bukanlah sekadar menjawab pertanyaan pilihan ganda. Sehari-hari penelitian penuh dengan instruksi operasi praktis yang sangat konkret: membangun permukaan (001) material tertentu, mensimulasikan batasan "dunia nyata"; mengganti atom pada titik kisi tertentu untuk mendoping atau memodifikasi material; menyisipkan atom baru pada posisi celah yang ditentukan, merancang saluran "penyimpanan energi" dan "transportasi", dll.

Tugas-tugas semacam ini menuntut kemampuan model yang sama sekali berbeda: kemampuan manipulasi ruang tiga dimensi yang mematuhi hukum fisika.

Untuk mengkuantifikasi kemampuan ini secara objektif, tim peneliti membangun kerangka evaluasi AtomWorld, yang mengandalkan informasi kristalografi umum di bidang material untuk mencapai evaluasi otomatis. Kerangka ini tidak menguji masalah seperti identifikasi material atau analisis teoretis, tetapi hanya berfokus pada tugas operasi spasial dasar: dapatkah model menyesuaikan susunan atom secara tepat sesuai dengan instruksi?

Gambar 1: Diagram skematik alur kerja benchmark AtomWorld. Proses generator AtomWorld: 1. Pengambil sampel acak mengambil struktur atom yang telah ditetapkan; 2. Penginisialisasi acak mengkonfigurasi parameter penomoran dan posisi atom; 3. Operator struktur beroperasi untuk mendapatkan struktur target; 4. Modul prompt menghasilkan deskripsi bahasa alam yang sesuai. Data berpasangan struktur-teks yang dihasilkan dimasukkan ke dalam agen model besar, dan struktur keluaran model dibandingkan dengan struktur target standar menggunakan alat StructureMatcher pymatgen untuk mengevaluasi kinerja model secara kuantitatif.

Scaling Law Menghadapi Batas Kemampuan

Gambar 2: Kinerja keseluruhan berbagai model pada AtomWorld. a, c adalah tingkat keberhasilan; b, d adalah kesalahan geometris mean max_dist. Sisi kiri membandingkan berbagai model utama, sisi kanan membandingkan model Qwen dengan ukuran berbeda. Memperbesar skala model dapat meningkatkan beberapa tugas dengan aturan yang jelas, seperti penggantian atom, penghapusan, dan perpindahan; tetapi saat menghadapi operasi yang membutuhkan pemahaman ruang tiga dimensi dan perencanaan geometris seperti rotasi, penghapusan area, dan perluasan supercell, peningkatannya tidak stabil. Bahkan model umum yang kuat seperti Claude, kinerjanya pada tugas seperti "rotasi mengelilingi atom" relatif buruk.

Hasil AtomWorld mengindikasikan bahwa Scaling Law pada tugas operasi atom tidak dapat dipahami secara sederhana sebagai "semakin besar model, semakin kuat kemampuannya".

Pengujian ini mencakup model-model utama seperti Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, Gemini 2.5 Pro, Qwen3-32B, GPT o3, GPT-4o-mini, DeepSeek Chat, Llama3-70B. Gambar 2 menunjukkan bahwa memperbesar skala model memang dapat meningkatkan beberapa operasi dengan aturan yang jelas dan dapat ditemplatkan, tetapi saat menghadapi tugas yang bergantung pada hubungan ruang tiga dimensi, peningkatan ini tidak stabil.

Mengambil seri Qwen sebagai contoh, dari 4B ke 32B, tingkat keberhasilan tugas seperti penggantian atom, penghapusan, dan perpindahan meningkat secara signifikan, menunjukkan bahwa peningkatan skala masih memiliki nilai. Namun, peningkatan ini terutama terkonsentrasi pada tugas-tugas dengan aturan yang jelas dan jalur yang relatif tetap, dan tidak dapat secara otomatis ditransfer ke semua operasi atom.

Tugas yang lebih menantang menunjukkan hambatan yang jelas. Contoh tipikal adalah "rotasi mengelilingi atom": ini tidak hanya selalu menunjukkan kinerja rendah pada model Qwen dengan ukuran berbeda, tetapi juga hanya memiliki tingkat keberhasilan sekitar 12% pada model kuat seperti Claude Opus 4.6. Ini menunjukkan bahwa masalahnya bukan hanya bahwa model tertentu tidak cukup besar atau kuat, tetapi model umum saat ini secara universal kekurangan kemampuan aksi ruang tiga dimensi yang stabil.

Demikian pula, tugas-tugas seperti "menghapus atom di bawah" dan "memperluas supercell" tetap menunjukkan hasil yang tidak stabil bahkan ketika diganti dengan model yang lebih besar; kesalahan geometris juga tidak selalu menurun seiring dengan membesarnya model.

Oleh karena itu, AtomWorld tidak serta merta menyangkal Scaling Law, tetapi menunjukkan batas penerapannya: memperbesar skala dapat membawa peningkatan kemampuan sebagian, tetapi tidak dapat secara otomatis melengkapi kelemahan inti dalam operasi ruang fisik tiga dimensi. Untuk pemodelan material, kemampuan penalaran bahasa, cadangan pengetahuan tekstual, dan kemampuan aksi struktur tingkat atom tidak dapat disamakan langsung.

Dalam arti ini, AtomWorld juga mengisyaratkan arah baru: selain mengejar skala parameter dan skala data teks, AI for Science juga perlu memperhatikan "Action Scaling".

Artinya, menskalakan secara sistematis pembuatan data tindakan yang dapat dieksekusi, pemecahan primitif aksi, umpan balik simulator, verifikasi kendala fisik, dan koreksi panggilan alat, sehingga model tidak hanya menjadi lebih kuat dalam bahasa, tetapi juga menjadi lebih kuat dalam tindakan ilmiah yang dapat diverifikasi.

Jalur Baru untuk Agen Cerdas Ilmiah

Nilai inti AtomWorld tidak hanya terletak pada mengidentifikasi kegagalan model, tetapi juga memecah rasa sakit yang samar "agen cerdas material tidak dapat memodelkan" menjadi serangkaian kemampuan operasi atom yang dapat diukur dan dilacak — dari penggantian elemen dasar hingga penentuan area spasial, hingga pemahaman geometri berkelanjutan, secara bertahap memperjelas jenis kegagalan, tingkat, dan pola peningkatan skala.

Hal ini juga mengungkap akar masalah mengapa sekadar memperbesar parameter sulit diterapkan: Scaling Law yang ada berfokus pada pemasangan bahasa dan pengetahuan dari kumpulan data teks masif, tetapi pemahaman spasial, perencanaan geometris, dan kemampuan aksi dengan kendala fisik yang dibutuhkan untuk pemodelan atom material, sangat kekurangan sampel pelatihan berpasangan berkualitas tinggi "instruksi operasi — perubahan koordinat" dalam data publik, sehingga sulit dilengkapi secara alami hanya dengan perluasan skala bahasa.

Untuk mengatasi kelemahan model besar dalam operasi tiga dimensi, industri umumnya mengatasi dengan menghubungkan ke perpustakaan alat profesional seperti pymatgen. Pengujian perbandingan AtomWorld menunjukkan bahwa alat eksternal hanya dapat meningkatkan efektivitas tugas yang membutuhkan komputasi koordinat kuat seperti penyisipan atom, namun peningkatannya sangat terbatas dalam skenario kompleks yang memerlukan penilaian hubungan atom dan area spasial.

Pada dasarnya, alat hanya dapat menghasilkan koordinat yang tepat, tetapi tidak dapat menggantikan model dalam membuat keputusan inti seperti "di mana atom harus ditempatkan" dan "mana yang termasuk area target"; jika model itu sendiri kekurangan persepsi ruang tiga dimensi, alat hanya akan mengeksekusi niat yang salah dengan lebih presisi, akhirnya menghasilkan hasil "kesalahan logika pemodelan".

AtomWorld tidak secara langsung menyangkal Scaling Law, tetapi mengingatkan agen cerdas ilmiah untuk memikirkan kembali "apa yang harus diskalakan". Language Scaling dari kumpulan data teks adalah dasar pengetahuan, tetapi untuk tugas operasi kuat seperti pemodelan material, lebih dibutuhkan Action Scaling yang berorientasi pada kemampuan aksi — menjadikan seluruh proses "aksi — umpan balik — koreksi" sebagai objek pembelajaran yang dapat diskalakan.

Makna sebenarnya dari AtomWorld adalah dengan secara otomatis menghasilkan tugas, struktur standar, dan umpan balik pencocokan, menyediakan fondasi untuk data aksi dan loop pelatihan pemodelan material, mendorong AI for Science dari mengejar model umum yang lebih besar, beralih ke kemampuan aksi nyata yang berulang dalam operasi ilmiah yang dapat diverifikasi.

Kesimpulan

AtomWorld bukan hanya seperangkat benchmark evaluasi standar, tetapi lebih seperti cermin pengamatan, secara visual menunjukkan masalah kunci dalam pengembangan AI for Science saat ini: model besar dapat menjelaskan struktur dan sifat material, tidak berarti ia sudah dapat memodifikasi struktur material dengan andal; dapat membaca tabel periodik unsur, tidak berarti ia dapat secara stabil melaksanakan satu operasi tingkat atom dalam ruang tiga dimensi.

Masalah ini tidak terbatas pada pemodelan material. Penelitian ilmiah yang sebenarnya tidak pernah murni pekerjaan teks, tetapi terdiri dari serangkaian tindakan seperti mengajukan hipotesis, merancang eksperimen, memanggil alat, menyesuaikan parameter, mengamati hasil, memeriksa kesalahan, dan koreksi berkelanjutan. Baik itu pemodelan material, desain molekul, eksperimen otomatisasi, atau proses penemuan ilmiah yang lebih luas, jika AI ingin benar-benar berpartisipasi dalam penelitian ilmiah, ia tidak bisa hanya bisa "menjelaskan pengetahuan", tetapi juga harus belajar "mengeksekusi tindakan".

Oleh karena itu, AtomWorld mengingatkan kita untuk memahami kembali cakupan penerapan Scaling Law dalam skenario ilmiah: Language Scaling berdasarkan kumpulan data teks jaringan tetap penting, tetapi itu hanya titik awal.

AI for Science di masa depan lebih membutuhkan Action Scaling yang berorientasi pada kemampuan aksi, membiarkan model belajar bagaimana menyelesaikan tugas penelitian ilmiah nyata dalam tugas yang dapat dieksekusi, panggilan alat, umpan balik lingkungan, dan verifikasi fisik.

Hanya ketika model memiliki kemampuan pemahaman pengetahuan dan kemampuan aksi secara bersamaan, agen cerdas ilmiah baru mungkin berubah dari ensiklopedia "dapat menjawab pertanyaan" menjadi asisten eksperimen "dapat menyelesaikan tugas".

Referensi:

https://arxiv.org/abs/2510.04704

Artikel ini dari akun WeChat "新智元", penulis: LRST