Scaling Law Satu Trik Serba Bisa? Benchmark Operasi Struktur Kristal Pertama, Model Besar Unggulan Tersandung Bersama
Model besar menghadapi tantangan dalam tugas manipulasi atom. Meskipun dapat memahami pengetahuan material, model-model ini kesulitan dalam mengoperasikan struktur atom secara akurat. Studi terbaru bernama AtomWorld, yang dirilis dalam ICML2026, menunjukkan bahwa Scaling Law—prinsip yang selama ini diandalkan untuk meningkatkan kemampuan model dengan memperbesar skala data dan parameter—memiliki keterbatasan dalam tugas-tugas yang membutuhkan logika spasial dan tunduk pada aturan fisika.
AtomWorld adalah kerangka benchmark yang mengevaluasi kemampuan model dalam melakukan operasi dasar ruang atom, seperti mengganti, memindahkan, memutar, atau menghapus atom dalam struktur kristal. Hasil pengujian terhadap berbagai model utama (seperti Claude Opus, GPT, Gemini, Qwen, DeepSeek, Llama) mengungkapkan bahwa peningkatan skala model memang membantu tugas-tugas dengan aturan jelas (seperti penggantian atom), namun tidak secara konsisten meningkatkan performa pada tugas yang membutuhkan pemahaman geometri tiga dimensi yang kompleks, seperti rotasi sekitar atom atau penghapusan area tertentu.
Temuan ini menyoroti bahwa kemampuan pemahaman teks (Language Scaling) tidak secara otomatis setara dengan kemampuan tindakan fisik (Action Scaling). Untuk benar-benar berguna dalam penelitian ilmiah nyata, AI perlu dikembangkan agar tidak hanya "memahami" pengetahuan, tetapi juga "melaksanakan" tindakan dalam lingkungan dengan kendala fisik. AtomWorld menawarkan dasar untuk melatih dan mengevaluasi kemampuan tindakan model, mendorong pergeseran fokus dalam AI for Science dari sekadar memperbesar model menuju penskalaan kemampuan aksi yang dapat divalidasi.
marsbit07/15 04:02
