Ujian "Gaokao" untuk Kecerdasan Bertubuh Sulit Gila, Manusia 100 Poin, Model Terkuat Hanya 12.8
"Ujian Akhir" Kecerdasan Embodied (Embodied AI) Terlalu Sulit, Manusia 100 Poin, Model Terkuat Hanya 12.8
Kemajuan robotika dengan model AI besar (VLA, model dasar robot) sering tampak mulus dalam demo, namun kemampuan sebenarnya dalam melakukan tugas umum tetap menjadi pertanyaan besar.
RoboDojo, tolok ukur evaluasi baru yang dikembangkan oleh tim akademis, memberikan "peta pendakian" yang lebih jelas. Ini adalah benchmark terpadu yang mengevaluasi 30 strategi robot utama di 42 tugas simulasi dan 18 tugas robot fisik nyata. Fokusnya adalah menguji lima kemampuan inti: generalisasi (beradaptasi dengan latar, pencahayaan, dan objek baru), memori, presisi (operasi halus seperti memasang), eksekusi multi-langkah panjang, dan pemahaman semantik terbuka terhadap instruksi baru.
Hasilnya menunjukkan jurang yang dalam. Di simulasi, model terbaik (Hy-Embodied-0.5-VLA) hanya mencapai tingkat keberhasilan rata-rata 8.80%. Di dunia nyata, kinerja bahkan lebih menantang: model teratas (π0.5) hanya mencapai 12.8% keberhasilan. Sebagai perbandingan, ahli manusia mencapai 76.03% di simulasi dan 100% di dunia nyata.
RoboDojo mengungkap bahwa model robot saat ini belum stabil dan andal. Mereka mungkin pandai dalam satu aspek (misalnya, pengenalan visual atau perencanaan), tetapi gagal dalam aspek lainnya (seperti presisi fisik atau pemahaman semantik terbuka). Penurunan kinerja yang signifikan dari simulasi ke dunia nyata juga menyoroti tantangan ketidakpastian fisik, noise sensor, dan kesalahan kalibrasi.
Platform ini, dilengkapi dengan infrastruktur XPolicyLab untuk integrasi model yang terstandarisasi dan sistem evaluasi robot fisik (RoboDojo-RealEval) yang dapat direproduksi, bertujuan untuk menjadi "papan peringkat" komunitas yang obyektif. Dengan demikian, RoboDojo tidak hanya mendiagnosis kelemahan saat ini tetapi juga menyediakan jalur terukur untuk kemajuan menuju robot operasi yang benar-benar serbaguna dan dapat diandalkan.
marsbit07/08 11:53
