Seberapa tinggikah gunung robotika umum ini?
Setahun terakhir, VLA, model dasar robotika, dan model dunia tampil silih berganti.
Satu per satu demo terlihat semakin mulus: menumpuk mangkuk, memasang pipa, menyimpan barang, menuangkan air, merapikan meja. Robot tampaknya akhirnya mulai memahami perkataan manusia, memahami dunia, dan mulai bekerja.
Tapi masalahnya adalah: Manakah dari model-model ini yang lebih unggul? Unggul di bagian mana? Bisakah beralih dari simulasi ke dunia nyata? Seberapa jauh lagi menuju robot operasional umum yang sebenarnya?
Sekarang, sebuah "peta pendakian" baru telah datang.
Tim yang sama yang sebelumnya meluncurkan seri patokan RoboTwin, kini menghadirkan RoboDojo: sebuah patokan evaluasi operasi robot terpadu di simulasi + dunia nyata.
Situs Web: https://robodojo-benchmark.com/arXiv: https://arxiv.org/abs/2607.04434Papan Peringkat: https://robodojo-benchmark.com/LeaderBoardKode Patokan: https://github.com/RoboDojo-Benchmark/RoboDojoKode XPolicyLab: https://github.com/XPolicyLab/XPolicyLabKomunitas: https://robodojo-benchmark.com/community
Ini bukan hanya patokan lain, melainkan lebih seperti mendirikan sebuah "Gunung Everest" untuk kecerdasan bertubuh:
42 tugas simulasi, 18 tugas robot dunia nyata, 30 strategi robot utama bersaing di arena yang sama, mencakup lima kemampuan: generalisasi, memori, operasi presisi, eksekusi jangka panjang, dan pemahaman semantik terbuka.
Hasilnya langsung, dan kejam:
Strategi robot umum terkuat saat ini, tingkat keberhasilan rata-ratanya di simulasi hanya 8,80%. Di dunia nyata, model terbaik pun tingkat keberhasilan rata-ratanya hanya 12,8%.
Bagaimana dengan ahli manusia? Di simulasi 76,03%, di dunia nyata 100%.
Model-model dasar robotika tampaknya telah mulai mendaki Everest bertubuh, tapi papan peringkat RoboDojo menunjukkan: sebagian besar masih di kaki gunung, beradaptasi dengan ketinggian.
Pertama, lihat desain tugasnya: Mengapa gunung ini sulit?
Titik sulit RoboDojo bukanlah sekadar menumpuk jumlah tugas, melainkan bagaimana ia membongkar kemampuan operasi robot menjadi sekumpulan "rintangan pendakian" yang lebih mendekati dunia nyata.
Di lingkungan simulasi, RoboDojo merancang 42 tugas, berfokus pada lima kemampuan inti:
Generalisasi, melihat apakah model dapat beradaptasi dengan latar belakang baru, pencahayaan baru, objek baru, dan skenario berantakan yang kompleks.
Memori, melihat apakah model dapat mengingat informasi yang dilihat sebelumnya, dan menggunakannya dalam aksi selanjutnya.
Presisi, melihat apakah model dapat menyelesaikan operasi presisi tinggi seperti memasukkan, menyelaraskan, dan kontak tepat.
Jangka Panjang, melihat apakah model dapat menyelesaikan tugas multi-tahap, dengan ketergantungan kuat, di mana kesalahan dapat menumpuk.
Terbuka, melihat apakah model dapat memahami instruksi semantik terbuka yang belum pernah dilihat, dan mengubah tujuan bahasa menjadi tindakan.
Tugas-tugas ini bukanlah varian sederhana pick-and-place.
Misalnya dalam tugas generalisasi, barang-barang di atas meja dapat diacak hingga 25 buah, latar belakang, pencahayaan, tampilan objek, dan tata letak akan berubah;
Dalam tugas memori, robot perlu mengingat objek yang pernah muncul lalu menghilang di atas conveyor belt, lalu memilih target yang cocok dari kandidat berikutnya;
Dalam tugas operasi presisi, robot harus menyelesaikan tindakan dengan toleransi kesalahan tinggi seperti memasang pipa, menyelaraskan, dan memasukkan, sedikit melenceng saja bisa gagal.
Tugas jangka panjang lebih mendekati pekerjaan rumah tangga nyata: robot bukan hanya melakukan satu tindakan, melainkan harus menyelesaikan beberapa sub-tahap berturut-turut. Mengambil, memindahkan, menyerahkan, menyelaraskan, menempatkan, setiap langkah dapat memperkenalkan kesalahan, dan kesalahan akan menumpuk hingga akhir.
Tapi RoboDojo tidak berhenti di simulasi.
Apa yang benar-benar membuat "Everest bertubuh" ini semakin tinggi adalah ia juga memindahkan evaluasi ke robot dunia nyata.
RoboDojo merancang 18 tugas dunia nyata, mencakup tiga platform robot lengan ganda: ARX X5, Piper, dan Piper X, masing-masing platform memiliki 6 tugas.
Tugas-tugas ini bukanlah replika satu-satu dari tugas simulasi, melainkan dirancang khusus untuk menguji kemampuan penyebaran robot di dunia fisik nyata.
Misalnya pada ARX X5 ada tugas menutup balok kayu, membuat roti, membuat makanan, mengisi dan menuangkan buah, menyimpan brankas, memasang pipa, dll.; pada Piper ada tugas menumpuk dan menutup balok, mengisi tempat pensil, memasukkan objek ke keranjang, memasang pengisi daya, menumpuk mangkuk, menegakkan botol, dll.; pada Piper X termasuk tugas mengklasifikasikan objek, membongkar Lego, menggantung cangkir, memasukkan barang ke dalam ransel, membersihkan balok kayu, menutup tutup pulpen, dll.
Tugas-tugas ini terdengar sangat sehari-hari, tapi bagi robot tidaklah sederhana.
Karena di dunia nyata, setiap langkah membawa ketidakpastian fisik: objek mungkin meluncur, gripper mungkin tidak mencengkeram dengan stabil, lengan robot mungkin memiliki penundaan kecil, kamera mungkin memiliki noise, kontak sesaat mungkin mendorong target melenceng.
Yang lebih penting, RoboDojo-RealEval melakukan standardisasi untuk evaluasi mesin fisik: konfigurasi perangkat keras seragam, tata letak ruang kerja, kondisi pencahayaan, proses reset skenario, protokol evaluasi, dan antarmuka penyebaran.
Sebelum setiap pengujian, evaluator akan mereproduksi skenario sesuai dengan tata letak yang telah ditetapkan; setiap percobaan juga akan dinilai secara double-blind oleh tiga penilai, melihat keberhasilan akhir dan juga penyelesaian langkah-langkah perantara.
Artinya, bagian mesin fisik RoboDojo bukanlah "merekam beberapa video demo", melainkan mengubah operasi robot nyata menjadi sebuah ujian standar yang dapat direproduksi, dapat dibandingkan, dan dapat diakses dari jarak jauh.
Dengan kata lain, RoboDojo tidak hanya bertanya pada robot di simulasi "apakah kamu bisa mengerjakan soal", tetapi juga mengejar di dunia nyata: Apakah masih stabil jika mengganti robot lain? Apakah akan gemetar saat kontak nyata datang? Apakah masih bisa dikoreksi jika objek sedikit melenceng? Apakah bisa pulih jika gagal di tengah tugas? Bisakah terus mendaki setelah meninggalkan lapangan latihan simulasi?
Inilah makna sebenarnya dari "Everest bertubuh": Bukan pencapaian kemampuan titik tunggal, melainkan diagnosis simulasi dan penyebaran dunia nyata tidak boleh gagal.
Papan peringkat keluar, kesenjangan terbentang di atas meja
Bagian inti dari RoboDojo adalah papan peringkat terbukanya.
Ini juga yang membedakannya dari banyak evaluasi "model sendiri diuji sendiri":
RoboDojo diluncurkan dan dikelola oleh aliansi penuh lembaga akademik, di belakangnya tidak ada keterikatan kepentingan dari pihak model komersial, tata kelola papan peringkat ditangani oleh organisasi nirlaba AI MMLab Club Foundation.
Dengan kata lain, "Everest bertubuh" ini bukanlah platform observasi yang dibangun sebuah perusahaan untuk dirinya sendiri, melainkan rute pendakian publik yang terbuka untuk seluruh komunitas.
Di papan peringkat simulasi, tim mengintegrasikan dan mengevaluasi 30 strategi operasi robot perwakilan, termasuk Hy-Embodied-0.5-VLA, Spatial Forcing, π0.5, X-VLA, GR00T-N1.7, π0, OpenVLA-OFT, dll.
Peringkat pertama adalah Hy-Embodied-0.5-VLA, skor rata-rata 13.07, tingkat keberhasilan rata-rata 8,80%.
Diikuti oleh model-model seperti Spatial Forcing, π0.5, X-VLA, dll., tapi kinerja keseluruhan masih berada di rentang yang sangat rendah.
Bahkan model-model terdepan pun tidak ada yang benar-benar "serba bisa" dalam lima dimensi kemampuan.
Beberapa model memiliki generalisasi lebih kuat, beberapa memiliki operasi presisi lebih stabil, beberapa dapat melangkah lebih jauh dalam tugas jangka panjang, tetapi begitu dilihat di papan peringkat lengkap, kelemahan menjadi sangat jelas.
Satu informasi kunci dari RoboDojo adalah: Model robot saat ini bukan tidak bisa bergerak, melainkan tidak cukup stabil; bukan sama sekali tidak bisa melakukan tugas, melainkan sulit menyelesaikan tugas dengan stabil.
Banyak strategi dapat menyelesaikan sebagian langkah, tetapi tingkat keberhasilan akhir sangat rendah.
Misalnya dalam tugas jangka panjang, robot mungkin sudah mengambil objek, memindahkannya ke dekat target, tetapi gagal pada tahap akhir menyelaraskan, memasukkan, menempatkan, atau pemulihan.
Ini juga perbedaan terbesar antara kecerdasan bertubuh dan tugas bahasa murni atau visual murni: Di dunia fisik, meleset sedikit pun berarti gagal.
Papan peringkat dunia nyata lebih menyakitkan
Jika simulasi masih "lapangan latihan", robot dunia nyata adalah "lokasi sebenarnya di Everest".
Di papan peringkat dunia nyata, model dengan kinerja terbaik adalah π0.5, tingkat keberhasilan keseluruhan 12,8%, skor rata-rata 22.9.
Kelompok terdepan termasuk InternVLA-A1, GalaxeaVLA, Xiaomi-Robotics-0, X-VLA, dll., tapi tingkat keberhasilan keseluruhan masih hanya satu digit hingga belasan persen.
Ini menunjukkan masalah yang sangat krusial: Relatif terdepan di simulasi, tidak menjamin pasti stabil di dunia nyata.
Robot dunia nyata akan memperkenalkan kesulitan tambahan: noise kamera, kesalahan kalibrasi, penundaan lengan robot, ketidakstabilan kontak, getaran gerakan, batas keamanan, penyimpangan kecil posisi awal objek. Hal-hal ini sering tidak terlihat di video demo, tetapi akan terekspos secara terpusat dalam evaluasi standar.
Makna RoboDojo juga ada di sini: Ia tidak hanya bertanya "apakah robot berhasil melakukannya", melainkan bertanya:
Dapatkah strategi ini lulus pemeriksaan komprehensif dalam simulasi, sekaligus mampu menghadapi tantangan secara langsung di dunia nyata?
Mengapa ini disebut "Everest Bertubuh"
Dilihat dari hasilnya, RoboDojo mengungkapkan penilaian yang sangat realistis: Pertumbuhan kemampuan model dasar robotika saat ini tidak seimbang.
Beberapa model dapat mengenali target dengan lebih baik, beberapa model dapat menjalankan tindakan dengan lebih lancar, beberapa model dapat melangkah lebih jauh dalam tugas jangka panjang.
Tapi robot umum yang sebenarnya, tidak bisa hanya kuat di satu dimensi kemampuan.
Ia harus bisa memahami, juga harus bisa mengingat; harus merencanakan dengan benar, juga harus presisi dalam gerakan; harus bisa menangani tugas yang familiar, juga harus bisa memahami instruksi terbuka; harus bisa berjalan di simulasi, juga harus bisa dieksekusi dengan stabil di lengan robot nyata.
Dan hasil eksperimen RoboDojo menunjukkan, model-model saat ini masih memiliki kelemahan yang jelas di dimensi-dimensi ini.
Yang paling khas adalah tugas Terbuka. Bahkan model terkuat, tingkat keberhasilannya dalam tugas semantik terbuka hanya sekitar 1,67%.
Ini berarti, model dasar robotika saat ini masih memiliki jarak yang jelas dari benar-benar "memahami perkataan manusia dan bekerja dengan andal".
Mereka dapat meniru dalam tugas yang familiar, tetapi ketika menghadapi target baru, semantik baru, kombinasi baru, rantai pemahaman semantik, pelokalan visual, pemilihan keterampilan, dan eksekusi tindakan ini masih sangat rapuh.
Inilah kesulitan Everest bertubuh: Bukan pencapaian kemampuan titik tunggal, melainkan semua kemampuan tidak boleh gagal.
Bukan hanya evaluasi, melainkan juga seperangkat infrastruktur
RoboDojo juga memiliki dua komponen penting lainnya.
Satu adalah simulasi paralel heterogen.
Paralelisasi simulasi tradisional seringkali hanya mereplikasi skenario yang sama, hanya mengubah posisi awal; RoboDojo mendukung menjalankan tugas berbeda, objek berbeda, tata letak berbeda secara bersamaan, meningkatkan efisiensi evaluasi secara signifikan.
Lainnya adalah XPolicyLab.
Ini setara dengan "lapisan akses terpadu" di balik RoboDojo, dirancang khusus untuk menyelesaikan masalah yang sangat realistis dalam evaluasi strategi robot: model yang berbeda seringkali memiliki format data, alur pra-pemrosesan, skrip pelatihan, representasi tindakan, dan lingkungan penyebaran yang berbeda, sehingga biaya teknikal untuk membandingkannya secara adil di papan peringkat yang sama sangat tinggi.
Apa yang dilakukan XPolicyLab adalah menstandarkan alur eksternal ini.
Ia menyediakan konversi data, template pelatihan, alur penyebaran, dan skrip evaluasi yang seragam, sambil mempertahankan struktur dan implementasi model masing-masing strategi itu sendiri.
Dengan demikian, berbagai strategi robot hanya perlu terhubung ke antarmuka observation-action yang seragam, dan dapat dijalankan di lingkungan simulasi RoboDojo dan platform mesin fisik RoboDojo-RealEval.
Dalam makalah ini, tim telah mengintegrasikan 30 model operasi robot perwakilan melalui XPolicyLab.
Bagi para peneliti, ini berarti model dapat "sekali terhubung, dievaluasi di banyak tempat": pertama dengan cepat beriterasi di simulasi, mendiagnosis kelemahan kemampuan, lalu menyebarkannya ke robot nyata untuk menjalani pengujian standar.
Karena itu, RoboDojo bukan hanya patokan statis di makalah, melainkan sebuah arena kompetisi kecerdasan bertubuh yang dapat diperbarui secara berkelanjutan.
Model dapat terus naik ke papan peringkat, tugas dapat terus diperluas, evaluasi robot dunia nyata juga dapat diakses dari jarak jauh.
Bagi bidang model dasar robotika, ini sangat penting.
Karena dalam perjalanan menuju robot operasional umum, semua pihak tidak hanya membutuhkan model yang lebih besar, demo yang lebih keren, tetapi juga seperangkat "pengukur ketinggian" yang dapat berulang kali mengukur kemajuan.
Kecerdasan Bertubuh, Akhirnya Memiliki Gunung yang Lebih Tinggi
Dulu, bidang robotika sering didorong oleh demo.
Satu model dapat menyelesaikan beberapa tugas yang indah, mudah menimbulkan ilusi "robot umum akan segera datang".
Tapi kesimpulan yang diberikan RoboDojo lebih dingin: Model saat ini memang sedang berkembang, tapi jaraknya masih jauh dari operasi robot umum yang andal, dapat digeneralisasi, dan dapat disebarkan.
Ini bukanlah kabar buruk.
Justru sebaliknya, RoboDojo memperjelas masalahnya: Siapa yang dapat digeneralisasi, siapa yang akan lupa, siapa yang gerakannya gemetar, siapa yang hanya bisa melakukan setengah, siapa yang tertinggal di dunia nyata, siapa yang dapat naik ke papan peringkat.
Kecerdasan bertubuh akhirnya bukan hanya memperebutkan video promosi, melainkan mulai memperebutkan nilai nyata di lintasan yang terstandar.
"Everest bertubuh" ini telah didirikan. Selanjutnya, lihat siapa yang akan mencapai puncak lebih dulu.
Pengenalan Penanggung Jawab Proyek
Chen Tianhang, mahasiswa doktoral langsung di MMLab Universitas Hong Kong, dibimbing oleh Profesor Luo Ping.
Telah mempublikasikan lebih dari sepuluh makalah di konferensi papan atas seperti ICML, CVPR, ICLR, RSS, memenangkan beberapa Penghargaan Makalah Terbaik di seminar konferensi papan atas, serta beberapa kejuaraan dan posisi kedua dalam kompetisi akademik konferensi papan atas.
Dinobatkan sebagai AI25 (Perintis Inovasi AI di Bawah 25 Tahun) oleh Sequoia Capital China dan MIT Technology Review China, menerima Penghargaan Khusus Universitas Shenzhen (penghargaan tertinggi untuk mahasiswa), dan Mahasiswa Berprestasi CCF (99 orang secara nasional).
Penulis pertama RoboTwin 2.0, pendiri komunitas open source bertubuh terkemuka Lumina, proyek open source secara kumulatif telah menerima hampir dua puluh ribu bintang di GitHub.
Chen Yue, mahasiswa pascasarjana Universitas Peking, bidang penelitian utama adalah representasi visual tiga dimensi dan simulasi robotika.
Hingga saat ini telah mempublikasikan lebih dari 10 makalah tingkat tinggi CCF A dan CAAI A, beberapa hasil diterima dalam bentuk Oral dan Spotlight, penelitian terkait memenangkan penghargaan Makalah Terbaik di seminar konferensi internasional seperti CVPR dan IROS. Pernah menerima Beasiswa Nasional, serta penghargaan Mahasiswa Teladan Universitas Peking.
Ekspansi Masa Depan
Tim RoboDojo selanjutnya akan terus menghasilkan evaluasi untuk operasi lincah, operasi bergerak, operasi taktil, operasi tubuh penuh humanoid, dll., selamat menyimak terus.
*Artikel ini diterbitkan dengan izin QbitAI, pandangan sepenuhnya milik penulis asli.
Artikel ini berasal dari akun WeChat publik "QbitAI", penulis: Yunzhong
