Selama dua tahun terakhir, fokus persaingan di lintasan robot humanoid, telah berkembang lebih jauh dari perangkat keras mesin ke kemampuan model.
Produsen mesin merilis produk baru secara intensif, video salto, menari, dan maraton bergantian membanjiri layar. Namun, di balik keramaian, industri secara bertahap membentuk konsensus: yang menentukan batas kemampuan robot humanoid, tidak hanya lagi sendi dan motor. Mampu memahami lingkungan, memprediksi perubahan, dan mengoordinasikan seluruh tubuh untuk menyelesaikan tugas, sedang menjadi kunci menuju kegunaan umum.
Model dunia, VLA dan model dasar robot humanoid, juga telah menjadi arah teknologi terpenting di bidang ini dalam dua tahun terakhir.
Di tengah keramaian, tiga tantangan besar tetap menghadang seluruh industri.
Pertama, biaya pengumpulan data demonstrasi robot humanoid fisik tinggi, memerlukan rekaman simultan video sudut pandang orang pertama, data persepsi tubuh dan instruksi seluruh tubuh yang dapat dieksekusi. Dibatasi oleh kesulitan teleoperasi, risiko keamanan, ketersediaan perangkat keras dan keragaman lingkungan, sangat sulit membentuk akumulasi data berskala besar dan berkualitas tinggi dalam waktu singkat.
Kedua, banyak model gerakan dunia yang ada masih mengikuti jalur prediksi video tingkat piksel, dengan beban komputasi besar, dan banyak kapasitas terkuras pada detail tampilan yang tidak terlalu terkait dengan kontrol. Gerakan tubuh robot humanoid yang cepat dan getaran sudut pandang akan semakin memperbesar noise prediksi visual.
Ketiga, banyak skema yang ada masih memodelkan operasi tubuh bagian atas dan kontrol mobilitas secara terpisah, koordinasi tubuh atas dan bawah tidak memadai, sulit mendukung kontrol seluruh tubuh yang alami dan lancar.
Dalam latar belakang ini, perusahaan kecerdasan berwujud Zhi Zai Wu Jie (Being Beyond) merilis Being-M0.7. Ini adalah model gerakan dunia implisit pertama di dunia yang ditujukan untuk operasi bergerak seluruh tubuh robot humanoid (Latent World-Action Model, disingkat Latent WAM), dan juga pertama kalinya di industri yang memperluas kemampuan model dunia implisit dari operasi desktop yang cekatan ke operasi bergerak seluruh tubuh.
- Tautan makalah: https://research.beingbeyond.com/being-m07/being-m07.pdf
- Halaman proyek: https://research.beingbeyond.com/being-m07
Model ini menggunakan lebih dari 10.000 jam data multimodal campuran yang berpusat pada manusia untuk pelatihan awal, kemudian diselesaikan adaptasi tubuh melalui sedikit data demonstrasi mesin fisik, dan telah menyelesaikan berbagai tugas operasi bergerak seluruh tubuh yang menantang pada robot humanoid nyata.
Dari Being-H ke Being-M, Sebuah Jalur Teknologi yang Terus Dihasilkan
Di balik Being-M0.7, adalah sebuah jalur teknologi yang telah dipegang teguh oleh Being Beyond selama bertahun-tahun.
Perusahaan ini adalah salah satu perusahaan kecerdasan berwujud pertama di dunia yang bertaruh pada jalur pelatihan video manusia berskala besar, sekaligus mengembangkan dua jalur model utama yaitu operasi cekatan umum dan operasi cekatan bergerak umum, serta merupakan tim pertama di China yang meluncurkan model gerakan dunia implisit berwujud asli.
Inti dari penilaian jalur ini adalah, data demonstrasi robot fisik mahal dan langka, sulit untuk terus memperluas skala seperti teks dan video internet. Sebaliknya, setiap hari manusia berinteraksi dengan dunia fisik menggunakan sudut pandang orang pertama, data perilaku manusia yang sangat besar ini mengandung prior yang kaya tentang evolusi skenario, dinamika objek dan koordinasi tubuh. Daripada menunggu data robot menumpuk perlahan, lebih baik membiarkan model belajar terlebih dahulu cara kerja dunia dari pengalaman manusia, lalu mentransfer pengetahuan ini ke tubuh robot tertentu.
Being-H0.7 yang dirilis pada April tahun ini, membuktikan kelayakan penilaian ini di sisi operasi cekatan. Model ini memperluas skala data pelatihan menjadi 200.000 jam video manusia, mencapai peringkat pertama global dalam 6 evaluasi internasional, dengan 4 di antaranya menduduki puncak, dan menjadi model dunia berwujud umum pertama yang mencakup tujuh dimensi kritis: lintas tubuh, lintas skenario, dinamis berkelanjutan, fluida, objek fleksibel, hukum fisika dan penalaran konteks.
Being-M0.7 adalah hasil terbaru dari jalur model gerakan dunia implisit ini.
Jika seri Being-H menjawab bagaimana tangan mengoperasikan dunia, Being-M0.7 menjawab bagaimana seluruh tubuh bergerak dan bekerja secara terkoordinasi di dunia. Operasi cekatan bergerak (loco-manipulation) robot humanoid menuntut model untuk secara bersamaan memutuskan ke mana, bagaimana tubuh menghadap, bagaimana tangan dan kaki bekerja sama, bagaimana postur tetap stabil, ini adalah masalah yang sangat terikat secara waktu dan dimensi tubuh, dan juga gerbang kemampuan yang tidak dapat dihindari oleh robot humanoid umum.
Being-M0.7 adalah model gerakan dunia implisit, pertama kali dilatih awal pada video sudut pandang orang pertama dan data gerakan manusia, menggunakan struktur Mixture of Transformers (MoT); kemudian melalui pelatihan ulang ahli gerakan, menyelesaikan implementasi kontrol pada data lintasan robot untuk tugas operasi seluruh tubuh yang beragam.
Berbeda dengan banyak model dunia yang bergantung pada pembuatan video tingkat piksel, Being-M0.7 memprediksi keadaan lingkungan masa depan dalam ruang laten, dan menggabungkannya dengan representasi gerakan seluruh tubuh yang kompak. Prediksi tingkat piksel mahal secara komputasi, dan banyak daya komputasi terkuras pada detail penampilan yang tidak terlalu terkait dengan kontrol, gerakan tubuh sendiri yang cepat dan getaran sudut pandang pada sudut pandang orang pertama akan membuat prediksi penuh dengan noise. Prediksi ruang laten memusatkan kemampuan pemodelan pada struktur yang benar-benar terkait dengan kontrol seperti keadaan semantik, tata letak objek dan evolusi skenario, yang mempertahankan sifat model dunia untuk memprediksi masa depan sekaligus secara signifikan mengurangi beban komputasi.
Pemahaman Fisika, Bagaimana Dikonversi Menjadi Tindakan Seluruh Tubuh?
Apakah model benar-benar memiliki kemampuan operasi bergerak seluruh tubuh, pada akhirnya harus kembali diuji dalam skenario nyata.
Being Beyond mengumumkan empat Demo mesin fisik seputar Being-M0.7, mencakup empat jenis skenario yang sangat menantang: interaksi cairan, penalaran cermin, tugas jarak jauh, dan penghindaran rintangan terhalang.
Tugas-tugas ini bersama-sama menguji satu masalah: dapatkah robot menghasilkan gerakan seluruh tubuh yang sesuai dengan skenario saat ini secara berkelanjutan berdasarkan prediksi terhadap lingkungan dan perubahan masa depan.
Menangkap Ikan di Akuarium
Robot berjalan ke depan tangki air, menggunakan jaring tangan untuk menangkap mainan ikan di dalam air. Cairan tidak memiliki bentuk tetap, akan mengalir, dan menghasilkan gaya apung dan hambatan pada benda yang terendam, refraksi permukaan air juga akan menggeser posisi visual target di bawah air. Robot harus memahami interaksi antara air, jaring, dan ikan, dalam kondisi informasi visual terdistorsi oleh air, mengoordinasikan lengan untuk menyelesaikan penangkapan target dinamis yang menggunakan alat. Tugas ini menguji kemampuan prediksi keadaan masa depan, penggunaan alat dan koordinasi gerakan di bawah dinamika objek yang tidak pasti.
Untuk bagian menangkap ikan dalam tugas ini, Being-M0.7 masing-masing berhasil 3 kali dalam 5 pengujian. Sebagai perbandingan,
adalah 2/5, GR00T-N1.6 adalah 1/5.
Mengambil Barang Melalui Cermin
Di depan robot ada kotak yang hanya terbuka di bagian belakang dan samping, barang di dalam kotak sama sekali tidak terlihat dari sudut pandang robot sendiri, satu-satunya petunjuk berasal dari pantulan di cermin di depan. Robot perlu berdasarkan gambar di cermin, menyimpulkan posisi objek tersembunyi dalam ruang tiga dimensi nyata, lalu mendekati kotak dan meraihnya. Ini menuntut model untuk memahami hubungan spasial dan prinsip pantulan cermin antara cermin, kotak dan benda, dalam kondisi observasi parsial, mengubah bukti visual tidak langsung menjadi tindakan yang dapat dieksekusi.
Dalam tes perbandingan mesin fisik dengan
, GR00T-N1.6, dengan pengaturan jarak 0.5 meter dan 1 meter, Being-M0.7 masing-masing berhasil 3 kali dan 1 kali dalam 5 pengujian, secara keseluruhan 4/10;
dan GR00T secara keseluruhan masing-masing 1/10.
Hasil ini menunjukkan, Being-M0.7 menunjukkan kemampuan adaptasi yang lebih kuat dalam tugas observasi parsial yang memerlukan penalaran visual tidak langsung, pendekatan seluruh tubuh dan penangkapan halus.
Bergerak Meletakkan dan Mengambil Barang
Robot berjalan ke meja, memindahkan roti baguette dari satu keranjang ke keranjang lain, lalu mengambil buket bunga dari keranjang dan berbalik pergi. Tugas terdiri dari beberapa subtugas yang dirangkai, robot perlu beralih secara berkelanjutan antara berjalan, mengambil, memindahkan, berbalik dan perilaku lainnya, dan mempertahankan pemahaman berkelanjutan terhadap skenario selama proses. Ini tidak hanya menguji keberhasilan penangkapan tunggal, tetapi juga pemeliharaan keadaan dalam tugas jarak jauh, penalaran spasial tingkat objek, dan kerja sama seluruh tubuh antara mobilitas dan operasi cekatan.
Memindahkan Kotak dan Menghindari Rintangan
Robot membawa kotak maju, setelah rintangan muncul di depan, ia tidak sepenuhnya berhenti dan merencanakan ulang, melainkan menyesuaikan orientasi tubuh, menyamping dan melewati ruang sempit di antara rintangan. Membawa objek mengisi sebagian pandangan sudut pandang orang pertama, juga mengubah beban dan pusat gravitasi robot. Model perlu menggabungkan informasi lingkungan yang ada dan umpan balik real-time, menilai area yang dapat dilalui, menyesuaikan arah berjalan dan sikap seluruh tubuh, sambil menjaga keseimbangan diri dan stabilitas objek yang dibawa. Pergerakan multi-arah, penghindaran rintangan dan operasi persepsi beban, digabungkan ke dalam perilaku loop tertutup yang sama di sini.
Demonstrasi ini menunjukkan, robot tidak mengeksekusi menurut lintasan tetap secara loop terbuka, melainkan terus menghasilkan dan mengoreksi gerakan seluruh tubuh berdasarkan pengamatan saat ini, umpan balik real-time dan prediksi masa depan.
Arsitektur MoT dan Representasi Gerakan Terpadu, Memecahkan Masalah Kelangkaan Data Berwujud
Yang mendukung kemampuan di atas adalah sekumpulan desain kunci Being-M0.7 di tingkat data dan arsitektur.
Robot humanoid perlu menyelesaikan persepsi spasial melalui informasi visual sudut pandang orang pertama, dan juga mengeluarkan perintah gerakan dan kontrol yang akan dieksekusi di masa depan. Data gerakan manusia berkualitas tinggi biasanya memerlukan perangkat motion capture, sementara data berpasangan sudut pandang orang pertama yang selaras antara visual dan gerakan lebih langka.
Jika sebuah model hanya dapat menggunakan data yang sekaligus mengandung visual dan gerakan, skala data yang dapat dilatih akan sangat terbatas. Masalah yang dipecahkan Being-M0.7 adalah bagaimana membuat data berpasangan, data video murni dan data gerakan murni bersama-sama berpartisipasi dalam pelatihan.
Pilihan Being Beyond adalah Vision-Motion MoT (Mixture-of-Transformers, Arsitektur Multimodal Transformer Campuran). Vision-Motion MoT mempertahankan modul proyeksi dan pemrosesan khusus modalitas masing-masing untuk visual dan gerakan, sambil melakukan interaksi lintas modalitas melalui perhatian multimodal bersama. Perubahan keadaan visual dan gerakan berkelanjutan memiliki distribusi data yang berbeda, tidak harus dimasukkan ke dalam sistem parameter yang sama persis; ketika dua modalitas ada bersamaan, mereka dapat bertukar informasi dalam konteks bersama.
Ini memungkinkan model untuk secara bersamaan kompatibel dengan tiga jenis data.
Untuk data berpasangan video - gerakan, model belajar bersama keadaan lingkungan masa depan dan lintasan gerakan; untuk data video murni, hanya menghitung target pelatihan cabang visual; untuk data gerakan murni, hanya melatih cabang gerakan. Data dari berbagai sumber dibatasi bersama oleh model melalui target pelatihan yang sama, tanpa perlu melatih beberapa sistem modalitas tunggal yang terpisah satu sama lain.
Dari sudut pandang pemodelan probabilitas, data berpasangan menggambarkan hubungan gabungan antara visual dan gerakan, data modalitas tunggal menyediakan batasan marginal untuk distribusi gabungan ini. Bahkan jika modalitas data tidak lengkap, dapat dimasukkan ke dalam kerangka pelatihan yang sama.
Ikhtisar kerangka pelatihan Being-M0.7. Kiri atas: Data pelatihan awal terdiri dari data berpasangan video - gerakan, data video murni dan data gerakan murni. Kiri bawah: Tim penelitian membangun satu set representasi gerakan terpadu yang dibagi antara manusia dan robot humanoid, menyediakan sinyal pengawasan dan umpan balik yang lebih kaya untuk pelatihan dan inferensi. Kanan: Kanan: Arsitektur model keseluruhan Being-M0.7.
Berdasarkan arsitektur ini, tim membangun data pelatihan awal multimodal campuran lebih dari 10.000 jam, mencakup video sudut pandang orang pertama manusia, data berpasangan video sudut pandang orang pertama dan gerakan, serta urutan gerakan manusia murni.
Resep Data (Data Recipe) Being-M0.7. Korp pelatihan awal berasal dari beberapa kumpulan data eksternal publik, termasuk Ego4D, Xperience, Nymeria, Bones-SEED, SnapMoGen, HumanML3D dan Lafan1; juga termasuk kumpulan data internal.
Desain kunci lainnya adalah representasi gerakan terpadu yang dibagi antara manusia dan robot humanoid.
Being-M0.7 mengusulkan representasi tindakan terpadu, mengubah data gerakan manusia dari berbagai sumber menjadi representasi terpadu dengan kepala sebagai simpul akar, membuatnya secara alami selaras dengan visual sudut pandang orang pertama. Melalui pemrosesan standarisasi seperti penyelarasan sistem koordinat, menghilangkan orientasi awal, mengurangi perbedaan distribusi antara kumpulan data yang berbeda, meningkatkan konsistensi lintas sumber data.
Lebih lanjut, Being-M0.7 mengadopsi representasi gerakan kompak yang hanya mempertahankan kepala, kedua tangan dan kedua kaki, dalam mempertahankan informasi interaksi dan kontak kunci sambil efektif menjembatani perbedaan bentuk antara manusia dan robot. Representasi ini tidak hanya menyediakan sinyal pengawasan yang lebih kaya daripada label tindakan untuk pelatihan ulang robot, tetapi juga dapat memberikan umpan balik tingkat gerakan pada fase inferensi, mendukung kontrol kooperatif seluruh tubuh.
Pada fase pelatihan awal, model memetakan gambar ke ruang laten melalui encoder visual, dan menggunakan representasi gerakan terpadu kompak. Model dilatih menggunakan target pencocokan aliran (Flow Matching), berdasarkan riwayat visual - gerakan dalam waktu singkat dan instruksi tugas, memprediksi perubahan keadaan masa depan dan lintasan gerakan secara bersama.
Pada tahap pengumpulan data mesin fisik, tim membangun sistem teleoperasi seluruh tubuh berbasis PICO VR. Operator mengenakan headset PICO, dua pelacak pergelangan kaki dan dua pengontrol genggam, sistem VR memperkirakan postur manusia secara real-time, kemudian melalui pengontrol gerakan seluruh tubuh mengubahnya menjadi perintah kontrol seluruh tubuh 29 derajat kebebasan yang dapat dieksekusi oleh Unitree G1. Saat robot mengeksekusi tindakan secara teleoperasi, merekam gambar sudut pandang orang pertama kamera RGB onboard, persepsi tubuh dan perintah kontrol gerakan. Sebagai data penyetelan ulang pelatihan Being-M0.7 pada tugas tertentu.
Sistem pengumpulan data mesin fisik Being-M0.7. Operator memberikan perintah gerakan seluruh tubuh melalui perangkat VR, sistem mengubah postur manusia menjadi perintah kontrol robot, dan secara bersamaan mengumpulkan gambar sudut pandang orang pertama, persepsi tubuh dan lintasan gerakan.
Karena model telah membangun prior visual - gerakan pada fase pelatihan awal, data mesin fisik tidak lagi perlu mengajarkan semua hukum gerakan dari awal, terutama menanggung dua tugas: pertama, menerapkan prior pelatihan awal ke ruang kontrol spesifik robot humanoid; kedua, belajar perintah kontrol tingkat rendah dan mekanisme umpan balik yang diperlukan oleh robot nyata. Proses ini diselesaikan oleh ahli gerakan ringan (Action Expert). Ahli gerakan membaca keadaan tersembunyi menengah dari Latent WAM, menggunakannya sebagai konteks perencanaan tingkat tinggi, lalu menggabungkan pengamatan visual saat ini, informasi persepsi tubuh dan kemajuan eksekusi, menghasilkan potongan tindakan yang dapat langsung dieksekusi oleh robot.
Fase inferensi, model menghasilkan perencanaan video–gerakan masa depan dengan frekuensi rendah, dan mengubah keadaan tersembunyi menengahnya menjadi cache strategi yang dapat digunakan kembali (KV Cache). Representasi gerakan terpadu tidak hanya menggabungkan umpan balik visual dan persepsi tubuh, tetapi juga menggunakan keadaan gerakan terbaru robot untuk mengoreksi perencanaan gerakan seluruh tubuh yang diprediksi, memungkinkan strategi merespons secara tepat waktu deviasi gerakan tubuh dan end-effector. Ahli gerakan kemudian menggunakan kembali KV Cache saat ini, menghasilkan tindakan secara berkelanjutan dengan frekuensi tinggi, dan secara mulus menggabungkan umpan balik robot terbaru saat cache diperbarui. Desain ini mewujudkan pemisahan perencanaan dunia frekuensi rendah dan kontrol tindakan frekuensi tinggi, dalam menjamin real-time sambil membuat robot selalu dipandu oleh perencanaan jangka panjang dan umpan balik real-time bersama.
Paradigma Fusi yang Dapat Diperluas, Menuju Kecerdasan Berwujud yang Lebih Umum
Arsitektur Vision-Motion MoT tidak hanya bermakna dalam menyelesaikan masalah pelatihan model Being-M0.7 ini, tetapi menetapkan satu set paradigma fusi multimodal yang dapat diperluas secara berkelanjutan.
Perubahan paling langsung dari paradigma ini terjadi pada tingkat data.
Data multimodal campuran lebih dari 10.000 jam, memperluas sumber sinyal pengawasan yang dapat digunakan untuk pelatihan model robot humanoid, dari demonstrasi mesin fisik robot yang mahal dan langka, ke data perilaku manusia yang sangat besar. Longgarnya hambatan data adalah prasyarat bagi Scaling Law apa pun.
Pada saat yang sama, Being-M0.7 juga menyesuaikan urutan pembelajaran model.
Sebelum diadaptasi menjadi perintah yang dapat dieksekusi robot, model pertama kali belajar konteks visual, dinamika masa depan dan struktur kinematika humanoid dari data berpusat manusia berskala besar. Kemudian, ahli gerakan mengubah prediksi dan prior gerakan ini menjadi perintah kontrol untuk robot tertentu. Dengan kata lain, model pertama membangun kemampuan prediksi terhadap keadaan masa depan dan gerakan tubuh, kemudian belajar bagaimana bertindak pada tubuh tertentu. Ini membentuk perbedaan penting dengan skema pembelajaran tiruan tradisional yang langsung belajar pemetaan tindakan dari demonstrasi robot. Yang terakhir sering kali dimulai dari "melihat apa, menghasilkan tindakan apa", Being-M0.7 menambahkan lapisan pemodelan gabungan keadaan - gerakan masa depan sebelum pembuatan tindakan.
Lebih penting lagi, arsitektur ini tidak mengharuskan semua data tambahan memiliki pasangan visual - gerakan yang lengkap. Setelah dibersihkan dan diproses, video manusia dan urutan gerakan murni dapat dimasukkan ke dalam model yang sama. Seiring dengan perluasan skala data lebih lanjut, paradigma fusi ini juga diharapkan dapat terus memperluas batas kemampuan.
Ditempatkan dalam sistem koordinat seluruh industri, rilis Being-M0.7 mungkin mewakili perubahan logika persaingan robot humanoid.
Selama beberapa tahun terakhir, perhatian industri lebih terfokus pada siapa yang tubuhnya lebih fleksibel, siapa yang demonstrasi gerakannya lebih mengesankan. Seiring dengan peningkatan kinerja perangkat keras yang berkelanjutan, apakah model dapat memahami skenario, memprediksi perubahan dan menghasilkan gerakan seluruh tubuh yang terkoordinasi, serta apakah di belakangnya ada sistem data yang dapat terus diperbesar, akan semakin menjadi kunci untuk menciptakan jarak.
Perkembangan model bahasa besar telah membuktikan, data yang dapat diskalakan dan pelatihan roda terbang, sering menentukan seberapa jauh suatu jalur teknologi akhirnya dapat berjalan. Kecerdasan berwujud sedang berada pada titik kritis yang serupa: data mesin fisik tidak dapat tumbuh cepat seperti korpus internet, dari mana lagi robot bisa mendapatkan pengalaman yang diperlukan untuk evolusi berkelanjutan?
Dari Being-H ke Being-M, penilaian Being Beyond adalah membiarkan robot pertama kali belajar dunia dari perilaku manusia, kemudian mengubah pengetahuan ini menjadi tindakan dalam ruang fisik nyata.
Ketika pemahaman menjadi prasyarat tindakan, robot humanoid umum benar-benar keluar dari narasi laboratorium, mulai menuju dunia fisik berbagai industri.
Artikel ini dari akun WeChat publik "机器之心" (ID:almosthuman2014), penulis: Yang Wen
