【Panduan】Hanya dengan video RGB monokular, Do as I Do mengubah operasi manusia sehari-hari menjadi lintasan yang dapat dieksekusi oleh Sharpa Wave, melengkapi mata rantai kunci dari video hingga data robot untuk operasi lincah seperti manusia.
Manusia belajar operasi lincah, sering kali dimulai dari "melihat".
Anak-anak melihat orang lain mengocok telur, menuang air, memaku, perlahan-lahan bisa belajar meniru gerakan-gerakan ini. Tapi robot berbeda. Pembelajaran robot saat ini lebih banyak mengandalkan "melakukan", seperti teleoperasi yang biayanya tinggi, eksekusi simulasi dalam jumlah besar, atau pengumpulan data robot fisik di lingkungan yang diatur dengan cermat.
Faktanya, data untuk robot "melihat" sudah ada. YouTube, dataset perspektif pertama, dan video generatif, sudah mengandung banyak sekali materi interaksi tangan manusia dengan objek. Hambatan sebenarnya bukan pada kurangnya data, tapi pada apakah bisa menyelesaikan konversi data: bagaimana mengubah video RGB monokular berisik ini menjadi lintasan gerakan yang bisa dieksekusi oleh tangan lincah multi-jari?
Alur end-to-end yang diusulkan tim UC Berkeley bertujuan untuk memecahkan masalah ini, tim peneliti berhasil menjalankan mata rantai lengkap pertama yang mampu menghasilkan lintasan eksekusi untuk tangan lincah fisik dari video internet: pertama merekonstruksi proses interaksi tangan-objek 4D dari video RGB monokular dalam skenario nyata, kemudian meretargetkan lintasan interaksi ini ke tangan lincah Sharpa Wave dengan 22 derajat kebebasan.
Tautan makalah: https://arxiv.org/abs/2606.19333
Tautan proyek: https://do-as-i-do.com/
Seluruh jalur menghasilkan 500 lintasan yang telah divalidasi dalam 20 jenis aksi operasi, dan diterapkan pada platform lengan mekanik ganda UR3e + tangan lincah ganda Sharpa Wave untuk 10 tugas nyata dengan frekuensi kontrol 50Hz.
Masalah: "Melihat" ≠ "Bisa Melakukan"
Untuk membuat data robot lincah berskala besar, masih sulit menghindari tiga tantangan struktural:
Interaksi tangan-objek dalam video RGB monokular masih sulit direkonstruksi dengan stabil
Video skenario nyata sering kali memiliki masalah seperti blur gerakan, oklusi, ambiguitas kedalaman, dan jenis objek yang tidak tetap. Metode pelacakan seperti FoundationPose bisa kehilangan kuncian pose bahkan pada blur ringan. Sementara beberapa metode rekonstruksi gabungan lebih bergantung pada lingkungan laboratorium, atau hanya bisa menangani kategori objek yang sudah ditentukan sebelumnya.
Tanpa rekonstruksi tangan-objek 4D yang stabil, video manusia sulit digunakan dalam pembelajaran robot.
Lintasan referensi berisik bisa menyebabkan retargetting aksi gagal
Metode retargetting aksi sadar dinamika sebelumnya, seperti SPIDER atau metode pelacakan berbasis Reinforcement Learning (RL), biasanya mengasumsikan input adalah data ground truth MoCap yang bersih. Namun faktanya, lintasan referensi yang direkonstruksi dari video internet mungkin tidak bersih. Mereka mungkin memiliki ketidakkontinuan waktu, hubungan kontak yang salah, bahkan mengandung kondisi awal yang secara fisik tidak mungkin.
Masalah-masalah ini secara langsung mempengaruhi optimasi selanjutnya. Eksperimen makalah menunjukkan, penggunaan langsung metode optimasi berbasis sampling pada lintasan referensi berisik semacam ini bisa mencapai tingkat kegagalan 75%.
Teleoperasi itu sendiri sulit untuk diskalakan
Teleoperasi dapat menyediakan data robot nyata, tetapi biayanya tinggi. Ia bergantung pada operator profesional, perangkat khusus, dan perlu dikumpulkan satu per satu untuk setiap tugas tertentu. Hanya mengandalkan teleoperasi, sulit untuk mencakup operasi kaya dalam satu jam video memasak manusia, apalagi mencakup video manusia dalam jumlah besar di seluruh internet.
Jadi, Do as I Do ingin menjawab pertanyaan: Hanya dengan video RGB monokular, tanpa prasyarat pegangan, dan tanpa membatasi kategori objek kaku — bisakah robot berangkat dari "melihat" menuju "melakukan"?
Solusi
Alur Do as I Do dibagi menjadi dua tahap:
Tahap Satu: Menggunakan difusi terbimbing untuk melacak objek secara stabil
SAM 3D dapat menghasilkan mesh objek untuk satu frame gambar. Tetapi jika setiap frame diproses secara independen, hasil yang dihasilkan mudah melayang, dan sulit mempertahankan kontinuitas waktu.
Jadi Do as I Do mencoba memilih frame jangkar terlebih dahulu, dan memperbaiki bentuk objek pada frame ini. Dalam proses denoising matching flow pada frame berikutnya, sistem akan membuat hasil sampling pose frame saat ini mendekati pose frame sebelumnya, sehingga mendapatkan lintasan pose yang lebih kontinu sambil mempertahankan konsistensi bentuk objek. Secara bersamaan, sistem juga akan menyesuaikan pose secara adaptif berdasarkan kecepatan rotasi objek yang diperkirakan dari pelacakan titik 2D. Ini dapat menghindari pelacakan yang terlalu kaku, dan mengurangi kesalahan pembalikan.
Dalam evaluasi perbandingan manual terhadap 150 video skenario nyata, penilai menganggap hasil pelacakan Do as I Do lebih baik daripada FoundationPose pada 67% sampel. Pada banyak sampel, beberapa penilai memberikan penilaian yang konsisten.
Tahap Dua: Retargetting Aksi yang Tangguh untuk Lintasan Referensi Berisik
Do as I Do, berdasarkan kerangka kerja optimasi sampling / MPPI SPIDER, menambahkan tiga desain lagi, digunakan untuk menangani lintasan referensi berisik yang direkonstruksi dari video internet:
Dengan peningkatan komprehensif ini, Do as I Do berhasil meningkatkan tingkat keberhasilan retargetting aksi pada lintasan referensi skenario nyata berisik dari 25% menjadi 71%.
Hasil Eksperimen
Uji Tolok Ukur Kemampuan Rekonstruksi (SOTA)
Uji Tolok Ukur Retargetting Aksi
Sumber Data 500 Lintasan yang Telah Divalidasi
Metode ini akhirnya mencakup 20 jenis aksi operasi. Aksi-aksi ini bukan hanya mengambil atau menempatkan yang tunggal, tetapi operasi kompleks yang lebih dekat dengan kehidupan sehari-hari manusia, termasuk menempatkan, mengambil, menggosok, mengoles, memeras, menyetrika, menggosok, membersihkan debu, menggali, menghapus, menuang, menulis, mengocok, mengaduk, menusuk, memadatkan, mengebor, memalu, memotong, dan mengoles saus.
Penerapan di Robot Fisik
Lintasan-lintasan ini tidak hanya berhenti di simulasi. Tim peneliti memilih 10 aksi representatif dari antaranya, diterapkan pada platform lengan mekanik ganda UR3e + tangan lincah ganda Sharpa Wave, menyelesaikan eksekusi fisik dengan frekuensi kontrol 50Hz.
Aksi yang diterapkan mencakup bentuk objek berbeda dan berbagai cara pegangan, termasuk pegangan tiga jari gaya menulis, pegangan kekuatan, pegangan palmar, dan pegangan ekstensi paralel.
Sharpa Wave memiliki 22 derajat kebebasan, skalanya mendekati tangan manusia, sehingga lebih cocok sebagai target transfer gerakan tangan manusia. Aksi seperti mengocok, mengaduk, memalu memerlukan koordinasi kedua tangan, dan ini sulit diwujudkan dengan gripper paralel tradisional. Frekuensi pergantian gestur lebih dari 4Hz dan gaya ujung jari 50N Wave, mampu menopang tuntutan kekuatan dan kecepatan aksi-aksi ini.
Dari rekonstruksi, simulasi (MuJoCo Warp, 200Hz) hingga penerapan nyata, tim peneliti menggunakan Sharpa Wave sebagai target retargetting aksi, mentransfer lintasan operasi dari video manusia ke platform ini.
EgoScale juga meretargetkan titik kunci tangan manusia ke platform ini, CAIP melakukan evaluasi validasi pada platform Dexmate Vega + Wave ganda. Karena target platform lebih dekat dengan tangan manusia, sistem memerlukan perbedaan bentuk yang lebih kecil saat mentransfer dari gerakan manusia ke eksekusi robot.
Manual Penyaringan: Mengapa 95% Video Internet Masih Tidak Bisa Langsung Digunakan
Bagi tim yang berharap memanfaatkan data video manusia secara skala besar, termasuk tim peneliti di bidang seperti EgoScale, Do as I Do juga memberikan pengingat yang sangat praktis: video bukan semakin banyak semakin baik, kemampuan menyaring data yang dapat digunakan juga sama pentingnya.
Tim peneliti menganalisis 2000 klip video 10 detik dalam dataset 100DOH (yang telah disaring untuk interaksi tangan-objek):
Hasilnya langsung: Jika tidak melakukan pra-pemrosesan terlebih dahulu pada video mentah, langsung memasukkan video internet ke pembelajaran robot, data yang benar-benar dapat digunakan mungkin hanya tinggal sekitar seperdua puluh. Oleh karena itu, Do as I Do juga merangkum poin-poin penting penyaringan data: memeriksa apakah tangan dan objek selalu berada dalam bingkai, mengonfirmasi apakah aksi melintasi perpindahan kamera, mengesampingkan segmen dengan gerakan kamera terlalu besar, dan mengidentifikasi situasi di mana SAM 3D mungkin gagal. Bagi tim mana pun yang berharap menyelesaikan alur "video manusia ke eksekusi robot" pada tangan lincah, proses penyaringan ini akan menjadi bagian dasar yang tidak bisa dihindari.
Kesimpulan: Video Manusia Sedang Menjadi Data Robot
Dalam waktu yang sangat lama, "Do as I Do" lebih mirip cita-cita di bidang kecerdasan buatan (AI): membuat robot memahami demonstrasi manusia, dan mentransfer aksi-aksi ini ke tubuh mereka sendiri. Dan penelitian UC Berkeley ini sedang mengubah cita-cita itu menjadi kenyataan: memasukkan satu tautan video, sistem dapat merekonstruksi proses interaksi tangan-objek di dalamnya, dan mengubahnya menjadi lintasan aksi yang dapat dieksekusi oleh Sharpa Wave.
Dalam arti tertentu, dataset operasi terbesar di dunia sebenarnya sudah ada — mereka tersembunyi dalam video yang direkam, diunggah, dan dibagikan orang setiap hari. Yang dilakukan Do as I Do adalah mengubah video-video ini menjadi lintasan sendi 22 derajat kebebasan yang dapat dieksekusi oleh tangan lincah.
Menonton, merekonstruksi, meretarget, kemudian mengeksekusi pada robot nyata.
Referensi: https://do-as-i-do.com/
Artikel ini berasal dari akun WeChat "Xin Zhi Yuan", editor: LRST
