Robot Belajar Operasi dari Video, UC Berkeley Pertama Kali Menghubungkan Video Internet dengan Penerapan pada Robot Tangan Lincah di Dunia Nyata
**Ringkasan: Robot Belajar dari Video untuk Operasi Manual, Peneliti UC Berkeley Pertama Kali Menerapkan Jaringan dari Video Internet ke Penerapan Aktual pada Tangan Robot Lincah**
Peneliti UC Berkeley memperkenalkan metode "Do as I Do," sebuah alur kerja yang pertama kali berhasil mengubah video RGB monokular sehari-hari manusia menjadi lintasan gerak yang dapat dieksekusi oleh tangan robot lincah Sharpa Wave. Penelitian ini mengatasi tantangan utama: mengubah data video yang berisik menjadi instruksi yang dapat dijalankan robot.
Prosesnya terdiri dari dua tahap:
1. **Pelacakan 4D Tangan-Benda yang Stabil:** Menggunakan model difusi terpandu untuk merekonstruksi interaksi tangan-benda dari video, mempertahankan kontinuitas dan mengurangi kesalahan.
2. **Pengalihan Aksi yang Tangguh:** Memodifikasi metode pengalihan aksi (seperti SPIDER) dengan penyesuaian agar dapat memproses lintasan referensi yang berisik dari video, meningkatkan tingkat keberhasilan dari 25% menjadi 71%.
Sistem ini telah menghasilkan 500 lintasan gerak yang divalidasi untuk 20 jenis operasi seperti menulis, menuang, mengaduk, dan memalu. Lintasan ini telah berhasil dijalankan pada platform robot nyata dengan lengan UR3e ganda dan sepasang tangan Sharpa Wave (22 derajat kebebasan).
Penelitian ini juga menyoroti bahwa tidak semua video internet dapat langsung digunakan. Analisis menunjukkan bahwa hanya sekitar 5% dari klip video yang disaring untuk interaksi tangan-benda yang benar-benar dapat diproses menjadi data robot yang andal, menekankan pentingnya penyaringan data yang cermat.
Pada intinya, "Do as I Do" mengubah video manusia menjadi kumpulan data operasi berskala besar untuk robot, membuka jalur baru bagi robot untuk belajar dari banyaknya video yang ada di internet.
marsbit07/06 07:22
