Robot Học Thao Tác Từ Video, Lần Đầu Berkeley Thành Công Triển Khai Đường Link Từ Video Internet Đến Tay Khéo Léo Triển Khai Trên Robot Thật
**UC Berkeley nghiên cứu đột phá: Robot học thao tác từ video Internet và triển khai trên tay máy khéo léo thực tế**
Nhóm nghiên cứu UC Berkeley đã giới thiệu "Do as I Do", một quy trình đầu-cuối lần đầu tiên chuyển đổi video RGB đơn sắc về thao tác của con người thành quỹ đạo có thể thực thi trên tay máy khéo léo Sharpa Wave, hoàn thiện con đường từ dữ liệu video đến robot.
Vấn đề cốt lõi là ba thách thức: khó khăn trong việc tái tạo ổn định tương tác tay-vật thể từ video, nhiễu trong dữ liệu tham chiếu dẫn đến thất bại khi định hướng lại hành động, và chi phí cao của việc vận hành từ xa.
Giải pháp chia làm hai giai đoạn chính:
1. **Theo dõi vật thể ổn định:** Sử dụng mô hình khuếch tán có hướng dẫn để duy trì tính liên tục về thời gian và hình dạng vật thể, vượt trội hơn so với các phương pháp trước đó như FoundationPose trong đánh giá thủ công.
2. **Định hướng lại hành động mạnh mẽ:** Cải tiến khung tối ưu hóa SPIDER/MPPI bằng cách bổ sung chi phí tránh nhiễu, chi phí căn chỉnh lòng bàn tay và cơ chế khởi tạo thông minh, nâng tỷ lệ thành công từ 25% lên 71% khi xử lý quỹ đạo tham chiếu có nhiễu.
Kết quả: Hệ thống tạo ra 500 quỹ đạo đã được xác minh cho 20 loại thao tác phức tạp (như đánh trứng, khuấy, đóng đinh). 10 hành động đại diện đã được triển khai thành công trên phần cứng thực gồm hai cánh tay robot UR3e và hai bàn tay khéo léo Sharpa Wave (22 bậc tự do) với tần số điều khiển 50Hz. Nghiên cứu cũng chỉ ra rằng chỉ khoảng 5% video internet là có thể sử dụng trực tiếp, đồng thời đề xuất một quy trình lọc dữ liệu thiết yếu.
Công trình này đánh dấu một bước tiến quan trọng trong việc khai thác kho dữ liệu video khổng lồ trên internet để huấn luyện robot thực hiện các thao tác khéo léo một cách tự động và có thể mở rộng.
marsbit07/06 07:21
