【Dẫn nhập】Chỉ sử dụng video RGB đơn nhãn, Do as I Do chuyển đổi các thao tác hàng ngày của con người thành quỹ đạo có thể thực thi bởi Sharpa Wave, bổ sung đường liên kết then chốt từ video đến dữ liệu robot cho các thao tác khéo léo kiểu người.
Con người học các thao tác khéo léo, thường bắt đầu từ việc 'nhìn'.
Trẻ em nhìn người khác đánh trứng, rót nước, đóng đinh, dần dần có thể học được những động tác này thông qua bắt chước. Nhưng robot thì khác. Việc học của robot ngày nay, phần lớn vẫn dựa vào 'làm', chẳng hạn như thao tác từ xa tốn kém, thực thi mô phỏng số lượng lớn, hoặc thu thập dữ liệu trên robot thật trong các cảnh được bố trí cẩn thận.
Thực tế, dữ liệu để robot 'nhìn' đã tồn tại từ lâu. Trên YouTube, các tập dữ liệu góc nhìn thứ nhất và video được tạo ra, đã chứa một lượng khổng lồ tư liệu về sự tương tác giữa tay người và vật thể. Nút thắt thực sự không nằm ở việc thiếu dữ liệu, mà ở khả năng hoàn thành chuyển đổi dữ liệu: làm thế nào để biến những video RGB đơn nhãn có nhiễu này thành quỹ đạo hành động mà bàn tay khéo léo nhiều ngón có thể thực thi?
Quy trình end-to-end do nhóm UC Berkeley đề xuất nhằm giải quyết vấn đề này, nhóm nghiên cứu đã chạy thông đường liên kết hoàn chỉnh đầu tiên có thể tạo ra quỹ đạo thực thi thật trên robot tay khéo léo từ video trên mạng: đầu tiên tái tạo quá trình tương tác tay-vật 4D từ video RGB đơn nhãn trong cảnh thực, sau đó chuyển hướng lại các quỹ đạo tương tác này đến bàn tay khéo léo Sharpa Wave có 22 bậc tự do.
Liên kết bài báo: https://arxiv.org/abs/2606.19333
Liên kết dự án: https://do-as-i-do.com/
Toàn bộ đường dẫn đã tạo ra 500 quỹ đạo đã được xác minh trong 20 loại hành động thao tác, và triển khai 10 nhiệm vụ thực tế trên nền tảng cánh tay robot kép UR3e + tay khéo léo Sharpa Wave kép, với tần số điều khiển 50Hz.
Vấn đề: 'Thấy' ≠ 'Biết làm'
Để mở rộng quy mô dữ liệu cho robot khéo léo, vẫn không thể tránh khỏi ba thách thức cấu trúc:
Tái tạo tương tác tay-vật trong video RGB đơn nhãn vẫn khó ổn định
Video cảnh thực thường tồn tại các vấn đề như mờ chuyển động, che khuất, nhập nhằng về độ sâu, chủng loại vật thể cũng không cố định. Các phương pháp theo dõi như FoundationPose, dưới điều kiện mờ nhẹ cũng có thể mất khóa tư thế. Trong khi một số phương pháp tái tạo liên hợp lại phụ thuộc nhiều hơn vào môi trường phòng thí nghiệm, hoặc chỉ có thể xử lý các loại vật thể được thiết lập trước.
Nếu không có sự tái tạo 4D tay-vật ổn định, video của con người rất khó được sử dụng trong việc học của robot.
Quỹ đạo tham chiếu có nhiễu sẽ làm phương pháp chuyển hướng hành động thất bại
Các phương pháp chuyển hướng hành động nhận thức động lực học trước đây, ví dụ như SPIDER hoặc các phương pháp theo dõi dựa trên học tăng cường (RL), thường giả định đầu vào là dữ liệu chân thật MoCap sạch. Nhưng thực tế, quỹ đạo tham chiếu được tái tạo từ video trên mạng có thể không sạch. Chúng có thể tồn tại sự không liên tục về thời gian, sai lệch quan hệ tiếp xúc, thậm chí chứa trạng thái ban đầu không thể thành lập về mặt vật lý.
Những vấn đề này sẽ ảnh hưởng trực tiếp đến tối ưu hóa tiếp theo. Thí nghiệm trong bài báo cho thấy, việc sử dụng trực tiếp phương pháp tối ưu hóa dựa trên lấy mẫu, trên các quỹ đạo tham chiếu có nhiễu loại này, tỷ lệ thất bại có thể lên tới 75%.
Bản thân thao tác từ xa khó mở rộng quy mô
Thao tác từ xa có thể cung cấp dữ liệu robot thật, nhưng chi phí rất cao. Nó phụ thuộc vào nhân viên vận hành chuyên nghiệp, thiết bị chuyên dụng, và cần được thu thập riêng lẻ xoay quanh từng nhiệm vụ cụ thể. Chỉ dựa vào thao tác từ xa, muốn bao phủ các thao tác phong phú trong một giờ video nấu ăn của con người đã rất khó, chưa nói đến việc bao phủ toàn bộ lượng video khổng lồ của con người trên internet.
Vì vậy, Do as I Do muốn trả lời câu hỏi: Chỉ dựa vào video RGB đơn nhãn, không thiết lập trước tiên nghiệm về nắm bắt, cũng không giới hạn loại vật thể cứng - robot có thể đi từ 'nhìn thấy' đến 'làm được' không?
Giải pháp
Quy trình của Do as I Do được chia thành hai giai đoạn:
Giai đoạn một: Sử dụng khuếch tán có hướng dẫn để ổn định theo dõi vật thể
SAM 3D có thể tạo lưới vật thể cho một hình ảnh đơn khung hình. Nhưng nếu xử lý độc lập từng khung hình, kết quả tạo ra rất dễ trôi, cũng khó duy trì tính liên tục theo thời gian.
Vì vậy Do as I Do thử chọn một khung hình neo cố định, và cố định hình dạng vật thể trong khung hình này. Trong quá trình khớp dòng và khử nhiễu của các khung hình tiếp theo, hệ thống sẽ khiến kết quả lấy mẫu tư thế của khung hình hiện tại tiến gần đến tư thế của khung hình trước đó, từ đó vừa duy trì hình dạng vật thể nhất quán, vừa thu được quỹ đạo tư thế liên tục hơn. Đồng thời, hệ thống cũng sẽ điều chỉnh tư thế một cách thích ứng dựa trên tốc độ quay của vật thể được ước tính từ việc theo dõi điểm 2D. Điều này có thể tránh việc theo dõi quá cứng nhắc, cũng giảm thiểu lật sai.
Trong đánh giá so sánh thủ công trên 150 video cảnh thực, người đánh giá cho rằng kết quả theo dõi của Do as I Do tốt hơn FoundationPose trong 67% mẫu. Trong nhiều mẫu, nhiều người đánh giá đã đưa ra phán đoán nhất quán.
Giai đoạn hai: Chuyển hướng hành động mạnh mẽ hướng đến quỹ đạo tham chiếu có nhiễu
Do as I Do trên cơ sở khung lấy mẫu / tối ưu hóa MPPI của SPIDER, đã bổ sung thêm ba thiết kế, dùng để xử lý quỹ đạo tham chiếu có nhiễu được tái tạo từ video trên mạng:
Tổng hợp các cải tiến này, Do as I Do trên các quỹ đạo tham chiếu cảnh thực có nhiễu, đã nâng tỷ lệ thành công chuyển hướng hành động từ 25% lên 71%.
Kết quả thí nghiệm
Kiểm tra chuẩn năng lực tái tạo (SOTA)
Kiểm tra chuẩn chuyển hướng hành động
Nguồn gốc của 500 quỹ đạo đã được xác minh
Phương pháp này cuối cùng bao phủ 20 loại hành động thao tác. Những hành động này không phải là lấy hoặc đặt đơn thuần, mà là các thao tác phức tạp gần gũi hơn với cuộc sống hàng ngày của con người, bao gồm đặt, lấy, chà rửa, phết, ép, ủi, quét, phủi bụi, đào, xóa, đổ, viết, đánh, khuấy, chọc, nén, khoan, đập, cắt và quét sốt.
Triển khai trên robot thật
Những quỹ đạo này không chỉ dừng lại ở mô phỏng. Nhóm nghiên cứu đã chọn ra 10 hành động đại diện, triển khai lên nền tảng cánh tay robot kép UR3e + tay khéo léo Sharpa Wave kép, hoàn thành việc thực thi thật với tần số điều khiển 50Hz.
Các hành động được triển khai bao phủ các hình dạng vật thể khác nhau và nhiều cách nắm bắt, bao gồm nắm ba ngón kiểu viết, nắm lực, nắm lòng bàn tay và nắm mở song song.
Sharpa Wave có 22 bậc tự do, kích thước gần với bàn tay người, do đó phù hợp hơn để làm bản thể mục tiêu cho việc di chuyển động tác tay người. Các hành động như đánh, khuấy, đập đều cần sự phối hợp của cả hai tay, và những điều này rất khó thực hiện bằng kẹp song song truyền thống. Tần số chuyển đổi cử chỉ trên 4Hz và lực đầu ngón tay 50N của Wave, đủ đáp ứng yêu cầu về lực và tốc độ của những hành động này.
Từ tái tạo, mô phỏng (MuJoCo Warp, 200Hz) đến triển khai thật, nhóm nghiên cứu đều sử dụng Sharpa Wave làm kiểu tay mục tiêu cho việc chuyển hướng hành động, di chuyển quỹ đạo thao tác từ video của con người đến bản thể này.
EgoScale cũng chuyển hướng lại các điểm then chốt của bàn tay người đến kiểu tay này, CAIP thì đánh giá xác minh trên nền tảng Dexmate Vega+ Wave kép. Vì kiểu tay mục tiêu gần với tay người hơn, hệ thống khi di chuyển từ động tác của con người đến việc thực thi trên robot, cần vượt qua sự khác biệt về hình thái cũng nhỏ hơn.
Sổ tay sàng lọc: Tại sao 95% video trên mạng vẫn chưa thể sử dụng trực tiếp
Đối với các nhóm hy vọng sử dụng quy mô lớn dữ liệu video của con người, bao gồm các nhóm nghiên cứu theo hướng như EgoScale, Do as I Do còn đưa ra một nhắc nhở rất thực tế: video không phải càng nhiều càng tốt, việc có thể sàng lọc ra dữ liệu khả dụng hay không cũng quan trọng không kém.
Nhóm nghiên cứu đã phân tích 2000 đoạn video 10 giây trong tập dữ liệu 100DOH (đã qua sàng lọc tương tác tay-vật):
Kết quả rất trực tiếp: nếu không tiền xử lý video gốc trước, đưa trực tiếp video trên mạng vào học robot, dữ liệu thực sự có thể sử dụng có thể chỉ còn lại khoảng một phần hai mươi. Do đó, Do as I Do cũng tổng kết ra một số điểm cần lưu ý khi sàng lọc dữ liệu: kiểm tra xem tay và vật thể có luôn trong khung hình không, xác nhận hành động có vượt qua sự chuyển cảnh không, loại trừ các đoạn có chuyển động camera quá lớn, và nhận diện các trường hợp SAM 3D có thể thất bại. Đối với bất kỳ nhóm nào hy vọng thông suốt quy trình 'từ video con người đến thực thi robot' trên tay khéo léo, quy trình sàng lọc này sẽ trở thành khâu cơ bản không thể bỏ qua.
Kết luận: Video của con người đang trở thành dữ liệu của robot
Trong một thời gian dài trước đây, 'Do as I Do' giống như một lý tưởng trong lĩnh vực trí tuệ nhân tạo (AI): khiến robot hiểu được mẫu hành động của con người, và di chuyển những động tác này lên cơ thể của chúng. Và nghiên cứu của UC Berkeley này đang biến lý tưởng đó thành hiện thực: nhập một liên kết video, hệ thống có thể tái tạo quá trình tương tác tay-vật trong đó, và chuyển đổi nó thành quỹ đạo hành động có thể thực thi bởi Sharpa Wave.
Theo một nghĩa nào đó, tập dữ liệu thao tác lớn nhất thế giới thực ra đã tồn tại từ lâu - chúng ẩn trong những video được mọi người quay lại, tải lên và chia sẻ mỗi ngày. Điều Do as I Do muốn làm, là chuyển đổi những video này thành quỹ đạo khớp 22 bậc tự do mà tay khéo léo có thể thực thi.
Xem, tái tạo, chuyển hướng, và sau đó thực thi trên robot thật.
Tài liệu tham khảo: https://do-as-i-do.com/
Bài viết này đến từ tài khoản công chúng WeChat 'Tân Trí Nguyên', biên tập: LRST
