Ngọn núi của robot đa năng, nó cao đến mức nào?
Một năm qua, VLA, mô hình cơ bản của robot, mô hình thế giới lần lượt xuất hiện.
Các demo ngày càng trở nên mượt mà: xếp bát, cắm ống, thu dọn, rót nước, sắp xếp bàn làm việc, robot dường như cuối cùng cũng bắt đầu hiểu lời nói của con người, hiểu thế giới, và thực hiện công việc bằng tay.
Nhưng vấn đề là: những mô hình này thực sự mạnh hơn ở điểm nào? Mạnh ở đâu? Có thể đi từ mô phỏng đến thế giới thực hay không? Còn cách robot thao tác đa năng thực sự bao xa?
Bây giờ, một 'bản đồ lộ trình leo núi' mới đã xuất hiện.
Đội ngũ trước đây từng cho ra mắt chuẩn mực series RoboTwin, giờ đây lại mang đến RoboDojo: một chuẩn mực đánh giá thao tác robot thống nhất, bao gồm cả mô phỏng và thế giới thực.
Website: https://robodojo-benchmark.com/arXiv: https://arxiv.org/abs/2607.04434Leaderboard: https://robodojo-benchmark.com/LeaderBoardBenchmark code: https://github.com/RoboDojo-Benchmark/RoboDojoXPolicyLab code: https://github.com/XPolicyLab/XPolicyLabCommunity: https://robodojo-benchmark.com/community
Nó không chỉ là một chuẩn mực khác, mà giống như đã dựng lên một 'đỉnh Everest' cho trí tuệ cụ thân:
42 nhiệm vụ mô phỏng, 18 nhiệm vụ robot thực tế, 30 chiến lược robot chủ đạo cùng thi đấu, bao phủ năm khả năng: khái quát hóa, ghi nhớ, thao tác tinh tế, thực thi tầm xa, hiểu ngữ nghĩa mở.
Kết quả rất trực tiếp, và cũng rất khắc nghiệt:
Chiến lược robot đa năng mạnh nhất hiện nay, tỷ lệ thành công trung bình trong mô phỏng cũng chỉ là 8.80%. Đến thế giới thực, tỷ lệ thành công trung bình của mô hình tốt nhất cũng chỉ là 12.8%.
Còn chuyên gia con người thì sao? Trong mô phỏng là 76.03%, thế giới thực là 100%.
Các mô hình cơ bản của robot trông có vẻ đã bắt đầu leo lên đỉnh Everest của cụ thân, nhưng bảng xếp hạng RoboDojo cho thấy: phần lớn chúng vẫn đang ở chân núi thích ứng với độ cao.
Trước hết hãy xem thiết kế nhiệm vụ: Tại sao ngọn núi này lại khó?
Điểm khó của RoboDojo không nằm ở việc đơn thuần tăng số lượng nhiệm vụ, mà ở chỗ nó phân tách khả năng thao tác của robot thành một nhóm 'cửa ải leo núi' gần hơn với thế giới thực.
Trong môi trường mô phỏng, RoboDojo đã thiết kế 42 nhiệm vụ, xoay quanh năm khả năng cốt lõi:
Generalization (Khái quát hóa), xem mô hình có thể thích ứng với bối cảnh mới, ánh sáng mới, vật thể mới và các tình huống phức tạp lộn xộn hay không.
Memory (Ghi nhớ), xem mô hình có thể ghi nhớ thông tin đã thấy trước đó và sử dụng trong các hành động tiếp theo hay không.
Precision (Độ chính xác), xem mô hình có thể hoàn thành các thao tác yêu cầu độ chính xác cao như lắp ghép, căn chỉnh, tiếp xúc chính xác hay không.
Long-Horizon (Tầm xa), xem mô hình có thể hoàn thành các nhiệm vụ nhiều bước, phụ thuộc mạnh, nơi sai số có thể tích lũy hay không.
Open (Mở), xem mô hình có thể hiểu các chỉ dẫn ngữ nghĩa mở chưa từng thấy và biến mục tiêu ngôn ngữ thành hành động hay không.
Những nhiệm vụ này không phải là các biến thể đơn giản của pick-and-place.
Ví dụ trong nhiệm vụ khái quát hóa, số lượng vật thể linh tinh trên bàn có thể được ngẫu nhiên hóa lên đến 25, bối cảnh, ánh sáng, ngoại hình vật thể và bố cục đều sẽ thay đổi;
Trong nhiệm vụ ghi nhớ, robot cần ghi nhớ vật thể từng xuất hiện rồi biến mất trên băng chuyền, sau đó chọn ra mục tiêu phù hợp từ các vật thể ứng viên tiếp theo;
Trong nhiệm vụ thao tác tinh tế, robot phải hoàn thành các hành động yêu cầu dung sai cao như cắm ống, căn chỉnh, lắp ghép, chỉ cần lệch một chút là thất bại.
Các nhiệm vụ tầm xa thì càng gần với công việc gia đình thực tế: robot không chỉ thực hiện một hành động, mà phải hoàn thành liên tiếp nhiều bước con. Cầm lên, di chuyển, chuyển giao, căn chỉnh, đặt xuống, mỗi bước đều có thể gây ra sai số, và sai số sẽ tích lũy cho đến cuối cùng.
Nhưng RoboDojo không dừng lại ở mô phỏng.
Điều thực sự khiến 'đỉnh Everest cụ thân' này trở nên cao hơn, là nó còn chuyển việc đánh giá lên robot thực tế.
RoboDojo đã thiết kế 18 nhiệm vụ thế giới thực, bao phủ ba nền tảng robot hai tay ARX X5, Piper, Piper X, mỗi nền tảng 6 nhiệm vụ.
Những nhiệm vụ này không phải là bản sao chép từng cái một của nhiệm vụ mô phỏng, mà được thiết kế đặc biệt để khảo sát khả năng triển khai của robot trong thế giới vật lý thực tế.
Ví dụ trên ARX X5 có các nhiệm vụ như đậy khối gỗ, làm bánh mì, chế biến thức ăn, đựng trái cây và đổ ra, thu xếp két sắt, cắm ống; trên Piper có các nhiệm vụ như xếp chồng và đậy khối gỗ, đổ đầy ống bút, đặt vật vào giỏ, cắm sạc, xếp bát, dựng thẳng chai; trên Piper X thì bao gồm phân loại vật thể, tháo LEGO, treo cốc, cho đồ vào ba lô, quét dọn khối gỗ, đậy nắp bút, v.v.
Những nhiệm vụ này nghe có vẻ rất hàng ngày, nhưng đối với robot thì không đơn giản.
Bởi vì trong thế giới thực, mỗi bước đều mang theo sự bất định vật lý: vật thể có thể trượt, kẹp có thể không giữ chặt, cánh tay robot có thể có độ trễ nhỏ, camera có thể có nhiễu, khoảnh khắc tiếp xúc có thể đẩy mục tiêu lệch đi.
Quan trọng hơn, RoboDojo-RealEval đã tiêu chuẩn hóa việc đánh giá trên robot thực tế: thống nhất cấu hình phần cứng, bố cục không gian làm việc, điều kiện ánh sáng, quy trình khôi phục cảnh, giao thức đánh giá và giao diện triển khai.
Trước mỗi lần kiểm tra, nhân viên đánh giá sẽ tái tạo cảnh theo bố cục đặt trước; mỗi lần thử nghiệm còn được ba giám khảo chấm điểm mù đôi, vừa xem thành công cuối cùng, vừa xem tình hình hoàn thành các bước trung gian.
Nói cách khác, phần robot thực tế của RoboDojo không phải là 'quay vài video demo', mà là biến thao tác robot thực tế thành một kỳ thi tiêu chuẩn hóa có thể tái hiện, so sánh và kết nối từ xa.
Nói cách khác, RoboDojo không chỉ hỏi robot 'bạn có biết làm bài không' trong mô phỏng, mà còn chất vấn trong thế giới thực: đổi sang một robot khác có còn ổn định không? Khi tiếp xúc thực tế có bị run không? Vật thể lệch một chút có thể điều chỉnh không? Nếu lỗi xảy ra giữa chừng có thể khôi phục không? Rời khỏi sân luyện tập mô phỏng, còn có thể tiếp tục leo núi không?
Đây mới là ý nghĩa thực sự của 'đỉnh Everest cụ thân': không phải là đỉnh cao của năng lực đơn điểm, mà là cả hai lộ trình chẩn đoán mô phỏng và triển khai thực tế đều không thể sơ suất.
Bảng xếp hạng ra mắt, khoảng cách hiện rõ
Phần cốt lõi nhất của RoboDojo là bảng xếp hạng công khai của nó.
Đây cũng là điểm khác biệt của nó so với nhiều đánh giá 'mô hình tự nhà mình kiểm tra':
RoboDojo được khởi xướng và duy trì bởi một liên minh toàn thể các tổ chức học thuật, phía sau không ràng buộc lợi ích với bên mô hình thương mại nào, quản trị bảng xếp hạng do tổ chức phi lợi nhuận Quỹ AI MMLab Club phụ trách.
Nói cách khác, 'đỉnh Everest cụ thân' này không phải là đài ngắm cảnh mà một công ty nào đó xây cho chính mình, mà là một tuyến leo núi công cộng mở cửa cho toàn bộ cộng đồng.
Trong bảng xếp hạng mô phỏng, nhóm đã tích hợp và đánh giá 30 chiến lược thao tác robot tiêu biểu, bao gồm Hy-Embodied-0.5-VLA, Spatial Forcing, π0.5, X-VLA, GR00T-N1.7, π0, OpenVLA-OFT, v.v.
Đứng đầu bảng xếp hạng là Hy-Embodied-0.5-VLA, điểm trung bình 13.07, tỷ lệ thành công trung bình 8.80%.
Theo sau là các mô hình như Spatial Forcing, π0.5, X-VLA, nhưng biểu hiện tổng thể vẫn ở mức rất thấp.
Ngay cả các mô hình dẫn đầu, trên năm khía cạnh năng lực cũng không có cái nào thực sự 'toàn năng'.
Có mô hình khái quát hóa mạnh hơn, có mô hình thao tác tinh tế ổn định hơn, có mô hình có thể tiến thêm nhiều bước trong nhiệm vụ tầm xa, nhưng một khi nhìn vào bảng xếp hạng đầy đủ, điểm yếu sẽ rất rõ ràng.
Một thông tin quan trọng từ RoboDojo là: các mô hình robot ngày nay không phải là không biết di chuyển, mà là không đủ ổn định; không phải hoàn toàn không biết làm nhiệm vụ, mà là khó hoàn thành nhiệm vụ một cách ổn định.
Nhiều chiến lược có thể hoàn thành một phần các bước, nhưng tỷ lệ thành công cuối cùng rất thấp.
Ví dụ trong nhiệm vụ tầm xa, robot có thể đã cầm vật lên, di chuyển đến gần mục tiêu, nhưng lại thất bại ở giai đoạn cuối như căn chỉnh, lắp ghép, đặt xuống hoặc khôi phục.
Đây cũng là điểm khác biệt lớn nhất giữa trí tuệ cụ thân và các nhiệm vụ thuần ngôn ngữ, thuần thị giác: trong thế giới vật lý, sai một ly là đi một dặm.
Bảng xếp hạng thế giới thực còn gây sốc hơn
Nếu nói mô phỏng vẫn là 'sân luyện tập', thì robot thực tế chính là 'hiện trường đỉnh Everest'.
Trong bảng xếp hạng thế giới thực, mô hình biểu hiện tốt nhất là π0.5, tỷ lệ thành công tổng thể 12.8%, điểm trung bình 22.9.
Nhóm dẫn đầu bao gồm InternVLA-A1, GalaxeaVLA, Xiaomi-Robotics-0, X-VLA, v.v., nhưng tỷ lệ thành công tổng thể vẫn chỉ dao động từ một con số đến hơn mười phần trăm.
Điều này cho thấy một vấn đề rất quan trọng: tương đối dẫn đầu trong mô phỏng không có nghĩa là nhất định ổn định trong thế giới thực.
Robot thực tế sẽ mang lại những khó khăn bổ sung: nhiễu camera, sai số hiệu chỉnh, độ trễ của cánh tay robot, sự không ổn định khi tiếp xúc, rung động khi di chuyển, biên giới an toàn, sai lệch nhỏ về vị trí ban đầu của vật thể. Những thứ này thường không thấy trong video demo, nhưng sẽ bộc lộ tập trung trong đánh giá tiêu chuẩn hóa.
Ý nghĩa của RoboDojo cũng ở đây: nó không chỉ hỏi 'robot có làm thành công hay không', mà đang hỏi:
Chiến lược này có thể vượt qua khảo sát toàn diện trong mô phỏng hay không, đồng thời trong thế giới thực có thể đối mặt trực tiếp với thách thức hay không?
Tại sao nói đây là 'đỉnh Everest của cụ thân'
Nhìn từ kết quả, RoboDojo phơi bày một nhận định rất thực tế: sự tăng trưởng năng lực của các mô hình cơ bản robot hiện tại không đồng đều.
Một số mô hình có thể nhận diện mục tiêu tốt hơn, một số mô hình có thể thực thi hành động trôi chảy hơn, một số mô hình trong nhiệm vụ tầm xa có thể tiến thêm nhiều bước hơn.
Nhưng robot đa năng thực sự, không thể chỉ mạnh ở một chiều năng lực nào đó.
Nó vừa phải nhìn hiểu, vừa phải ghi nhớ; vừa phải lập kế hoạch đúng, vừa phải thao tác chuẩn; vừa phải xử lý được nhiệm vụ quen thuộc, vừa phải hiểu được chỉ dẫn mở; vừa phải chạy thông trong mô phỏng, vừa phải thực thi ổn định trên cánh tay robot thực tế.
Và kết quả thí nghiệm của RoboDojo cho thấy, các mô hình ngày nay vẫn còn tồn tại điểm yếu rõ ràng ở các chiều này.
Điển hình nhất là nhiệm vụ Open. Ngay cả mô hình mạnh nhất, tỷ lệ thành công trong nhiệm vụ ngữ nghĩa mở cũng chỉ khoảng 1.67%.
Điều này có nghĩa, các mô hình cơ bản robot hiện tại còn cách xa việc 'thực sự hiểu lời người và làm việc đáng tin cậy'.
Chúng có thể bắt chước trên các nhiệm vụ quen thuộc, nhưng khi đối mặt với mục tiêu mới, ngữ nghĩa mới, sự kết hợp mới, chuỗi liên kết từ hiểu ngữ nghĩa, định vị thị giác, lựa chọn kỹ năng đến thực thi hành động vẫn rất mong manh.
Đây chính là điểm khó của đỉnh Everest cụ thân: không phải là đỉnh cao của năng lực đơn điểm, mà là tất cả năng lực đều không thể sơ suất.
Không chỉ là đánh giá, mà còn là một hệ thống cơ sở hạ tầng
RoboDojo còn có hai thành phần quan trọng khác.
Một là mô phỏng song song không đồng nhất.
Mô phỏng song song truyền thống thường là sao chép cùng một cảnh, chỉ thay đổi vị trí ban đầu; RoboDojo hỗ trợ chạy đồng thời các nhiệm vụ khác nhau, vật thể khác nhau, bố cục khác nhau, nâng cao đáng kể hiệu quả đánh giá.
Một cái khác là XPolicyLab.
Nó tương đương với 'lớp kết nối thống nhất' phía sau RoboDojo, được thiết kế đặc biệt để giải quyết một vấn đề rất thực tế trong đánh giá chiến lược robot: các mô hình khác nhau thường có định dạng dữ liệu, quy trình tiền xử lý, kịch bản huấn luyện, biểu diễn hành động và môi trường triển khai khác nhau, muốn đưa lên cùng một bảng xếp hạng để so sánh công bằng, chi phí kỹ thuật rất cao.
Việc XPolicyLab làm, chính là tiêu chuẩn hóa các quy trình bên ngoài này.
Nó cung cấp mẫu chuyển đổi dữ liệu thống nhất, mẫu huấn luyện, quy trình triển khai và kịch bản đánh giá, đồng thời giữ lại cấu trúc mô hình và cách thức triển khai vốn có của từng chiến lược.
Như vậy, các chiến lược robot khác nhau chỉ cần kết nối với giao diện observation-action thống nhất, là có thể chạy trên môi trường mô phỏng của RoboDojo và nền tảng robot thực tế RoboDojo-RealEval.
Trong bài báo lần này, nhóm đã tích hợp 30 mô hình thao tác robot tiêu biểu thông qua XPolicyLab.
Đối với các nhà nghiên cứu, điều này có nghĩa là mô hình có thể 'kết nối một lần, đánh giá nhiều nơi': trước tiên lặp lại nhanh trong mô phỏng, chẩn đoán điểm yếu năng lực, sau đó triển khai lên robot thực tế để chấp nhận kiểm tra tiêu chuẩn hóa.
Do đó, RoboDojo không chỉ là chuẩn mực tĩnh trong bài báo, mà là một đấu trường trí tuệ cụ thân có thể cập nhật bền vững.
Mô hình có thể liên tục lên bảng xếp hạng, nhiệm vụ có thể mở rộng liên tục, đánh giá robot thực tế cũng có thể kết nối từ xa.
Đối với lĩnh vực mô hình cơ bản robot, điều này rất quan trọng.
Bởi vì trên con đường hướng tới robot thao tác đa năng, mọi người không chỉ cần những mô hình lớn hơn, những demo ngầu hơn, mà còn cần một 'thước đo độ cao' có thể đo lường tiến bộ lặp đi lặp lại.
Trí tuệ cụ thân, cuối cùng cũng có ngọn núi cao hơn
Trước đây, lĩnh vực robot thường bị dẫn dắt bởi demo.
Một mô hình có thể hoàn thành vài nhiệm vụ đẹp mắt, rất dễ khiến người ta có ảo tưởng 'robot đa năng sắp đến rồi'.
Nhưng kết luận mà RoboDojo đưa ra thì lạnh lùng hơn: các mô hình hiện tại thực sự đang tiến bộ, nhưng còn cách xa robot thao tác đa năng đáng tin cậy, có khả năng khái quát hóa và triển khai được.
Đây không phải là tin xấu.
Ngược lại, RoboDojo đã làm rõ vấn đề: ai có thể khái quát hóa, ai hay quên, ai hành động run rẩy, ai chỉ biết làm một nửa, ai tụt lại phía sau trong thế giới thực, ai có thể leo lên trên bảng xếp hạng.
Trí tuệ cụ thân cuối cùng không chỉ là so tài bằng video quảng cáo, mà bắt đầu so tài bằng thành tích thực tế trên đường đua tiêu chuẩn hóa.
Ngọn 'Everest cụ thân' này đã được dựng lên rồi. Tiếp theo, hãy xem ai sẽ leo lên đỉnh đầu tiên.
Giới thiệu trưởng nhóm dự án
Trần Thiên Hành, nghiên cứu sinh tiến sĩ trực tiếp tại MMLab, Đại học Hong Kong, dưới sự hướng dẫn của giáo sư La Bình.
Đã công bố hơn mười bài báo trên các hội nghị hàng đầu như ICML, CVPR, ICLR, RSS, nhận được nhiều giải thưởng bài báo hay nhất tại hội thảo, nhiều giải quán quân/á quân trong các cuộc thi học thuật cấp cao.
Được Sequoia China và MIT Technology Review China bình chọn là AI25 (Tiên phong đổi mới AI dưới 25 tuổi), giải thưởng đặc biệt Đại học Thâm Quyến (danh hiệu cao nhất cho sinh viên), CCF sinh viên xuất sắc (99 người trên toàn quốc).
Tác giả chính của RoboTwin 2.0, người sáng lập cộng đồng mã nguồn mở cụ thân hàng đầu Lumina, các dự án mã nguồn mở đã nhận được gần 20,000 sao trên GitHub.
Trần Việt, nghiên cứu sinh thạc sĩ Đại học Bắc Kinh, hướng nghiên cứu chính là biểu diễn thị giác 3D và mô phỏng robot.
Đến nay đã công bố hơn 10 bài báo trình độ cao loại A CCF, loại A CAAI, nhiều thành quả được chọn dưới dạng Oral, Spotlight, công việc liên quan nhận được các giải thưởng bài báo hay nhất tại hội thảo các hội nghị quốc tế như CVPR, IROS. Từng được nhận học bổng nhà nước, danh hiệu sinh viên giỏi Đại học Bắc Kinh.
Mở rộng trong tương lai
Nhóm RoboDojo sau này sẽ tiếp tục đưa ra các đánh giá về thao tác khéo léo, thao tác di động, thao tác xúc giác, thao tác toàn thân người máy, v.v., kính mọi người tiếp tục theo dõi.
*Bài viết này được Qbitai ủy quyền đăng tải, quan điểm thuộc về tác giả gốc.
Bài viết từ tài khoản công chúng WeChat 'Qbitai', tác giả: Doãn Trung
