Trí tuệ cụ thân vượt qua 'kỳ thi đại học' khó đến điên cuồng, con người 100 điểm, mô hình mạnh nhất 12.8
Trí tuệ thể hóa (Embodied AI) đang đối mặt với một “kỳ thi khó” mang tên RoboDojo – một tiêu chuẩn đánh giá toàn diện mới cho khả năng thao tác của robot, được ví như "đỉnh Everest" trong lĩnh vực này.
RoboDojo đánh giá trên cả môi trường mô phỏng và thế giới thực, bao gồm 42 nhiệm vụ mô phỏng và 18 nhiệm vụ trên robot thật, kiểm tra 5 khả năng cốt lõi: Khái quát hóa, Trí nhớ, Thao tác chính xác, Thực thi nhiều bước và Hiểu ngữ nghĩa mở.
Kết quả cho thấy khoảng cách lớn: Trong mô phỏng, chiến lược robot mạnh nhất hiện nay (Hy-Embodied-0.5-VLA) chỉ đạt tỷ lệ thành công trung bình 8.80%. Trên robot thật, mô hình tốt nhất (π0.5) chỉ đạt 12.8%. Trong khi đó, con người đạt lần lượt 76.03% và 100%.
RoboDojo tiết lộ điểm yếu của các mô hình cơ bản hiện nay: thiếu ổn định, khó hoàn thành toàn bộ nhiệm vụ dài và đặc biệt kém trong các nhiệm vụ ngữ nghĩa mở (tỷ lệ thành công chỉ ~1.67%). Dự án cung cấp cơ sở hạ tầng như XPolicyLab để chuẩn hóa việc đánh giá và một bảng xếp hạng công khai, minh bạch, giúp cộng đồng có thước đo chung để tiến bộ hướng tới robot thao tác đa năng thực sự.
marsbit07/08 11:52
