«Экзамен» на эмбиентный интеллект сводит с ума: человек — 100 баллов, лучшая модель — 12.8
Новый эталонный тест RoboDojo, разработанный командой из Гонконгского университета и Пекинского университета, оценивает способности современных моделей искусственного интеллекта для роботов в симуляции и реальном мире. Тест включает 42 симуляционные и 18 реальных задач, проверяющих пять ключевых способностей: обобщение, память, точность, долгосрочное планирование и понимание открытых семантических инструкций.
Результаты оказались отрезвляющими: лучшая модель показала средний успех только в 8,80% симуляционных и 12,8% реальных задач, в то время как человек-эксперт достигает 76,03% и 100% соответственно. Бенчмарк выявил серьёзный разрыв между демонстрационными видео и надёжным выполнением задач в стандартизированных условиях, особенно в операциях, требующих высокой точности, длинных последовательностей действий или понимания новых семантических команд.
RoboDojo — это не просто набор задач, а комплексная инфраструктура с публичным рейтингом, системой параллельной симуляции (XPolicyLab) и стандартизированной процедурой тестирования на реальных роботах ARX X5, Piper и Piper X. Проект, управляемый академическим сообществом, призван стать объективным «высотомером» для прогресса в области воплощённого ИИ, показывая, что до создания по-настоящему универсальных и надёжных роботов-манипуляторов ещё далеко.
marsbit07/08 11:51
