Buổi phỏng vấn mới của Lý Phi Phi: LLM dự đoán Token, mô hình thế giới dự đoán 'góc nhìn mới'
Trong một cuộc phỏng vấn mới đây, Giáo sư Lý Phi Phi và các đồng sáng lập của World Labs là Justin Johnson và Ben Mildenhall đã giải thích chi tiết về mô hình thế giới đa phương thức Atlas vừa được công bố. Trọng tâm của cuộc thảo luận là khái niệm "dự đoán góc nhìn mới" mà Atlas thực hiện, được đặt ngang hàng với "dự đoán token tiếp theo" của các LLM như một nguyên thủy cơ bản hướng tới AGI.
Khác với các mô hình video chỉ dự đoán khung hình tiếp theo, Atlas nhận vào một vài hình ảnh có kèm thông tin tư thế camera, từ đó hiểu được mối quan hệ không gian giữa các khung hình và tạo ra góc nhìn mới từ bất kỳ vị trí nào. Điều này cho phép nó thống nhất hai nhiệm vụ trước đây tách biệt: tạo sinh nội dung mới và tái tạo không gian thực từ ảnh chụp.
Một ứng dụng thực tế nổi bật là khả năng tạo video "bullet-time" (thời gian đóng băng) kiểu "Ma trận" chỉ với vài ba chiếc iPhone, thay vì hàng trăm máy ảnh chuyên nghiệp. Quan trọng hơn, Atlas hứa hẹn cách mạng hóa lĩnh vực robot bằng cách giảm mạnh lượng dữ liệu 3D cần thu thập để xây dựng môi trường mô phỏng đào tạo, qua đó giải quyết nghẽn cổ chính về dữ liệu trong ngành.
Nhóm nghiên cứu nhấn mạnh rằng đây mới chỉ là bước đầu. Lộ trình tương lai bao gồm bổ sung khả năng xử lý chuyển động động, chỉnh sửa và tương tác với thế giới ảo, hướng tới một mô hình không chỉ tạo ra mà còn hiểu và mô phỏng cách thế giới phản ứng với các hành động.
marsbit09/07 01:02
