69 tuổi, tuổi của “sáng tạo”!
Richard Sutton, người đặt nền móng cho học tăng cường, người đoạt giải Turing 2024, thông báo rằng ông và học trò Khurram Javed đã rời Keen Technologies do John Carmack sáng lập để tự thành lập Oak Lab.
Richard Sutton xứng đáng được coi là người khai sáng học tăng cường hiện đại:
Cử nhân ông học tâm lý tại Stanford, tiến sĩ là học trò của Andrew Barto, tiên phong học tăng cường, và sớm làm việc tại GTE Labs, AT&T Labs.
Ông đề xuất thuật toán sai phân thời gian, và cùng với người thầy Andrew Barto viết cuốn "Reinforcement Learning: An Introduction", là giáo trình chuẩn toàn cầu của lĩnh vực này;
Từ năm 2003, Sutton giữ chức giáo sư toàn thời gian tại Đại học Alberta lâu dài, thành lập phòng thí nghiệm học tăng cường RLAI tại đây;
2017‐2023 ông làm Nhà khoa học Nghiên cứu Xuất sắc tại DeepMind, dẫn đầu xây dựng nhóm nghiên cứu DeepMind Edmonton
Đồng thời, trong hơn bốn mươi năm, Sutton đã đào tạo ra một lượng lớn nhân tài hàng đầu trong ngành AI.
Bao gồm David Silver, nhà thiết kế cốt lõi của AlphaGo; Doina Precup, người đứng đầu DeepMind Montreal; Michael Bowling, chuyên gia AI về trò chơi; và Khurram Javed, người đồng sáng lập lần này.
Theo bài đăng trên mạng xã hội, lý do Sutton lần này tự làm riêng rất trực tiếp:
Ông cho rằng phương pháp học sâu hiện tại yếu kém, kém hiệu quả, cần không phải là vá víu mà là tư duy cơ bản hoàn toàn mới và tái cấu trúc triệt để.
Nói cách khác, Sutton cảm thấy con đường AI hiện nay khó có thể tiến xa hơn đến trí tuệ phổ dụng cấp cao hơn.
Và mục tiêu cuối cùng của Oak Lab là:
Xây dựng một tác nhân thông minh quy mô nghìn tỷ tham số, có thể học và lập kế hoạch theo thời gian thực, với mức tiêu thụ toàn bộ chỉ 20 watt.
20 watt, ngang bằng mức tiêu hao năng lượng của não người.
Trong khi cả ngành AI vẫn đang chất đống GPU, mở rộng trung tâm dữ liệu, ông tổ của học tăng cường chuẩn bị định nghĩa lại thế nào là thông minh.
Chia tay "Thần Carmack"
Để hiểu tại sao Sutton muốn rời đi, phải nói rõ ông ấy đang rời khỏi đâu.
Người sáng lập Keen Technologies, John Carmack, là cha đẻ của "Doom" và "Quake", cựu CTO của Oculus, huyền thoại "Thần Carmack" trong giới lập trình.
Năm 2022, ông rời Meta để toàn lực khởi nghiệp AI, hướng đi cũng là học tăng cường.
Tháng 9/2023 Sutton chọn gia nhập Keen, nguyên nhân là do Google DeepMind đóng cửa phòng thí nghiệm mà ông cùng xây dựng ở Edmonton, Canada.
Lúc đó, sự kết hợp của hai người cũng được coi là một bộ đôi trong mơ:
Một là huyền thoại về hệ thống kỹ thuật cấp thấp, một là người đặt nền móng lý thuyết học tăng cường, kế hoạch xây dựng một hệ thống nguyên mẫu có "dấu hiệu sự sống AGI" trước năm 2030.
Giờ đây, chưa đầy ba năm hợp tác, Sutton chọn rút lui.
Nhưng trong bài đăng, ông đặc biệt dành câu đầu tiên cho Carmack:
Về John Carmack và Keen Technologies, tôi không thể khen ngợi hết lời.
Hàm ý là: Rời đi không phải vì Carmack không tốt, mà vì mọi người có sự khác biệt về cách đạt đến đích.
Trong mắt Sutton, toàn bộ lộ trình phát triển học sâu hiện nay là không thể đi tiếp.
Mô hình không cần lặp đi lặp lại điều chỉnh vi mô vô tận, toàn ngành cần hoàn thành việc lật đổ và xây dựng lại ở cấp độ mẫu hình.
Oak Lab muốn làm gì
Trọng tâm mà Sutton đặt cược trong lần khởi nghiệp này có thể tóm gọn trong một câu:
Trí tuệ đến từ kinh nghiệm được tạo ra liên tục trong thời gian chạy.
Chế độ làm việc của các mô hình lớn chủ lưu hiện nay về cơ bản là tiêu tốn hàng tháng, đầu tư chi phí khổng lồ, dựa vào lượng lớn dữ liệu văn bản để hoàn thành việc đào tạo trước ngoại tuyến;
Sau khi đào tạo kết thúc, tham số mô hình về cơ bản cố định, sau đó đưa vào sử dụng.
Nhưng ngay cả khi trò chuyện với hàng trăm triệu người dùng mỗi ngày, phần lớn nội dung giao tiếp cũng không thể chuyển hóa thành khả năng mới của chính mình.
Mô hình chỉ có thể tái sử dụng kiến thức học được ở giai đoạn đào tạo, hoặc tạm thời nhớ thông tin trong ngữ cảnh hội thoại, nhưng không thể như con người và động vật, cập nhật bản thân trong quá trình liên tục cảm nhận thế giới bên ngoài.
Nhưng tác nhân thông minh mà Oak Lab muốn xây dựng thì khác.
Nó vừa cảm nhận môi trường xung quanh, thực hiện hành động tương ứng, lại dựa trên kết quả để điều chỉnh hành vi của chính mình;
Chỉ cần tạo ra kinh nghiệm mới, quá trình học sẽ diễn ra đồng thời, không cần cách một khoảng thời gian dài mới tập trung tiến hành một đợt đào tạo mới.
Như chính Sutton nói:
Mỗi thời khắc AI vận hành, đều phải là quá trình học tập.
Hiện tại, Oak Lab đã công bố lộ trình nghiên cứu cốt lõi của mình, xoay quanh một kiến trúc có tên OaK.
OaK đại diện cho Options and Knowledge, tức là Kỹ năng và Kiến thức.
Mục đích của kiến trúc này là để tác nhân thông minh từ kinh nghiệm của chính mình phát hiện ra cấu trúc trừu tượng có khoảng cách thời gian, và chuyển hóa chúng thành những kỹ năng có thể kiểm chứng, có thể lập kế hoạch và có thể gọi lại nhiều lần.
Ví dụ, lần đầu tiên robot đi lấy nước ở nhà bếp, toàn bộ quy trình bao gồm một loạt hành động như nhận diện phòng, tránh vật cản, cầm cốc nước, mở vòi nước.
AI truyền thống sẽ coi tất cả các bước như một nhiệm vụ quyết định đơn lẻ;
Kiến trúc OaK sẽ để tác nhân thông minh từ thực hành tách ra các kỹ năng cấp cao như "đi đến bếp", "cầm cốc", "lấy nước".
Khi gặp mục tiêu tương tự sau này, tác nhân thông minh trực tiếp lấy kỹ năng đã có, kết hợp với môi trường hiện tại để linh hoạt điều chỉnh phương án.
Cách thức đơn giản hóa kinh nghiệm quá khứ dọc theo chiều thời gian này gọi là trừu tượng hóa thời gian, giúp AI bắt chước con người, lắng đọng một chuỗi hành động rời rạc thành kỹ năng thuần thục, dựa vào sự kết hợp kỹ năng để hoàn thành nhiệm vụ phức tạp hơn.
Ngoài ra, kiến trúc Oak còn có một mục tiêu thiết kế hoàn toàn khác biệt với học sâu hiện nay:
Giai đoạn học vừa không lưu trữ dữ liệu lịch sử, cũng không phát lại kinh nghiệm quá khứ.
Học tăng cường sâu hiện nay thường đưa nhiều kinh nghiệm lịch sử vào bộ đệm, lấy mẫu đào tạo lặp đi lặp lại.
Oak Lab dự kiến áp dụng phương thức học thời gian thực với kích thước batch là 1, mỗi khi có một kinh nghiệm mới, lập tức hoàn thành một lần cập nhật.
Nhóm cho rằng, nếu loại thuật toán này kết hợp với mạng nơ-ron điều khiển sự kiện, lượng tính toán và năng lượng mà hệ thống cần có cơ hội giảm xuống vài bậc độ lớn, từ đó khiến việc học liên tục, thời gian thực trở nên khả thi thực sự.
Do đó mới có mục tiêu dài hạn đó: nghìn tỷ tham số, học thời gian thực, lập kế hoạch thời gian thực, tiêu thụ 20 watt.
Tất nhiên, hiện tại đây mới chỉ là ý tưởng.
Đằng sau Oak Lab còn có một nền tảng lý thuyết, đến từ giả thuyết Thế giới Lớn (Large World Hypothesis) do Sutton và Javed cùng đề xuất.
Quan điểm cốt lõi là: thế giới thực luôn phức tạp hơn AI. Ngay cả khi mô hình ngày càng mạnh mẽ hơn, lượng dữ liệu của môi trường bên ngoài cũng sẽ tăng theo.
Mô hình được đào tạo dựa trên dữ liệu đã được sắp xếp sẵn trước, không theo kịp sự thay đổi của thực tế.
AI phải học cách chọn lọc ghi nhớ nội dung hữu ích, kịp thời quên thông tin lỗi thời, học trực tuyến liên tục, mới có thể thích ứng với thế giới thực.
Từ "Bài học Cay đắng" đến khởi nghiệp
Những người quen biết Sutton sẽ không ngạc nhiên với quan điểm trên.
Năm 2019, ông viết bài luận ngắn "Bài học Cay đắng" (The Bitter Lesson) được lưu truyền rộng rãi trong lĩnh vực AI.
Bài viết nhìn lại quá trình phát triển của cờ vua, cờ vây, nhận dạng giọng nói và thị giác máy tính, rút ra kết luận:
Phương pháp học và tìm kiếm phổ dụng có thể mở rộng theo quy mô tính toán, về lâu dài cuối cùng sẽ vượt qua các hệ thống dựa vào tri thức thủ công của con người.
Đến thời đại mô hình lớn, con đường này dường như đã được xác minh cực mạnh, mô hình lớn hơn, nhiều dữ liệu hơn, sức mạnh tính toán mạnh hơn, thúc đẩy khả năng AI tăng vọt.
Nhưng Sutton vẫn không hài lòng với học sâu chủ lưu hiện nay.
Theo ông, hệ thống hiện tại vẫn phụ thuộc cao độ vào dữ liệu do con người sản xuất, sàng lọc và sắp xếp.
Nội dung mô hình học chủ yếu là những thứ con người đã viết ra, chụp lại hoặc gán nhãn trong quá khứ.
Tác nhân thông minh thực sự, cần thông qua hành động của chính mình để tạo ra kinh nghiệm mới, và sử dụng những kinh nghiệm này để theo đuổi mục tiêu dài hạn.
Điều này cũng giải thích tại sao ông từ "Bài học Cay đắng" tiến thêm một bước đến "Thời đại Kinh nghiệm".
Năm 2025, ông cùng David Silver, nhân vật cốt lõi của AlphaGo, đề xuất AI sẽ dần chuyển từ phụ thuộc dữ liệu con người sang dựa vào kinh nghiệm do tác nhân thông minh tương tác với môi trường tạo ra.
Oak Lab, chính là sự hiện thực hóa khởi nghiệp của chủ trương nghiên cứu này.
Bốn mươi năm trước, khi Sutton viết "temporal credit assignment in reinforcement learning" trong luận án tiến sĩ, học tăng cường vẫn còn là một môn học ngồi ghế lạnh.
Bốn mươi năm sau, khi cả thế giới đang đuổi theo làn sóng thương mại hóa mô hình lớn, ông vẫn đang truy vấn cùng một câu hỏi -
Trí tuệ rốt cuộc đến từ đâu?
Một điều nữa
Trạm dừng đầu tiên của ông lão sau khi khởi nghiệp, WAIC Thượng Hải.
Tại Diễn đàn Tư tưởng WAIC, Sutton sẽ mang đến bài chia sẻ chủ đề "Nguyên lý đầu tiên của Học tăng cường: Nuôi dưỡng siêu trí tuệ từ kinh nghiệm".
Liên kết tham khảo:https://x.com/RichardSSutton/status/2076663628301058329
Bài viết này đến từ tài khoản WeChat công chúng "Quantum Bit", tác giả: Quan tâm Khoa học Công nghệ Tiên phong
