Cộng đồng AI không thiếu tin đồn.
Lần này, nhân vật chính là Giambattista Parascandolo, một nhà nghiên cứu quan trọng về hướng mô hình suy luận của OpenAI.
Năm 2020, anh ấy đi phỏng vấn cho vị trí giáo sư tại MIT và đã có một bài báo cáo về việc sử dụng GPT để suy luận. Kết quả, phần lớn các giáo sư trong hội đồng phỏng vấn đã chê bai hướng đi này là "vô lý" (nonsense).
https://x.com/turingbook/status/2084003612687249836?s=20
Anh chàng này đã công khai đăng tải trải nghiệm này lên trang cá nhân của mình, và đính kèm cả phần giới thiệu báo cáo năm đó cũng như liên kết đến bản trình chiếu.
https://sites.google.com/view/giambattista-parascandolo/home
Bản báo cáo bị chê là "vô lý" đó đã nói về điều gì?
Website của MIT hiển thị, chủ đề của báo cáo này là làm thế nào để mạng nơ-ron nhân tạo có thể vượt ra khỏi phân phối huấn luyện, đạt được khả năng tổng quát hóa và lập kế hoạch gần giống với con người hơn.
Parascandolo cho rằng, con người có thể tái kết hợp kiến thức đã có, nhận diện các bất biến quan trọng, xây dựng mô hình trừu tượng và hoàn thành việc lập kế hoạch dài hạn. Mạng nơ-ron nhân tạo vẫn còn nhiều khoảng trống để cải thiện trong những khía cạnh này.
Cuối báo cáo, anh ấy đề xuất ba hướng nghiên cứu trong tương lai: Suy luận mở trong mạng nơ-ron, các bậc tự do chưa được khám phá trong mạng nơ-ron nhân tạo, và sử dụng ngôn ngữ như một phương tiện suy luận trong học tăng cường để nâng cao hiệu quả mẫu.
Trong đó, khái niệm then chốt nhất là "suy luận mở".
Parascandolo định nghĩa nó là: mô hình có thể đầu tư nhiều thời gian và tính toán hơn, liên tục chỉnh sửa câu trả lời. Vấn đề càng khó, mô hình càng nên suy nghĩ thêm vài bước, và để cho việc tính toán bổ sung chuyển hóa thành kết quả tốt hơn.
Điều này nghe đã rất giống với việc mở rộng tính toán trong thời gian suy luận ngày nay.
Transformer tiêu chuẩn lúc đó có độ sâu mạng cố định, lượng tính toán lan truyền thuận mà mỗi token trải qua về cơ bản là xác định, trong khi độ khó của vấn đề lại không có mối quan hệ ổn định với độ dài đầu vào. Một vấn đề có thể rất dài nhưng câu trả lời lại rất đơn giản. Một vấn đề khác chỉ có một câu, nhưng có thể cần nhiều vòng phân tích và xác minh.
RNN trông có vẻ phù hợp hơn cho loại tác vụ này. Nó có thể chạy lặp đi lặp lại, về lý thuyết có thể có thời gian suy nghĩ với độ dài bất kỳ. Tuy nhiên, đường cong mà Parascandolo trình bày trong PPT lại cho thấy, RNN thường chỉ hoạt động tốt nhất ở gần số bước suy luận đã gặp trong quá trình huấn luyện, nếu tiếp tục tăng số vòng lặp, độ chính xác thậm chí có thể giảm.
Điều này có nghĩa là, tăng lượng tính toán chỉ là bước đầu tiên, mô hình còn phải học cách sử dụng những tính toán này.
Lập kế hoạch nhiều bước hiệu quả nhất lúc đó, phụ thuộc nhiều vào mô hình dự đoán kiểm soát và tìm kiếm cây Monte Carlo. Mạng nơ-ron chịu trách nhiệm dự đoán môi trường hoặc đánh giá giá trị, thuật toán tìm kiếm bên ngoài chịu trách nhiệm mở rộng các đường dẫn tương lai. Parascandolo hy vọng đưa thêm khả năng suy luận dài hạn vào trong mạng nơ-ron.
Ý tưởng thứ hai của anh ấy là biến ngôn ngữ thành phương tiện suy luận.
Parascandolo lấy ví dụ với trò chơi kinh điển "Montezuma's Revenge". Một Agent học tăng cường được huấn luyện từ đầu cần thử nghiệm rất nhiều tổ hợp trạng thái và hành động, nhiều thao tác đúng bản thân chúng không phức tạp, điều mà Agent thực sự thiếu là đánh giá về "hành vi nào hợp lý hơn".
GPT đã hấp thụ một lượng lớn kiến thức thế giới từ văn bản, ngôn ngữ có thể giúp mô hình mô tả môi trường, hiểu mục tiêu, phân tách nhiệm vụ và tạo ra kế hoạch cấp cao, đồng thời cũng có thể thu hẹp đáng kể phạm vi tìm kiếm.
Đặt vào bối cảnh ngày nay, tư duy này rất dễ khiến người ta liên tưởng đến chuỗi suy nghĩ, lập kế hoạch ngôn ngữ và luồng công việc của Agent.
Hướng thứ ba mà Parascandolo đề xuất là, hệ thống trí tuệ nhân tạo có thể đặt lại nhiệm vụ, quay trở lại bất kỳ trạng thái nào trong ký ức, xây dựng các tình huống phản thực tế, cũng có thể điều chỉnh thời gian, trọng lực và kết quả quan sát trong trình mô phỏng. Hệ thống thậm chí có thể trực tiếp đọc, sao chép và sửa đổi các giá trị kích hoạt và trọng số mạng nơ-ron của chính nó.
Điều này tương đương với việc đưa chính quá trình học tập vào không gian thao tác của Agent. Nó có thể tiến hành luyện tập có chủ đích, tạo ra các cảnh huấn luyện đặc biệt, chuyển giao kiến thức đã có và học lại dựa trên các đường đi thất bại.
Trong bản trình chiếu năm năm trước, hầu như đã viết ra lộ trình của mô hình suy luận ngày nay.
Chúng tôi còn tìm ra một bài blog anh ấy viết vào tháng 6 năm 2021, tiêu đề là "Lan truyền ngược, tiến hóa và sai lầm của 'hai con chó'".
Bài blog này chủ yếu phản bác quan điểm "mạng nơ-ron cần một lượng dữ liệu khổng lồ, do đó không giống não người".
Parascandolo cho rằng, việc con người chỉ cần nhìn vài con chó là có thể học cách nhận diện, không có nghĩa là trước đó chưa tích lũy kinh nghiệm. Sự tiến hóa lâu dài đã lắng đọng kinh nghiệm tiếp xúc thế giới của tổ tiên thành cấu trúc và thiên hướng quy nạp của não người.
Theo góc nhìn này, việc tiền huấn luyện quy mô lớn của mạng nơ-ron có thể được so sánh với sự tiến hóa sinh học, còn việc tinh chỉnh mô hình và học trong ngữ cảnh mới gần giống với việc học tập của một cá nhân trong suốt cuộc đời. GPT-3 đã đọc lượng văn bản vượt xa bất kỳ cá nhân nào, nhưng quá trình tiền huấn luyện của nó đã đảm nhận vai trò nén lượng kinh nghiệm khổng lồ và định hình khả năng học tập hiệu quả. Do đó, không thể trực tiếp so sánh toàn bộ dữ liệu tiền huấn luyện của mô hình với một lượng mẫu học nhỏ sau khi một người sinh ra.
Cách hiểu này cũng có nghĩa là, tiếp tục mở rộng dữ liệu và sức mạnh tính toán vẫn có thể mang lại sự cải thiện rõ rệt. Anh ấy so sánh vai trò mà cả hai phát huy, chứ không cho rằng cơ chế cụ thể của lan truyền ngược và tiến hóa sinh học là giống nhau.
Anh chàng này là ai?
Anh chàng này khá kín tiếng, bài đăng mới nhất trên X còn phải lần về tháng 11 năm 2024, lúc đó anh ấy đang tuyển hai kỹ sư nghiên cứu (RE) và kỹ sư phần mềm (SWE) cho o1.
Theo trang cá nhân của anh ấy, quá trình nghiên cứu của Parascandolo luôn xoay quanh tổng quát hóa, lập kế hoạch và suy luận.
Năm 2017, anh ấy vào học tiến sĩ tại Viện Hệ thống Thông minh Max Planck và Viện Công nghệ Liên bang Zurich, dưới sự hướng dẫn của Bernhard Schölkopf và Thomas Hofmann, đề tài tiến sĩ tập trung vào tổng quát hóa OOD trong học sâu.
Trong thời gian học tiến sĩ, anh ấy đã từng thực tập tại Google X ở Mountain View và DeepMind ở London, tham gia nghiên cứu về thiết kế tự động trên trình mô phỏng siêu quy mô ở nơi trước, và nghiên cứu về tìm kiếm cây Monte Carlo phân chia và chinh phục ở nơi sau.
Tháng 9 năm 2021, sau khi tốt nghiệp tiến sĩ, anh ấy trực tiếp gia nhập OpenAI, ban đầu vào nhóm học tăng cường do John Schulman lãnh đạo, sau đó chuyển sang nhóm thuật toán của Mark Chen, rồi gia nhập nhóm 🍓 (dâu tây) do Jerry Tworek dẫn dắt. Nhóm dâu tây chính là mật danh nội bộ của dự án o1.
Năm 2023, anh ấy tham gia phát triển GPT-4 và thành lập một nhóm mới tiếp tục nghiên cứu suy luận. Sau đó lại tham gia vào nghiên cứu cơ bản của OpenAI o1 và o3, thúc đẩy việc mở rộng mô hình hóa phần thưởng, xây dựng môi trường và thuật toán suy luận tổng quát. Một phần mô tả thuật toán trong đó, đến nay vẫn bị anh ấy che bằng khối đen.
Buổi phỏng vấn năm 2020 đó, Parascandolo đã không nhận được vị trí giảng dạy tại MIT, anh ấy đã đến OpenAI.
Bốn năm sau, anh ấy đã giúp xây dựng o1.
Cuộc đời luôn diệu kỳ khó lường.
Liên kết tham khảo:
https://x.com/giambattista92
https://sites.google.com/view/giambattista-parascandolo/home
https://gibipara92.github.io/2021/06/09/backprop-evolution-two-dogs.html
https://docs.google.com/presentation/d/1edd2GkAP31wNygaev3DO8gE1t2lgsx1z8TeVpBKqlYA/edit?slide=id.gc772610149_0_179#slide=id.gc772610149_0_179
Bài viết này từ tài khoản công chúng WeChat "机器之心" (ID:almosthuman2014), tác giả: Dương Văn
