Cựu nhà khoa học trưởng của OpenAI, Ilya, có lẽ là đại diện điển hình cho câu nói: "Người anh hùng đã rời khỏi giang hồ, nhưng huyền thoại về họ vẫn lan truyền khắp nơi."
Người đã góp phần tạo nên kỷ nguyên học sâu, rời khỏi OpenAI đã hơn hai năm. SSI, công ty do anh sáng lập, không phát hành mô hình, không tạo sản phẩm, gần như biến mất khỏi ván bài.
Nhưng cứ sau một thời gian, cộng đồng AI lại có người đặt ra cùng một câu hỏi: Ilya đang làm gì?
Bây giờ, câu hỏi này đột nhiên có một câu trả lời.
Ngay lúc này, người dùng X "三只草莓" (Tam Chỉ Thảo Môi) đã tiết lộ, SSI đang nghiên cứu một bộ máy suy luận quy mô nhỏ dựa trên TTT (Test-Time Training, Huấn luyện tại thời điểm kiểm tra).
Theo mô tả, mô hình này sẽ học "cách học" từ dữ liệu được tổng hợp đặc biệt, sau đó cập nhật một phần trọng số trong quá trình giải quyết vấn đề.
Ngay cả khi quy mô mô hình không lớn, nó cũng đủ sức cạnh tranh với các mô hình được huấn luyện trên quy mô lớn hơn.
Hơn nữa, anh ta còn cho biết trong phần bình luận, phiên bản hiện tại của SSI đã sẵn sàng, đội ngũ đang mở rộng quy mô phiên bản tiếp theo lên trực tiếp 10 lần.
Điều quan trọng hơn nữa, đây có thể không phải là một tấm "vé" hứa hẹn tương lai.
Theo lời anh ta, phiên bản hiện tại có thể ra mắt sớm nhất vào tháng 8 này, và ban đầu sẽ được mở cho một số ít người dùng.
Tức là, nếu tin đồn là đúng sự thật. Thanh kiếm đầu tiên mà SSI giấu kín suốt hai năm, rất có thể sắp rút ra khỏi vỏ.
Sau khi tin tức lan truyền, nhiều cư dân mạng đã ngửi thấy hướng gió thay đổi.
Có người thốt lên, đây mới bắt đầu giống trí tuệ thực sự;
Cũng có người đánh giá, chỉ cần lộ trình này có thể mở rộng quy mô thuận lợi, các công ty khác sẽ khó lòng theo kịp SSI.
Nhưng ngay khi mọi người đã chuẩn bị chào đón "Ilya trở lại đỉnh cao", lại có tin đồn rằng:
Tháng này có thể lại không phát hành.
Thật thật giả giả, giả giả thật thật~
Lần này, thanh kiếm của Ilya rốt cuộc có rút ra khỏi vỏ hay không?
Một thanh kiếm có thể tự đổi chiêu khi xuất chiêu
Thành thật mà nói, kể từ khi Ilya rời OpenAI tự lập nghiệp, những tin đồn xoay quanh SSI đã nhiều như mây bay.
Có người nghi ngờ đóng góp thực sự của Ilya trong lịch sử học sâu, cha đẻ thực sự của GPT thực ra là Alec Radford;
Cũng có người nói anh ta giống Lương Văn Phong, quay đầu nghiên cứu lượng tử hóa.
Nhưng lần tiết lộ này có thể nhanh chóng gây chấn động, không chỉ vì ba chữ "Ilya" tự mang theo sức hút.
Mà còn vì nó thực sự chạm vào một số manh mối đã được công bố, tổng hợp lại có ít nhất ba manh mối:
Manh mối thứ nhất, tiếp tục học sau khi triển khai, trùng khớp cao với quan điểm mà Ilya đã thể hiện trong podcast của Dwarkesh Patel vào tháng 11 năm ngoái.
Lúc đó Ilya cho biết: Hai từ "AGI" và "tiền huấn luyện" đã đưa ngành đi chệch hướng.
Bởi vì con người không sinh ra đã nắm vững trí tuệ phổ quát cho mọi công việc, con người thực sự dựa vào việc học liên tục.
Siêu trí tuệ trong hình dung của ông, giống một thiếu niên 15 tuổi cực kỳ thông minh, ham học hỏi.
Nó biết không nhiều, nhưng có thể học lập trình, y học và các công việc khác sau khi được triển khai, tiếp tục trưởng thành qua từng lần thử sai.
Theo Ilya, SSI không muốn tạo ra một cỗ máy biết tất cả ngay từ lúc xuất xưởng (sau khi tiền huấn luyện kết thúc), mà là một tâm trí có thể học bất kỳ công việc nào.
Mục tiêu này mang màu sắc học siêu việt rõ ràng: mô hình cần nắm vững không chỉ một kỹ năng cụ thể, mà còn cả phương pháp học kỹ năng mới.
Ilya lúc đó dù không nhắc đến TTT, nhưng cả hai đều hướng đến cùng một vấn đề:
Mô hình có thể tiếp tục thay đổi chính mình sau khi triển khai không?
Manh mối thứ hai đến từ NVIDIA.
Vào ngày 27 tháng 7 năm nay, NVIDIA và SSI thông báo hợp tác chiến lược dài hạn, đồng thời đầu tư vào SSI, và cung cấp cho họ hệ thống Vera Rubin thế hệ tiếp theo.
Khả năng tính toán của SSI sẽ tăng lên một bậc, tức khoảng 10 lần, và theo Reuters tiết lộ, số tiền đầu tư lên tới 50 tỷ USD.
Quan trọng hơn, tiền và GPU không phải là phần quan trọng nhất.
Trong thông báo, NVIDIA đặc biệt viết, trong hai năm qua, SSI luôn lặng lẽ thúc đẩy một lộ trình nghiên cứu mới.
NVIDIA hiếm hoi tiếp cận được nghiên cứu được bảo mật chặt chẽ này, quyết định thúc đẩy nó bước vào giai đoạn tiếp theo.
Nói cách khác, ông Huang đã xem qua bài. Còn bài đó là gì, ông không nói.
Tuyên bố của chính Ilya cũng đáng suy ngẫm: Đã đến lúc mở rộng SSI!
Vậy thì... việc mở rộng quy mô này, rất là linh hoạt.
Ilya, đôi mắt anh đã nhìn thấy gì?
Manh mối thứ ba, là sự tiến triển của chính TTT trong hai năm qua.
Gần đây, ngày càng nhiều nhà nghiên cứu bắt đầu thử vượt qua lộ trình "mở rộng ngữ cảnh liên tục", tìm kiếm một mô hình gần hơn với việc học liên tục.
Lý do cũng rất đơn giản. Bởi vì con người không học bằng cách viết tài liệu tham khảo ngày càng dài, càng không giống như nam chính trong "Memento", xăm lên người mọi việc gặp phải.
Sau khi trải qua một sự việc, bộ não sẽ điều chỉnh các kết nối bên trong. Lần sau gặp vấn đề tương tự, con người đã không còn là chính mình của lần trước, đây mới là điểm thú vị thực sự của lộ trình TTT.
Nói một cách đơn giản, TTT (Test-Time Training) là huấn luyện tại thời điểm kiểm tra, nó khiến mô hình không còn tách biệt hoàn toàn "huấn luyện" và "suy luận", mà trong quá trình thực sự giải quyết vấn đề, lấy dữ liệu trước mắt tiếp tục huấn luyện chính mình, sau đó điều chỉnh trạng thái bên trong dựa trên sai số giữa kết quả dự đoán và mục tiêu, thậm chí trực tiếp cập nhật một phần tham số.
Trong tin đồn, "三只草莓" còn đặc biệt nhắc đến một bài báo liên quan——
End-to-End Test-Time Training for Long Context.
Nói một cách đơn giản, bài báo này diễn giải lại vấn đề ngữ cảnh dài thành một vấn đề học liên tục.
Mô hình ngữ cảnh dài truyền thống sẽ lưu phần trước trong cửa sổ ngữ cảnh, mỗi khi sinh nội dung mới, lại quay lại tìm thông tin cần thiết.
TTT-E2E được đề xuất trong bài báo lại coi toàn bộ đoạn ngữ cảnh là dữ liệu huấn luyện, để mô hình tiếp tục dự đoán Token tiếp theo trong quá trình đọc, và nén thông tin đọc được vào trọng số của chính mình.
Nhờ đó, ngữ cảnh không còn chỉ là một tài liệu tham khảo có thể lật xem bất cứ lúc nào, mà bắt đầu trở thành tài liệu học thực sự thay đổi chính bản thân mô hình.
Và đáng nói bổ sung thêm, TTT có sự khác biệt cơ bản với Agent Harness, Context Engineering vừa nổi lên gần đây.
Hai cái sau dựa vào ngữ cảnh bên ngoài để xây dựng giàn giáo, để mô hình nhìn thấy nhiều thông tin hơn, gọi nhiều công cụ hơn, nhưng bản thân mô hình không thay đổi.
TTT tiến thêm một bước, nó không chỉ để mô hình nhìn thấy nhiều hơn, gọi nhiều hơn, mà còn để mô hình trực tiếp thay đổi chính mình trong quá trình giải quyết vấn đề.
Vậy lại quay về câu hỏi.
Vì TTT không phải là thứ mới, và lại tuyệt vời như vậy, tại sao không sớm được sử dụng? Lý do cũng không khó đoán:
Bởi vì một khi mô hình có thể tự sửa đổi sau khi triển khai, nó có thể học sai, học lệch, thậm chí quên mất khả năng vốn có.
Năm 2016, chatbot Tay của Microsoft lên mạng chưa đầy 24 giờ, đã bắt đầu xuất nội dung công kích dưới sự dụ dỗ của cư dân mạng, cuối cùng bị gỡ xuống khẩn cấp.
Tay và TTT không phải cùng một loại công nghệ, nhưng đã sớm lộ ra một khó khăn giống nhau:
An toàn.
Vì vậy, đương nhiên có cư dân mạng đã đặt câu hỏi này, và sau đó Tam Chỉ Thảo Môi cho biết Ilya đã giải quyết.
Tất nhiên, câu nói này còn lâu mới được coi là bằng chứng, thậm chí giống một lời đồn nhẹ nhàng trên giang hồ hơn.
Nhưng đúng là, nó lại quay về với chữ S trong tên SSI (Safe Superintelligence):
An toàn (Safe).
Nếu Ilya thực sự muốn tạo ra một siêu trí tuệ tiếp tục phát triển sau khi triển khai, thì "khiến nó học cách học" thực ra chỉ giải quyết một nửa vấn đề.
Một nửa còn lại thậm chí khó hơn: khiến nó biết, cái gì không được học.
Tại sao mọi người đều đang chờ anh ấy
Nói đến đây, còn một câu hỏi cuối cùng:
Tại sao một tin đồn nặc danh thậm chí không thể xác nhận tính xác thực, lại khiến nhiều người phấn khích như vậy?
Chỉ vì người đứng sau cánh cửa núi, là Ilya Sutskever.
Anh là đồng sáng lập, cựu nhà khoa học trưởng của OpenAI, cũng là một trong những nhà nghiên cứu có ảnh hưởng nhất trong học sâu hơn mười năm qua.
Từ AlexNet, Sequence-to-Sequence, AlphaGo đến loạt GPT, đều có thể thấy tên anh.
NVIDIA trong thông báo hợp tác lần này còn đặc biệt nhắc đến, Ilya sau này còn dẫn đầu nghiên cứu cuối cùng dẫn đến các mô hình suy luận như OpenAI o1.
Nói cách khác, điều đáng sợ nhất của anh ấy chưa bao giờ là phát hành nhiều mô hình.
Mà là trong sự nghiệp, vài lần đã đứng trên con đường đó trước khi lộ trình kỹ thuật thực sự trở thành đồng thuận.
Cũng chính vì vậy, sau khi rời OpenAI vào tháng 5 năm 2024, Ilya sẽ làm gì tiếp theo, luôn là một trong những bí ẩn lớn nhất trong cộng đồng AI.
Và SSI được thành lập một tháng sau khi rời đi, càng khắc sự thần bí vào xương cốt.
Ngoài mục tiêu siêu trí tuệ an toàn ra, sau hai năm, SSI không phát hành mô hình, không làm sản phẩm, không công bố bài báo, bên ngoài thậm chí không biết họ đang nghiên cứu cụ thể cái gì.
Ilya thỉnh thoảng xuất hiện, cũng chỉ lặp lại nói về tổng quát hóa, học liên tục, và thời đại tiền huấn luyện có thể đang đi đến hồi kết.
Cho đến tháng 7 năm nay, NVIDIA sau khi xem qua nghiên cứu được bảo mật cao của SSI, quyết định tăng cược, và giúp họ nâng cao khả năng tính toán lên một bậc, SSI mới trở lại tầm mắt công chúng.
Do đó, chúng ta nhìn lại tin đồn TTT hôm nay, mùi vị sẽ khác.
Ilya luôn nói, siêu trí tuệ thực sự nên có thể tiếp tục học sau khi triển khai;
Bây giờ lại có người tiết lộ, SSI đang làm một mô hình sẽ tiếp tục cập nhật chính mình trong quá trình suy luận.
Tất nhiên, bây giờ vẫn chưa có bằng chứng xác thực. Nhưng nếu cuối cùng hai manh mối này thực sự khớp nhau——
Thì thứ mà Ilya mài giũa trong hai năm khép cửa, có thể thực sự không phải là một GPT lớn hơn nữa.
Mà là một thanh kiếm có thể tự đổi chiêu khi xuất chiêu.
Hãy chuẩn bị sẵn sàng đi!
Liên kết tham khảo[1]https://x.com/i/trending/2087551605553901958[2]https://www.youtube.com/watch?v=aR20FWCCjAs
Bài viết này đến từ tài khoản WeChat công cộng "量子位", tác giả: Quan Tâm Tiền Duy Công Nghệ
