Này, đã nghe tin chưa?
Những ngày tháng tốt đẹp của các nhà nghiên cứu con người, tính đủ cũng chỉ còn hai năm nữa.
Hai năm sau, việc con người nghiên cứu AI sẽ giống như con người chơi cờ vua ngày nay vậy.
Bạn vẫn có thể chơi, nhưng chẳng ai quan tâm bạn chơi thế nào đâu.
Đây là tuyên bố gây sốc mới nhất được đưa ra bởi Jerry Tworek, cựu trưởng nhóm mô hình suy luận số 1 của OpenAI.
Ông ấy vào OpenAI năm 2019, ở lại đó suốt bảy năm. Khi đó, học tăng cường mãi không scale lên được, chính ông ấy là người không chịu buông tha và kiên trì đẩy mạnh nó lên, cả hai thế hệ "vũ khí" o1 và o3 đều do ông ấy trực tiếp dẫn dắt và tạo ra.
"Chúng tôi muốn tạo ra AGI." Đây là toàn bộ lộ trình mà Ilya đưa ra trong cuộc họp toàn thể vào năm 2019, khi anh ấy vừa mới vào OpenAI. Bảy năm sau, anh ấy tự mình ra ngoài làm riêng.
Đáng sợ hơn nữa, không chỉ mình anh ấy nói điều này. Câu "meme" nội bộ đang thịnh hành nhất giữa các nhà nghiên cứu AI hiện nay là thế này —
Chúng ta chỉ còn vài ngày làm việc cuối cùng thôi, tranh thủ lúc còn làm được thì hãy làm nhanh đi, làm xong rồi cùng nhau nghỉ hưu đi thôi.
Mọi người đều coi đó là trò đùa đen tối và truyền tai nhau. Nhưng mỗi người kể chuyện cười đều hiểu rõ trong lòng.
Trò đùa này, tám phần mười là thực tế.
Và đây mới chỉ là món khai vị. Suốt buổi phỏng vấn, những lời lẽ sắc bén như vậy cứ thế tuôn ra từ anh ấy:
- Agent thực sự có khả năng sáng tạo, nhưng đó là một kiểu sáng tạo cực kỳ kém chất lượng, chất đống, ý tưởng thì đủ loại, nhưng cũng tệ đến mức khó có thể chấp nhận.
- Trên toàn thế giới, số người thực sự hiểu tường tận từ khâu huấn luyện đến triển khai một mô hình tiên phong, có lẽ chỉ khoảng ba mươi đến năm mươi người, tất cả những người còn lại đều đang hỗ trợ cho vài chục bộ não này.
- Việc coi Transformer là giải pháp tối ưu, giả định này gần như không thể thành hiện thực.
- Trong bảy năm làm việc tại OpenAI, số lần thực sự nghiêm túc thử thay thế kiến trúc nền tảng, chỉ có ba đến bốn lần.
- Cái tiền đề rằng thế giới phải dựa vào chúng ta đi làm mới vận hành được, vốn dĩ đã không đứng vững.
Dưới đây là phiên bản đã được chỉnh sửa, thưởng thức nhé.
Một nửa công việc, đã không còn ai làm nữa
Con số hai năm này, không liên quan đến điểm số benchmark, cũng không liên quan đến sức mạnh tính toán.
Ông ấy đang đếm xem trong việc nghiên cứu này, còn bao nhiêu phần việc là do con người thực hiện.
Và công việc này từ lâu đã bị chia thành hai giai đoạn.
Một giai đoạn là nghĩ ra ý tưởng, suy nghĩ xem nên đi về hướng nào. Giai đoạn khác là thực thi, biến ý tưởng thành mã code có thể chạy được rồi lấy dữ liệu về.
Còn giai đoạn thực thi đó, về cơ bản đã thuộc về Agent rồi.
Tworek thành lập công ty tên Core Automation vào tháng 4 năm nay, khẩu hiệu là tạo ra phòng thí nghiệm AI tự động hóa nhất thế giới.
Ở đó, chu kỳ hoàn chỉnh của một thí nghiệm, trực tiếp bị rút từ một tháng xuống còn một ngày. Hiệu suất tăng lên gấp ba mươi lần!
Tuy nhiên, giai đoạn nghĩ ra ý tưởng này, Agent tạm thời chưa tiếp quản được. Nguyên nhân là —
Chúng hoàn toàn thuộc về loài có khả năng sáng tạo cao.
Nhưng chúng đang phung phí khả năng sáng tạo đó theo một cách cực kỳ kém chất lượng và chất đống. Ý tưởng quả thật đa dạng, nhưng ý tưởng cũng phổ biến là tệ đến mức khó chấp nhận.
Cả thế giới chỉ có ba mươi đến năm mươi người
Nghe vậy, có vẻ giai đoạn nghĩ ra ý tưởng này vẫn còn ổn định.
Nhưng số người thực sự có thể nghĩ ra ý tưởng, vốn dĩ cũng chẳng còn lại mấy người.
Trong cuộc phỏng vấn, người dẫn chương trình tiết lộ, một nhà nghiên cứu nội bộ OpenAI đã thổ lộ với anh ta —
Trên toàn thế giới, số người thực sự có thể hiểu tường tận từ đầu đến cuối cách huấn luyện và triển khai một mô hình tiên phong, có lẽ chỉ khoảng ba mươi đến năm mươi người.
Tất cả những người còn lại đều đang hỗ trợ cho vài chục bộ não này, bao gồm phần lớn nhân viên chính thức trong công ty giỏi nhất đó.
Tworek không phản bác.
Ông ấy cũng nghĩ rằng, bất kỳ đội ngũ đỉnh cao nào cũng vận hành như vậy. Một vài người định hướng, phía sau kéo theo cả một cỗ máy thực thi ầm ầm.
Hãy nhớ rằng, vài chục người này khan hiếm đến mức nào, chỉ cần nhìn vào danh sách tuyển dụng của chính ông ấy là đủ rõ.
Đồng sáng lập Core Automation, Rohan Anil, đến từ Anthropic, trước đó là Google DeepMind.
Anmol Gulati từng làm Gemini tại DeepMind cũng bị "câu" về. Ngay cả cựu trưởng phòng nhân sự của OpenAI, Julia Villagra, cũng đi theo.
Tất cả các phòng thí nghiệm đều đang vớt người trong cùng một cái ao. Và cái ao đó, tổng cộng chỉ có vài chục con cá.
Vì vậy, con số hai năm này, không liên quan gì đến toàn nhân loại.
Đang nói về việc vài chục người này còn có thể cầm cự được bao lâu nữa.
Bảy năm, kiến trúc chỉ bị động đến ba bốn lần
Đã chỉ còn vài chục người, vậy bức tường cuối cùng chắn ngang AI là gì?
Câu trả lời của Tworek chỉ có một từ, Transformer.
Theo ông ấy, thứ này gần như không thể là giải pháp tối ưu.
Thứ nhất, mô hình không thể tiếp tục học sau khi triển khai. Bạn có nói chuyện với nó nhiều bao nhiêu, nó cũng không mạnh lên, cuộc đối thoại tiếp theo vẫn là chính nó lúc trước. Cửa sổ ngữ cảnh cũng không chịu nổi, ông ấy nói rằng khi dùng Codex khoảng hai mươi phút, phải nén một lần.
Thứ hai, nếu muốn dựa vào việc tinh chỉnh liên tục để bù đắp, sẽ phát hiện ra không chỉ hiệu quả cực kỳ thấp, mà còn quên một cách thảm họa, học cái mới thì quên cái cũ.
Vì vậy, phần lớn công việc của toàn ngành xoay quanh Transformer trong vài năm qua, thực ra là làm cho nó rẻ hơn, rất ít người thực sự làm cho nó mạnh lên.
Và thứ Tworek thực sự muốn, thực ra cũng không nằm ở bản thân kiến trúc.
Ông ấy muốn một mô hình có thể tiếp tục học trong thời gian thử nghiệm (test time), là loại mô hình có thể tiếp tục phát triển từ tương tác người dùng, từ dữ liệu người dùng. Thay đổi kiến trúc chỉ là phương tiện để đạt đến thứ đó.
Những lý lẽ này trong ngành không ai không hiểu. Vậy tại sao sau nhiều năm, Transformer vẫn đứng vững ở đó?
Nguyên nhân đằng sau đơn giản đến mức hơi buồn cười — Về cơ bản là chưa thử mấy.
Trong bảy năm ở OpenAI, số lần thực sự nghiêm túc thử thay thế kiến trúc nền tảng, chỉ có ba đến bốn lần.
Quy trình như sau.
Nhà nghiên cứu trước tiên viết một thí nghiệm xác minh quy mô nhỏ, viết xong ít nhất chạy ba tháng. Nhìn kết quả thấy ổn, mới dám mở rộng.
Mà cái gọi là mở rộng, chính là bạn phải dùng ba tấc lưỡi thuyết phục được khoảng mười người nắm quyền sinh sát, rồi mười người này lại đổ ba đến sáu tháng vào cái hố không đáy của bạn.
Cuối cùng, hoặc bị động lực đã lăn thành quả cầu tuyết từ lâu của Transformer nghiền nát, hoặc bị hấp thụ một phần, trở thành một con ốc vít trên thân nó.
Bảy năm, ba bốn lần. Đây là toàn bộ năng lực sáng tạo kiến trúc của phòng thí nghiệm AI mạnh nhất thế giới.
"Jare, mang mấy cái năng lực tính toán này đi đốt"
Chính ông ấy cũng từng đụng phải một tình thế bế tắc y hệt tại OpenAI. Và cái mở ra nó, là một câu nói.
Khi đó, lô thí nghiệm nửa sống nửa chết đó, vật lộn và có được một chút "dấu hiệu sự sống". Không thể nói là tốt, nhưng rốt cuộc cũng có mầm mống.
Đúng vào thời điểm then chốt này, Jakub Pachocki, người sau này ngồi vào vị trí Nhà khoa học trưởng của OpenAI, đã tìm gặp ông ấy.
"Jare, tất cả GPU này đều dành cho anh, anh xem có thể đẩy kết quả trong tay lên lớn hơn, mạnh hơn một chút được không."
"Giờ anh có mấy cái GPU này trong tay rồi." Khi ông ấy nhắc lại câu này, o1 vẫn chưa có tên.
Câu nói này đã kéo ông ấy ra khỏi một nghịch lý —
Bạn phải đưa ra kết quả trước, mới có tư cách đòi năng lực tính toán.
Nhưng rõ ràng bạn phải có khoản năng lực tính toán đó trước, mới đổ ra được kết quả.
Tworek nói, phần lớn các hướng nghiên cứu tiên phong đều mắc kẹt trong nghịch lý này. Những cuộc chiến ngầm giành giật năng lực tính toán trong phòng thí nghiệm, xét cho cùng đều là để tìm một lối thoát.
Và lối thoát, đôi khi chỉ là một chút tin tưởng từ phía lãnh đạo.
Chỉ cần có người từ trên phát lệnh, nói tôi hy vọng anh có được một hạn ngạch năng lực tính toán tử tế để nghiên cứu mạnh mẽ nó. Thế là đủ rồi.
Cửa mở ra, phía sau không thể kiểm soát nổi.
Học tăng cường từ thời điểm này bắt đầu vượt qua vài bậc độ lớn.
Rồi o1 chui ra khỏi kén, con đường mô hình suy luận mà vô số người từng tuyên bố tử hình, cứng đầu cứng cổ đã bị ông ấy đi sống lại.
Một trăm nghìn đô la, đỉnh bằng một chuyên gia
Và lần này, ông ấy không cần phải chờ ai phát lệnh nữa.
Khâu đốt tiền nhất trên toàn bộ chuỗi, chính là dịch ý tưởng trừu tượng thành mã code có thể thực sự chạy được. Và đây lại chính là việc mà Agent lập trình hiện nay làm xuất sắc nhất.
Ví dụ, Core Automation đã từng dùng chiến thuật này để "gặm" nhân GPU.
Cụ thể, họ ném một nhân phân tích QR cho Agent lập trình chạy bốn tuần, đốt khoảng một trăm nghìn đô la chi phí gọi, cuối cùng đẩy tốc độ của nhân này lên gấp sáu mươi lần so với ban đầu.
Công việc này thuộc về kỹ thuật hiệu suất cấp thấp, vặn vẹo xem một đoạn tính toán ma trận chạy thế nào trên card đồ họa để nhanh hơn, bình thường phải dựa vào số ít chuyên gia điều chỉnh từng dòng một bằng tay.
Mà những chuyên gia như vậy, trên thế giới cũng chẳng có mấy người.
Giờ một trăm nghìn đô la có thể đỉnh bằng một người. Nó không cần bị thuyết phục, cũng không cần ba đến sáu tháng.
Chỗ tắc nghẽn bảy năm, cứ thế bị xung phá.
Vậy sau này chúng ta còn có thể làm gì?
Ngay cả kiến trúc khó nhằn nhất cũng đã lung lay, thì chiếc vô lăng trong tay vài chục người kia, cũng không nắm được bao lâu nữa.
Cuối buổi phỏng vấn, người dẫn chương trình đưa việc này ra hỏi thẳng ông ấy, khi ngày đó thực sự đến, con người còn lại gì để làm.
Về điều này, Tworek miêu tả hai bức tranh.
Bức thứ nhất là Hy Lạp cổ đại.
Mọi người gặp nhau ở quảng trường, thong thả nói chuyện triết học cả ngày, rồi chạy đi rèn luyện thân thể, ăn ô liu, uống rượu vang.
Chính ông ấy vừa miêu tả xong đã cười, thừa nhận đây có lẽ chỉ là phóng chiếu mong muốn của bản thân ông.
"Chúng ta gặp nhau ở quảng trường, rồi nói chuyện." Nguyên văn lời ông ấy miêu tả cuộc sống hàng ngày của con người thời hậu AGI, nói xong tự mình cười trước.
Bức thứ hai là trung học, hay nói cách khác là đại học.
Ông ấy nghĩ con người nên giữ lại một sự theo đuổi với bản thân "sự xuất sắc". Tiếp tục tham lam học những điều mới, rèn luyện thân thể và trí óc đến kiệt sức.
Điều này hơi giống thể thao chuyên nghiệp, không có bất kỳ lý do kinh tế nào ép buộc bạn phải đổ mồ hôi sôi nước mắt, nhưng niềm kiêu hãnh trong xương tủy của con người, chính là phải với tới thứ gọi là "vĩ đại".
Chúng ta phải tìm đủ mọi cách để làm việc này.
Bởi vì trong thế giới tiếp theo, sẽ không còn những việc kiểu "bạn không làm, thế giới này sẽ sụp đổ". Thế giới sẽ tự chạy trên cơ sở hạ tầng mà chúng ta đã xây dựng.
"Chúng ta nên tiếp tục học mãi." Ông ấy nói việc này như một nghĩa vụ, chứ không phải tiêu khiển.
Rồi ông ấy bình thản lật ngửa bài ngửa.
Chúng ta phải làm việc, thế giới này mới vận hành. Giả định này, căn bản không cần thiết phải thành lập.
"Nhiều người lấy giá trị bản thân từ công việc." Ông ấy thừa nhận đây là khó khăn nhất để vượt qua, bao gồm cả với chính bản thân ông.
Chính ông ấy cũng nằm trong danh sách này
Nói thật, nghe xong cả buổi, điều khiến người ta rùng mình nhất không phải là con số hai năm.
Là chính ông ấy cũng biết, ông ấy đang nhấn ga cho cái đồng hồ đếm ngược này.
Thứ ông ấy muốn tạo, định nghĩa chính là có thể tự học, tự mạnh lên, không bao giờ cần người túc trực bên cạnh cho ăn nữa. Tạo thành công rồi, vị trí của vài chục người kia biến mất càng nhanh.
Và ông ấy còn có một câu sắc hơn, người đầu tiên bị kết án là chính mình.
Nếu bạn không phải là phòng thí nghiệm có dự trữ năng lực tính toán kinh khủng nhất, quy mô lớn nhất, bạn sẽ chết rất khó coi.
Nói câu này, Core Automation mới thành lập được bốn tháng, doanh thu trên sổ sách là số không.
Ông ấy nói từ khi khởi nghiệp đến nay, gần như tuần nào cũng có người chạy đến nói với ông, Jare, quá muộn rồi, cái thang thông thiên đó đã bị thu lên từ lâu rồi.
Phản ứng của ông ấy chỉ có một câu khẩu hiệu của công ty mình.
Người trong công ty chúng tôi thích nói nhất, tất cả đều là skill issue (vấn đề kỹ năng).
Dịch ra là, thất bại đến cuối cùng đừng trách hoàn cảnh, tất cả đều trách kỹ thuật của bạn quá kém.
Bạn đừng nói, câu này đặt trong buổi phỏng vấn này, thực sự có chút mùi vị đó.
Quay lại nhìn câu meme thịnh hành lúc đầu.
Chúng ta chỉ còn vài ngày làm việc cuối cùng thôi, tranh thủ lúc còn làm được thì hãy làm nhanh đi.
Trong giọng điệu đó rốt cuộc là phấn khích, hay bi thương? Chúng ta không thể biết được.
Bởi vì với người nói câu đó, hai cảm xúc đó vốn dĩ là một.
Tworek nói, nhịp độ của ngành này cực kỳ hao tổn người, làm nhiều năm như vậy, thực sự là rất rất mệt.
"Nhưng nếu chúng ta thực sự tin rằng, đây là khoảng thời gian quan trọng nhất trong toàn bộ sự nghiệp của chúng ta."
"Vậy thì, cực kỳ đáng giá đó chứ."
Tài liệu tham khảo:
https://x.com/MTSlive/status/2092387349623935322
Bài viết này đến từ tài khoản công chúng WeChat "Tân Trí Nguyên" (新智元), tác giả: ASI Khải Thị Lục, biên tập: Moses
