Vào chiều ngày 1 tháng 7, một dòng tweet đã làm "dậy sóng" giới học thuật Thung lũng Silicon.
Jelani Nelson, người đứng đầu bộ môn Khoa học Máy tính của khoa EECS (Điện và Khoa học Máy tính) tại UC Berkeley, giáo sư lý thuyết khoa học máy tính, đã tạm thời gác lại chìa khóa văn phòng của mình để đến Anthropic.
Ông đăng trên X:
Tôi đã gia nhập Anthropic và xin nghỉ phép từ trường đại học. Rất vui được cùng nhiều người tài năng, có sứ mệnh nghiên cứu công nghệ then chốt của thời đại chúng ta.
Chỉ hai câu ngắn gọn nhưng chứa đầy thông tin: đã nhận việc, giữ nguyên chức vụ giảng dạy, dưới hình thức nghỉ phép. Còn về chức vụ, nhóm nghiên cứu, hướng đi thì không đề cập gì.
Tiểu sử trên X của Nelson cũng đã được cập nhật: Nhân viên Kỹ thuật (Member of Technical Staff) tại Anthropic, trở thành đồng nghiệp của Karpathy vừa gia nhập hồi tháng 5.
Jelani Nelson, Chủ tịch Bộ môn Khoa học Máy tính, Khoa Điện và Khoa học Máy tính (EECS), Đại học California, Berkeley
Người đứng đầu một trong những khoa khoa học máy tính hàng đầu nước Mỹ, nói đi là đi.
Các công ty AI đã cạnh tranh giành nhân tài suốt ba năm, từ kỹ thuật đến sản phẩm, từ AI alignment (căn chỉnh AI) đến đa phương thức.
Lần này, bàn tay đã vươn tới đỉnh cao của lý thuyết khoa học máy tính.
Từ MIT đến Berkeley, người đưa 'việc đếm' đạt đến mức tối ưu thế giới
Lý lịch của Nelson gần như là chuẩn mực đầy đủ của ngành lý thuyết khoa học máy tính.
Ông tự học HTML xây dựng website từ thời trung học cơ sở, học lập trình ở trung học, và trong thời đại học đã chứng minh năng lực qua các cuộc thi rằng mình có thể viết mã không lỗi nhanh nhất.
Ông học liên tục từ cử nhân đến tiến sĩ tại MIT, nhận bằng Tiến sĩ Khoa học Máy tính năm 2011, chuyên về các thuật toán hiệu quả xử lý dữ liệu khổng lồ.
Ông mô tả sức hút của ngành học này với mình là "gần như tôn giáo": vừa là vấn đề cốt lõi của tư duy con người, lại vừa liên quan mật thiết đến thế giới thực.
Sau khi nhận bằng tiến sĩ, ông lần lượt làm nghiên cứu sau tiến sĩ tại Berkeley, Đại học Princeton và Viện Nghiên cứu Cao cấp Princeton (IAS), năm 2013 gia nhập giảng dạy tại Harvard.
Năm 2019, Nelson rời Harvard, chuyển về phía Tây đến UC Berkeley.
Báo của Harvard đã thẳng thừng đưa sự tiếc nuối vào tiêu đề: Sự ra đi của ông để lại một khoảng trống lớn trong khoa Máy tính (Big Hole).
Đến với Berkeley, ông như cá gặp nước, lao vào môi trường lý thuyết nơi có Viện Lý thuyết Tính toán Simons (Simons Institute).
Mùa thu năm 2024, Nelson tiếp nhận vị trí Chủ tịch Bộ môn Khoa học Máy tính (Chair) của EECS, lãnh đạo một trong những khoa khoa học máy tính hàng đầu thế giới.
Hướng nghiên cứu chính của ông là thuật toán luồng (streaming algorithms), giảm chiều dữ liệu (dimensionality reduction), thuật toán ngẫu nhiên (randomized algorithms).
Nói theo ngôn ngữ thông thường, Nelson tập trung vào một loại vấn đề: Khi dữ liệu lớn đến mức không thể lưu trữ hết, thì tính toán thế nào.
Vài năm trước, ông chú ý đến một vấn đề nghe có vẻ như bài toán tiểu học: Dạy máy tính biết đếm.
Nghe có vẻ đơn giản, nhưng khi con số lớn đến mức điện thoại và máy chủ không thể nhớ "đã đếm đến đâu", thì chi phí lưu trữ và tốc độ sẽ vượt tầm kiểm soát.
Nhóm của ông đã đưa ra một công thức toán học, chứng minh bất kỳ thuật toán nào giải quyết vấn đề này cũng phải sử dụng ít nhất bao nhiêu bộ nhớ.
Bài báo của nhóm Nelson, chứng minh giới hạn dưới về bộ nhớ cho bài toán đếm xấp xỉ. https://arxiv.org/pdf/2010.02116
Kỹ sư làm cho chương trình chạy nhanh hơn, Nelson chứng minh chương trình nhanh nhất chỉ có thể chạy được bao nhiêu. Đó là công việc của một nhà lý thuyết khoa học máy tính: xác định giới hạn vật lý cho tính toán.
Đóng góp của Nelson trong giới học thuật không chỉ dừng lại ở việc "đếm".
Một là cùng với Kasper Green Larsen, chứng minh tính tối ưu của Bổ đề Johnson-Lindenstrauss (Johnson-Lindenstrauss lemma).
Đây là một viên đá nền tảng trong lĩnh vực giảm chiều, giới hạn lý thuyết đã được ông xác định. Trước đó, ông cũng cùng Daniel Kane đề xuất phép biến đổi JL thưa (sparse JL transform).
Hai là cùng với Kane và David Woodruff, đưa ra thuật toán tiệm cận tối ưu cho bài toán count-distinct (trong một luồng dữ liệu có bao nhiêu phần tử khác nhau).
Theo ông, ngay cả việc "đếm" mà ai cũng làm được, đằng sau cũng ẩn chứa nghiệm lý thuyết tối ưu.
Những công trình này mang về cho ông một loạt danh hiệu: Giải thưởng Nghiên cứu Sloan, Giải thưởng Tổng thống dành cho các Nhà khoa học và Kỹ sư Trẻ xuất sắc (PECASE).
Ngoài học thuật, Nelson còn có một mặt khác.
Năm 2011, khi còn là nghiên cứu sinh tiến sĩ tại MIT, ông đã đến Ethiopia để thành lập trại hè lập trình miễn phí AddisCoder.
Qua mười bốn năm, gần 700 học viên đã ra trường, một số vào học tiến sĩ tại Harvard, MIT, Stanford.
Sau đó, ngôi sao nhạc reggae Jamaica Chronixx chủ động tìm đến quyên góp, thúc đẩy ra đời dự án chị em JamCoders.
Trại hè lập trình miễn phí AddisCoder do Nelson thành lập năm 2011, đã đào tạo gần 700 học viên. (Nguồn: Trang chủ AddisCoder)
Nelson còn là một trong những người phản đối kịch liệt nhất cải cách chương trình giảng dạy toán học tại California, lý do rất đơn giản: Ông nội của ông xuất thân nghèo khó, nhờ nền giáo dục công chất lượng tốt đã trở thành bác sĩ, thay đổi con đường của cả gia đình.
Do đó, theo ông, việc loại bỏ các môn toán học nghiêm ngặt khỏi trường công lập đồng nghĩa với việc phá hủy chiếc thang cho thế hệ tiếp leo lên.
Sự nghiệp "ngoài học thuật" này sau đó cũng giúp ông giành được Giải thưởng Đóng góp Nhân đạo ACM Lawler.
Anthropic cần một học giả lý thuyết để làm gì
Một giáo sư nghiên cứu thuật toán luồng có liên quan gì đến một công ty mô hình lớn?
Hướng nghiên cứu của Nelson (thuật toán luồng, giảm chiều, thuật toán ngẫu nhiên), thực chất đều nghiên cứu một việc: làm thế nào để sử dụng ít bộ nhớ nhất, ít tính toán nhất, để xử lý dữ liệu lớn nhất.
Đối chiếu sang phía mô hình lớn, đây lại chính là những việc tốn kém nhất: hiệu suất huấn luyện, nén dữ liệu, độ phức tạp tính toán.
Lấy Bổ đề JL mà ông đã hoàn thiện mảnh ghép cuối cùng đã đề cập trước đó, nó trả lời một câu hỏi mộc mạc đến mức gần như là kiến thức phổ thông: Dữ liệu nhiều chiều có thể nén nhỏ tối đa đến đâu mà không bị biến dạng.
Việc truy xuất vector (vector retrieval) và nén nhúng (embedding compression) chạy khắp thế giới ngày nay, trực giác cơ bản đều xây dựng trên bổ đề này.
Huấn luyện một mô hình tiên phong, về bản chất là thực hiện nén và lọc trên một luồng dữ liệu khổng lồ; ở phía suy luận (inference), bộ nhớ hiển thị, bộ đệm, cửa sổ ngữ cảnh, từng mục một đều đang va chạm với bộ nhớ và độ phức tạp.
Và đây chính là lĩnh vực vấn đề mà Nelson đã đào sâu trong hai mươi năm.
Khi quy mô mô hình chạm trần năng lực tính toán và dữ liệu, giá trị của "tiết kiệm" bắt đầu vượt qua "chồng chất", trọng tâm cạnh tranh AI đang chuyển từ "mô hình của ai mạnh hơn" sang "thuật toán cơ bản của ai tiết kiệm hơn".
Mà bộ công cụ thuật toán luồng và ngẫu nhiên này, lại phù hợp một cách tự nhiên với vấn đề "sử dụng tài nguyên hữu hạn để tiệm cận nghiệm tối ưu", điều này tình cờ trúng vào nỗi lo chung của tất cả các phòng thí nghiệm tiên phong ngày nay.
Từ góc độ này, việc Anthropic ký hợp đồng với một nhà khoa học lý thuyết máy tính, giống như là việc bổ sung kiến thức: bên cạnh mô hình, kỹ thuật, căn chỉnh, họ đang đào sâu thêm một tầng nền móng lý thuyết.
Giáo sư đỉnh cao vào công ty AI, hiện nay thịnh hành không từ chức
Về việc gia nhập Anthropic, lời nói nguyên gốc của Nelson là "taken leave from the university", nghỉ phép từ trường đại học (leave of absence).
Nghỉ phép khác với từ chức: vẫn giữ nguyên chức vụ giảng dạy, có thể quay về bất cứ lúc nào.
Đây là một chế độ trưởng thành trong giới học thuật Mỹ, giáo sư nghỉ việc một thời gian (có lương hoặc không lương) để đến với giới công nghiệp, khởi nghiệp, hoặc làm bất cứ việc gì.
Con đường này đã có người thử nghiệm từ trước.
Năm 2017, Fei-Fei Li đã tận dụng kỳ nghỉ học thuật để đảm nhận chức Phó Chủ tịch kiêm Nhà khoa học Trưởng AI đám mây của Google, và trở về Stanford sau hai năm.
Ngày nay, cánh cửa xoay giữa học giới và công nghiệp càng quay càng nhanh, mô hình "nghỉ phép gia nhập" đang trở thành một xu hướng chủ đạo.
Đối với học giả, đây là một tấm vé đảm bảo an toàn, huống chi giới công nghiệp còn có năng lực tính toán, dữ liệu và vấn đề thực tế mà học giới không có được.
Đối với công ty AI, đây là một kênh dẫn dụ nhân tài ít ma sát. Còn hợp lý hơn nữa, ký hợp đồng với một học giả, không chỉ là ký một người, mà còn ký cả học trò, đồng nghiệp và cả mạng lưới học thuật phía sau ông ta.
Con đường một chiều truyền thống "nhận được chức vụ trọn đời (tenure), làm việc đến khi về hưu" đang bị thay thế bởi mô hình nghỉ phép "nửa chân bước vào công nghiệp".
Đối với trường đại học, một khi cánh cửa này đã mở, rất khó để đóng lại.
Chiếm xong đối thủ, các ông lớn AI bắt đầu chiếm đại học
Tháng 6 vừa qua, thị trường nhân tài AI điên cuồng đến mức nào?
Ngày 18 tháng 6, tác giả bài báo Transformer, đồng phụ trách Gemini Noam Shazeer thông báo rời Google để đến OpenAI.
Cần biết rằng, Google mới mua lại ông từ Character.AI trong một thương vụ trị giá 2,7 tỷ USD vào năm 2024, vậy mà chưa đầy hai năm sau, người ta lại đi.
Ngày 19 tháng 6, John Jumper, người giành giải Nobel Hóa học 2024 nhờ AlphaFold, chính thức thông báo: Rời DeepMind sau gần chín năm cống hiến, gia nhập Anthropic.
Bị ràng buộc bởi điều khoản cạnh tranh của cấp cao DeepMind, ông có thể phải đến năm sau mới chính thức nhận việc.
Ngày 24 tháng 6, Bloomberg tiết lộ: Các nhà nghiên cứu cốt lõi của Gemini Jonas Adler và Alexander Pritzel cũng sẽ tiếp bước gia nhập Anthropic. Cả hai đều là cộng tác viên trong công trình cấu trúc protein của Jumper.
Cổ phiếu Alphabet giảm giá ngay lập tức, các nhà đầu tư bắt đầu công khai chất vấn liệu Google có còn giữ được người hay không.
Đến đây, chiến trường vẫn còn nằm giữa các công ty AI. Chẳng bao lâu sau, ngọn lửa chiến tranh lan đến trường đại học.
Ngày 25 tháng 6, học giả an ninh AI Dawn Song, giảng dạy tại Berkeley 19 năm, thông báo gia nhập Phòng thí nghiệm Siêu trí tuệ của Meta, đảm nhận chức Phó Chủ tịch Nghiên cứu AI.
Ngày 1 tháng 7, Nelson.
Chỉ trong hai tuần ngắn ngủi: một nhà khoa học đạt giải Nobel, hai nhà nghiên cứu cốt lõi Gemini, một giáo sư kỳ cựu, thêm một chủ tịch bộ môn đương nhiệm.
Trong số đó, bốn người Jumper, Adler, Pritzel, Nelson, đều chảy về Anthropic.
Bối cảnh của làn sóng dịch chuyển nhân tài điên cuồng này cũng không khó đoán.
OpenAI đã bí mật nộp hồ sơ IPO, Anthropic cũng được nhiều nguồn tin chỉ ra là đang gần đến ngày niêm yết. Đối với các nhà nghiên cứu hàng đầu, việc gia nhập lúc này đồng nghĩa với cổ phần trước khi niêm yết, đây là mức giá mà các ông lớn không thể đưa ra.
Và vai trò của Berkeley trong cuộc di cư lần này càng đáng chú ý.
Viện Lý thuyết Tính toán Simons tọa lạc tại đây, khoa EECS hàng đầu nước Mỹ tọa lạc tại đây - ba mạch lý thuyết, hệ thống học máy, an ninh AI, liên tục cung cấp máu cho Anthropic, OpenAI, DeepMind.
Các ông lớn AI vòng trước chiếm người biết huấn luyện mô hình, vòng này chiếm người biết giới hạn của mô hình nằm ở đâu.
Khi các học giả đỉnh cao đổ về, các công ty AI trên thực tế đang trở thành một hệ thống "cơ quan nghiên cứu thứ hai".
Nếu các nhà lý thuyết giỏi nhất đều đang "nghỉ phép" tại công ty, thì trường đại học còn lại gì? Không ai biết.
Điều duy nhất chắc chắn là, điểm nóng tranh giành trong cuộc đua AI đã chuyển từ năng lực mô hình xuống sâu đến tầng địa cơ thuật toán lý thuyết.
Tài liệu tham khảo:
https://x.com/minilek/status/2072322757908664728?s=20
https://www2.eecs.berkeley.edu/Faculty/Homepages/minilek.html
https://vcresearch.berkeley.edu/news/jelani-nelson-considers-human-thought-computer-science-tools
https://arxiv.org/pdf/2010.02116
Bài viết này đến từ tài khoản WeChat công chúng "Tân Trí Nguyên", tác giả: ASI Khải Thị Lục
