Vào năm 2026 tại YC Startup School, giọng nói của Jeff Dean có chút khàn khàn.
Ngay khi buổi phỏng vấn bắt đầu, ông giải thích rằng mình bị mất tiếng, hôm nay nghe có vẻ khác thường. Nhưng điều đó không ảnh hưởng đến sự chú ý của khán giả phía dưới. Diana Hu, đối tác của YC ngồi trước mặt ông, liệt kê một loạt những cái tên đủ để đi vào lịch sử máy tính: MapReduce, BigTable, TensorFlow, TPU, Gemini.
Bất kỳ dự án nào trong số đó cũng đủ để trở thành tác phẩm đại diện cho sự nghiệp của một kỹ sư. Nhưng chúng lại tập trung xuất hiện trong sự nghiệp của Jeff Dean và một nhóm kỹ sư Google xung quanh ông.
Diana không biến cuộc phỏng vấn thành một buổi nhìn lại thành tích. Bà quan tâm hơn đến một vấn đề khác: khi AI tạo sinh đã cuốn phăng ngành công nghiệp phần mềm, một người giỏi nhất trong việc tái cấu trúc hệ thống từ tầng đáy như Jeff Dean, hôm nay thực sự đang nhìn vào điều gì?
Câu trả lời không phải là một mô hình lớn hơn.
Trong cuộc trò chuyện kéo dài gần một giờ này, Jeff Dean liên tục nhắc đến phần cứng suy luận, năng lượng, di chuyển dữ liệu, kỹ thuật ngữ cảnh, Agent chạy lâu dài, hệ thống thử nghiệm tự động, và cách các công ty khởi nghiệp tránh được sự áp đảo trực diện của các mô hình phổ quát. Những gì ông nói tưởng như phân tán, nhưng đằng sau lại có một chủ đề rất rõ ràng: Giai đoạn tiếp theo của AI, không chỉ là huấn luyện mô hình trở nên thông minh hơn, mà là đặt mô hình vào một hệ thống có thể làm việc lâu dài, liên tục thử-sai, tự động xác minh, không ngừng tích lũy năng lực.
Điều này cũng có nghĩa là, cuộc cạnh tranh AI đang chuyển từ "ai có mô hình lớn hơn", sang "ai có thể tổ chức trí tuệ tốt hơn".
Một. AI đã giống như một kỹ sư cơ bản, nhưng đây không phải là thay đổi quan trọng nhất
Vào tháng 5 năm 2025, Jeff Dean từng đưa ra một nhận định gây tranh cãi rộng rãi: Năng lực của AI đã tiến gần đến một kỹ sư cơ bản.
Một năm sau, Diana hỏi ông, dự đoán này đã thực hiện như thế nào?
Jeff Dean trả lời một cách trực tiếp. Ông cho rằng, nhận định này "khá chính xác". Những tiến bộ của mô hình trong việc Agent hóa, mã hóa quy trình dài và nhiệm vụ phức tạp, thậm chí còn nhanh hơn ông dự kiến lúc đó.
"Khả năng hoàn thành nhiệm vụ ngày càng phức tạp của mô hình, tăng trưởng nhanh hơn tôi dự kiến." Ông nói.
Đáng chú ý hơn, khả năng này không còn giới hạn ở việc viết mã. Ngày càng nhiều hệ thống Agent bắt đầu tiến vào các lĩnh vực khoa học, kỹ thuật và chuyên môn khác. Chúng không chỉ trả lời câu hỏi, mà còn phân tích nhiệm vụ, sử dụng công cụ, chạy thử nghiệm, đọc kết quả, sau đó tiếp tục hành động dựa trên phản hồi.
Việc so sánh AI với một kỹ sư cơ bản dễ khiến người ta chú ý đến việc thay thế nhân lực. Nhưng Jeff Dean quan tâm hơn đến một thay đổi khác: khi một "kỹ sư cơ bản" có thể sao chép thành hàng chục, hàng trăm người, làm việc song song trong vài ngày hoặc thậm chí vài tuần, phương thức tổ chức sản xuất sẽ thay đổi như thế nào?
Trong một đội ngũ truyền thống, kỹ sư cơ bản cần làm quen với công việc, cần hiểu công cụ, cần liên tục nhận được phản hồi. Agent cũng vậy. Chỉ có điều tài liệu đào tạo của nó không còn chỉ là tài liệu, mà là gợi ý, hướng dẫn công cụ, tệp kỹ năng, hệ thống kiểm tra, bộ đánh giá, và toàn bộ môi trường ngữ cảnh.
Điều này tạo ra một sự phân công lao động mới trong kỹ thuật AI.
Trước đây, kỹ sư chủ yếu chịu trách nhiệm viết mã. Trong tương lai, nhiều kỹ sư hơn sẽ chịu trách nhiệm định nghĩa vấn đề, xây dựng môi trường, viết quy định, thiết kế vòng phản hồi, sau đó điều phối một nhóm Agent để hoàn thành nhiệm vụ.
Dự đoán của Jeff Dean cho năm 2027 cũng chính là như vậy. Ông cho rằng, hệ thống học máy sẽ ngày càng tham gia nhiều hơn vào việc cải tiến chính bản thân hệ thống học máy. Chúng sẽ phân tích mục tiêu thành các vấn đề nhỏ, tự động chạy nhiều thử nghiệm, so sánh kết quả, sau đó kết hợp các giải pháp hiệu quả lại để hình thành hệ thống mới mạnh hơn.
"Chỉ cần một lĩnh vực có mục tiêu có thể đo lường, thì sẽ có cơ hội đạt được tiến bộ lớn."
Câu nói này là chìa khóa đầu tiên cho toàn bộ buổi phỏng vấn.
Lĩnh vực đầu tiên mà tự động hóa AI tiến vào, không nhất thiết là lĩnh vực có nhiều kiến thức nhất, mà là lĩnh vực có phản hồi rõ ràng nhất. Mã có vượt qua được kiểm tra không, bố cục chip có thể giảm diện tích không, cấu trúc mô hình có thể nâng cao độ chính xác không, tính chất vật liệu có đáp ứng yêu cầu không, những vấn đề này đều có tiêu chuẩn đánh giá tương đối rõ ràng. Chỉ cần bộ đánh giá đủ tin cậy, máy móc có thể thử nghiệm lặp lại với tần suất cực cao.
Vì vậy, đơn vị thực sự quan trọng trong thời đại AI, có thể không còn là một câu trả lời, mà là một vòng khép kín hoàn chỉnh: đề xuất giải pháp, thực thi giải pháp, đo lường kết quả, điều chỉnh hướng đi.
Hai. Thứ thay đổi Google Tìm kiếm là một phép tính số học
Nhiều công việc đại diện của Jeff Dean đều bắt nguồn từ một điểm xuất phát rất giản dị: trước tiên hãy tính toán rõ ràng về số lượng.
Năm 2001, Google Tìm kiếm vẫn phụ thuộc nhiều vào ổ cứng. Ổ cứng dung lượng lớn nhưng tốc độ truy cập chậm. Jeff Dean và Sanjay Ghemawat đã thực hiện một ước tính, phát hiện toàn bộ chỉ mục tìm kiếm của Google lúc đó đã có thể đưa vào bộ nhớ của tất cả các máy chủ.
Ngày nay nghe có vẻ, đây chỉ là một lần nâng cấp phương tiện lưu trữ. Nhưng vào thời điểm đó, nó có nghĩa là một thiết kế hệ thống hoàn toàn khác.
Nếu chỉ mục chủ yếu nằm trên ổ cứng, truy vấn cần chờ cơ chế tìm kiếm cơ học. Chỉ cần đưa chỉ mục vào bộ nhớ, độ trễ truy cập có thể giảm mạnh. Hai người nhanh chóng viết ra phiên bản mới, và trong vài ngày đã đưa nó vào môi trường sản xuất. Từ đó Google Tìm kiếm trở nên nhanh hơn rõ rệt.
Câu chuyện này dễ bị đóng gói thành tia linh cảm thiên tài. Nhưng cách kể của Jeff Dean lại giống như một kỹ sư trình bày kiến thức thông thường: Điều kiện hệ thống thay đổi, giải pháp trước đây không thành công đột nhiên thành công, vậy nên tính toán lại một lần.
Nhiều đổi mới ngành công nghiệp xảy ra vào thời điểm như vậy.
Một vấn đề cũ tồn tại lâu dài, mọi người đã quen với việc vá lỗi xung quanh nó. Sau đó, giá phần cứng, dung lượng bộ nhớ, băng thông mạng hoặc năng lực mô hình vượt qua một ngưỡng nhất định, ràng buộc cũ biến mất. Nhưng hầu hết mọi người vẫn sử dụng kiến trúc cũ, vì kiến trúc cũ đã trở thành kiến thức thông thường.
Điều Jeff Dean giỏi làm là biến kiến thức thông thường trở lại thành giả thuyết.
Ông sẽ hỏi: Tại sao nhất định phải như vậy? Quy mô số lượng ngày hôm nay vẫn là quy mô số lượng ngày hôm qua sao? Nếu thay thế bước đắt giá nhất, toàn bộ hệ thống có thể xuất hiện một hình thái hoàn toàn khác không?
Đây cũng là lời khuyên của ông cho các nhà khởi nghiệp. Đừng chỉ nhìn vào những điểm chưa tốt của giải pháp hiện có, mà hãy nhìn lại vấn đề từ nguyên lý đầu tiên. Có thể nâng cao hiệu suất một bậc không? Có thể giảm chi phí hai bậc không? Có thể không tiếp tục sử dụng con đường thực hiện mặc định của ngành không?
"Đôi khi, bạn chỉ cần nhìn một vấn đề bằng đôi mắt nheo lại, đừng bị neo bởi cách giải quyết ngày hôm nay, mà hãy suy nghĩ từ nguyên lý đầu tiên xem nên giải quyết như thế nào."
Câu nói này nghe có vẻ không bí ẩn. Điều khó khăn thực sự là, hầu hết mọi người sau khi bước vào một ngành công nghiệp, sẽ nhanh chóng học được tất cả các câu trả lời mặc định của ngành đó. Kinh nghiệm giúp người ta nâng cao hiệu suất, nhưng cũng khiến người ta mất đi khả năng đặt câu hỏi lại.
Ba. Ba phút giọng nói, tại sao lại thúc đẩy sản xuất một con chip TPU
Năm 2013, nhận diện giọng nói học sâu của Google bắt đầu vượt trội hơn rõ rệt so với hệ thống cũ. Tỷ lệ lỗi giảm một nửa, tương đương với tiến bộ của nhận diện giọng nói hai mươi năm qua xảy ra tập trung trong vài tháng.
Đội ngũ sản phẩm tất nhiên rất phấn khích. Nhưng Jeff Dean trước tiên tính toán một phép tính.
Nếu nhận diện giọng nói thực sự trở nên tốt hơn, người dùng sẽ sẵn sàng sử dụng hơn. Giả sử mỗi người dùng Google chỉ sử dụng nhận diện giọng nói ba phút mỗi ngày, Google cần bao nhiêu máy chủ để hỗ trợ?
Kết quả không lạc quan. Theo hiệu suất của CPU thời điểm đó, Google có thể cần mở rộng quy mô máy chủ gấp đôi.
Đây chính là khởi điểm của TPU.
Nó không phải vì đội ngũ nghiên cứu đột nhiên muốn chế tạo chip, cũng không phải để chứng minh Google có khả năng làm phần cứng, mà là vì một mô hình thành công sắp tạo ra một chi phí dịch vụ không thể chịu đựng được.
Đoạn lịch sử này tiết lộ một quy luật thường bị bỏ qua trong sản phẩm AI: Việc nâng cao hiệu quả mô hình, không phải lúc nào cũng giảm chi phí. Ngược lại, hiệu quả càng tốt, lượng sử dụng càng lớn, áp lực hệ thống càng nặng.
Khi nhận diện giọng nói không dễ sử dụng, người dùng ít khi gọi. Chi phí hệ thống không phải là vấn đề. Khi tỷ lệ lỗi giảm mạnh, nhu cầu đột nhiên được giải phóng, ràng buộc năng lực tính toán vốn ẩn trong hậu trường sẽ nổi lên.
Con đường TPU lựa chọn, là làm phần cứng chuyên dụng cho mô hình tính toán cốt lõi nhất của học máy. Nó không cần chạy trình duyệt, cũng không cần xử lý tất cả chương trình phổ quát. Nó chủ yếu giỏi đại số tuyến tính mật độ, độ chính xác thấp. Loại tính toán này nằm đúng vào trung tâm của học máy hiện đại.
TPU thế hệ đầu tiên cuối cùng mang lại lợi ích về bậc số lượng. Theo lời Jeff Dean, nó tiết kiệm năng lượng hơn từ 30 đến 80 lần so với CPU và GPU thời điểm đó, độ trễ cũng thấp hơn 20 đến 30 lần.
Ở đây còn có một thang đo thiết kế dễ bị bỏ qua.
TPU rất chuyên dụng, nhưng không chuyên dụng đến mức chỉ có thể chạy một mô hình cố định. Đội ngũ biết thuật toán học máy sẽ còn thay đổi nhanh chóng, nên đã thiết kế chip thành một hệ thống đại số tuyến tính tương đối phổ quát. Nó hy sinh khả năng chạy Chrome hoặc Word, nhưng giữ lại không gian hỗ trợ tiến hóa thuật toán tương lai.
Đây là một sự cân bằng rất khó nắm bắt. Không đủ chuyên dụng, lợi ích không rõ ràng. Quá chuyên dụng, thuật toán một khi thay đổi, phần cứng sẽ lỗi thời.
Nhận định của Jeff Dean về phần cứng suy luận ngày nay, có sự tương đồng rõ rệt với TPU năm đó. Ông cho rằng, cơ hội quan trọng tiếp theo vẫn nằm ở chuyên môn hóa, nhưng trọng tâm sẽ chuyển hướng thêm về suy luận độ trễ thấp, tiêu thụ năng lượng thấp.
"Hãy tưởng tượng xem, nếu độ trễ có thể cải thiện 50 lần, bạn có thể làm gì."
Khi phản hồi của mô hình cần mười mấy giây, mọi người sẽ coi nó như một công cụ thỉnh thoảng tham khảo. Khi độ trễ gần như tức thời, nó mới có thể thực sự tiến vào giao diện tương tác, robot, video thời gian thực, hệ điều hành và quy trình ra quyết định liên tục.
Chờ đợi không phải là một vấn đề trải nghiệm nhỏ. Chờ đợi sẽ thay đổi hình thái sản phẩm.
Bốn. Trung tâm chi phí của AI, không phải là tính toán, mà là di chuyển dữ liệu
Nếu cần cập nhật một phiên bản "mỗi kỹ sư đều nên biết các con số độ trễ" cho kỹ sư AI năm 2026, Jeff Dean cho rằng, trọng tâm nên chuyển từ độ trễ tìm kiếm ổ cứng, trượt bộ nhớ đệm và độ trễ mạng xuyên lục địa, sang dòng dữ liệu bên trong chip.
Kỹ sư cần biết: Băng thông từ bộ nhớ chính đến bộ nhớ trên chip là bao nhiêu, băng thông từ bộ nhớ trên chip đến đơn vị nhân là bao nhiêu, một phép nhân cần bao nhiêu năng lượng, chip và chip kết nối với nhau như thế nào, khi mở rộng từ 500 chip lên 10.000 chip, hiệu suất mạng sẽ giảm như thế nào.
Những con số này trông có vẻ xa sản phẩm, nhưng thực tế lại quyết định sản phẩm nào có thể thành lập.
Jeff Dean đưa ra một tỷ lệ có tính đột phá mạnh. Hoàn thành một phép nhân toán học, chỉ cần khoảng một picojoule năng lượng. Di chuyển dữ liệu từ bộ nhớ băng thông cao đến đơn vị tính toán, chi phí năng lượng có thể cao hơn khoảng 1000 lần.
Nói cách khác, động tác đắt giá trong hệ thống AI ngày nay, thường không phải là "tính", mà là "di chuyển thứ cần tính đến".
Điều này cũng giải thích tại sao xử lý hàng loạt lại quan trọng như vậy.
Một bộ trọng số mô hình từ bộ nhớ được đưa vào đơn vị tính toán, nếu chỉ xử lý một token, chi phí di chuyển dữ liệu sẽ đổ hết lên token này. Nếu đồng thời xử lý hàng loạt lớn hơn, cùng một bộ trọng số có thể phục vụ nhiều tính toán hơn, chi phí năng lượng và băng thông sẽ được san đều.
Nhưng xử lý hàng loạt và độ trễ thấp vốn xung đột tự nhiên. Để có đủ một loạt yêu cầu, hệ thống thường cần chờ đợi. Thông lượng được nâng cao, nhưng phản hồi của người dùng đơn lẻ có thể chậm lại.
Vì vậy, nhiều vấn đề trông thuộc về tầng mô hình, thực tế là vấn đề phần cứng và hệ thống. Tại sao huấn luyện sử dụng hàng loạt lớn, tại sao suy luận cần Bộ nhớ đệm KV, tại sao mô hình theo đuổi độ chính xác thấp, tại sao hệ thống cần lượng tử hóa, đằng sau đều không thể tách rời ràng buộc di chuyển dữ liệu và năng lượng.
Jeff Dean gần đây quan tâm hơn đến suy luận, cũng chính vì suy luận cực kỳ nhạy cảm với độ trễ. Nhiệm vụ huấn luyện chạy chậm một chút, thường chỉ là thử nghiệm kết thúc muộn. Nhiệm vụ suy luận mỗi giây chờ thêm, đều trực tiếp ảnh hưởng đến trải nghiệm người dùng và hiệu quả làm việc của Agent.
Nếu một Agent cần liên tục gọi mô hình 1000 lần, độ trễ đơn lần giảm 50%, thời gian hoàn thành toàn bộ nhiệm vụ có thể xuất hiện sự khác biệt lớn. Chưa kể đến tương lai Agent sẽ chạy vài ngày hoặc vài tuần.
Vì vậy, "vấn đề năng lượng" của AI không phải là một chủ đề bảo vệ môi trường xa xôi. Nó trực tiếp quyết định mô hình có thể phục vụ nhiều người hơn với chi phí rẻ hay không, quyết định Agent có thể chạy liên tục hay không, cũng quyết định biên lợi nhuận của công ty khởi nghiệp có lành mạnh hay không.
Năm. Mô hình chỉ là một linh kiện, ngữ cảnh mới là hiện trường làm việc của Agent
Vài năm qua, ngành công nghiệp AI thường sử dụng số tham số, dữ liệu huấn luyện và điểm chuẩn để đo lường tiến bộ. Năm 2026, Jeff Dean nhấn mạnh hơn tất cả những thứ xung quanh mô hình.
Một hệ thống AI thực sự hữu ích, ngoài mô hình, còn cần truy xuất, công cụ, trí nhớ, thông tin lịch sử, môi trường thực thi và cơ chế phản hồi. Mô hình biết có những công cụ nào, biết khi nào gọi công cụ, biết cách phân tích vấn đề phức tạp thành một chuỗi hành động, cũng phải có thể so sánh nhiều phương án, phán đoán phương án nào có khả năng thành công cao hơn.
Đây là lý do "kỹ thuật ngữ cảnh" bắt đầu bước lên trung tâm sân khấu.
Jeff Dean nói, thông tin mà mô hình gặp trong giai đoạn huấn luyện, cuối cùng được "khuấy" vào hàng nghìn tỷ thậm chí hàng nghìn tỷ tham số. Chúng giống như một nồi canh đặc, kiến thức tồn tại, nhưng chưa chắc rõ ràng. Thông tin thực sự đưa vào ngữ cảnh hiện tại, đối với mô hình thì trực tiếp hơn, cũng dễ sử dụng chính xác hơn.
Điều này để lại một cơ hội quan trọng cho nhóm nhỏ.
Huấn luyện mô hình cơ bản cần vốn, dữ liệu và năng lực tính toán khổng lồ. Nhưng kỹ thuật ngữ cảnh có thể bắt đầu từ một API. Nhà khởi nghiệp có thể xung quanh nghiệp vụ cụ thể, tổ chức kiến thức lĩnh vực, quy trình công cụ, dữ liệu khách hàng và tiêu chuẩn đánh giá, để mô hình phổ quát biểu hiện đáng tin cậy hơn trong một kịch bản hẹp.
Jeff Dean lấy một ví dụ của chính mình.
Ông và Sanjay Ghemawat thường tối ưu hóa thư viện cấp thấp bên trong Google. Cấu trúc dữ liệu này có thể chạy trên hàng triệu tiến trình, một chút hiệu suất khác biệt đều sẽ bị khuếch đại bởi quy mô. Cách làm truyền thống là kỹ sư trước tiên viết điểm chuẩn vi mô, đo hiệu suất hiện tại, sau đó sửa mã, chạy lại điểm chuẩn, quan sát thay đổi chiếm dụng bộ nhớ đệm và hiệu suất, sau đó tiếp tục lặp lại.
Hai người viết phương pháp làm việc này thành một kỹ năng Agent. Mô hình học được cách chạy điểm chuẩn, sửa mã, so sánh kết quả, sau đó tiếp tục tối ưu hóa dựa trên đo lường.
"Chúng tôi chỉ đưa phương pháp mà con người sẽ áp dụng, dưới dạng mà mô hình có thể sử dụng."
Câu nói này hầu như có thể coi là định nghĩa giản dị của kỹ thuật ngữ cảnh.
Nó không phải là kỹ thuật gợi ý bí ẩn, cũng không phải là đống thêm tài liệu nền. Nó đang trả lời ba câu hỏi: Chuyên gia sẽ làm theo những bước nào, hệ thống có những công cụ đáng tin cậy nào, kết quả nên được xác minh như thế nào.
Khi những nội dung này được cấu trúc hóa, mô hình nhận được không phải là nhiều kiến thức hơn, mà là một phương pháp có thể thực thi lặp lại.
Đây cũng là lý do tại sao "kỹ năng (skill)" sẽ trở thành tài sản quan trọng trong hệ sinh thái Agent. Một tệp kỹ năng xuất sắc, có thể đóng gói kinh nghiệm ngầm định nhiều năm của đội ngũ. Nó nói với mô hình khi gặp loại vấn đề nào trước tiên nên làm gì, những lỗi nào phổ biến nhất, những công cụ nào đáng tin cậy, kết quả nào mới tính là hoàn thành.
Sự khác biệt của công ty trong tương lai, rất có thể không chỉ tồn tại trong trọng số mô hình, mà còn tồn tại trong kinh nghiệm được mã hóa vào quy trình công việc này.
Sáu. Tại sao Agent đi đến bước thứ 30 bắt đầu mất kiểm soát
Hầu như tất cả đội ngũ thực sự làm Agent, đều đã thấy một kịch bản giống nhau.
Mấy bước đầu rất thuận. Mô hình có thể đọc yêu cầu, có thể gọi công cụ, có thể viết mã. Đến bước thứ 30 hoặc thứ 50, nó bắt đầu quên mục tiêu, hiểu sai trạng thái, lặp lại hành động, hoặc đi theo một hướng sai càng lúc càng xa.
Jeff Dean quy một trong những nguyên nhân này cho vấn đề ngoài phân phối.
Mô hình đã gặp rất nhiều nhiệm vụ thường gặp trong huấn luyện. Chỉ cần nhiệm vụ vẫn nằm trên "con đường sáng" quen thuộc, biểu hiện thường tốt. Một khi hoạt động liên tục đưa nó đến trạng thái không quen thuộc, hiệu suất sẽ đột nhiên giảm. Càng lệch khỏi vùng thoải mái, lỗi càng dễ tích lũy.
Một trong các phương pháp giải quyết, là cung cấp kỹ năng và gợi ý, càng nhiều càng tốt ràng buộc mô hình trên con đường quen thuộc. Một phương pháp khác, là sử dụng hệ thống đa Agent.
Nhiều Agent có thể thử nghiệm các phương án khác nhau, sau đó do một mô hình khác đảm nhận vai trò đánh giá, phán đoán hướng nào có triển vọng hơn. Nhánh thất bại bị loại bỏ, nhánh thành công tiếp tục tiến lên. Về bản chất, đây là thực hiện tìm kiếm trong giai đoạn suy luận.
Nó không xa lạ với cách làm việc của đội ngũ con người. Đối mặt với vấn đề phức tạp, một người đề xuất phương án, một người khác xem xét rủi ro, người thứ ba chạy thử nghiệm. Đội ngũ không đặt tất cả hy vọng lên ý tưởng đầu tiên, mà thông qua phân công lao động và phản hồi để giảm sai lầm điểm đơn lẻ.
Thời gian chạy Agent càng dài, thiết kế hệ thống càng không thể phụ thuộc vào một lần đúng.
Agent chạy dài thực sự đáng tin cậy, cần điểm kiểm tra, quản lý trạng thái, quay lui, khám phá nhánh, đánh giá bên ngoài, kiểm soát quyền và khôi phục ngoại lệ. Nó giống một hệ thống phân tán hơn là một cửa sổ chat siêu dài.
Đây chính là nơi bối cảnh của Jeff Dean bắt đầu lại trở nên quan trọng.
Một trong những vấn đề cốt lõi mà MapReduce giải quyết, là làm thế nào để một số lượng lớn máy móc không đáng tin hoàn thành tính toán đáng tin. Hệ thống Agent ngày nay đối mặt với mâu thuẫn tương tự: Một lần gọi mô hình không hoàn hảo, công cụ cũng có thể thất bại, nhưng toàn bộ nhiệm vụ vẫn phải hoàn thành càng ổn định càng tốt.
Nền tảng Agent xuất sắc trong tương lai, có thể kế thừa nhiều tư tưởng hệ thống phân tán. Nhiệm vụ có thể phân tích, kết quả có thể xác minh, thất bại có thể thử lại, trạng thái có thể khôi phục, lỗi cục bộ không nên hủy hoại toàn bộ quy trình.
Khi Jeff Dean nói Agent sẽ chạy vài ngày thậm chí vài tuần, ông không mô tả một cuộc chat dài hơn. Ông đang mô tả một loại cơ sở hạ tầng tính toán mới.
Bảy. Hai ba người làm thế nào để thắng Google: Tìm kiếm vấn đề mà tỷ lệ thành công của mô hình chỉ có 1%
Trong ngữ cảnh của Startup School, vấn đề được quan tâm nhất tất nhiên là cơ hội khởi nghiệp.
Google có thể liên hợp thiết kế chip, trung tâm dữ liệu, mô hình và sản phẩm. Mô hình phổ quát như Gemini còn đang nhanh chóng mở rộng ranh giới năng lực. Một đội ngũ hai ba người, dựa vào gì để thắng?
Câu trả lời của Jeff Dean không lãng mạn.
Cơ hội của nhóm nhỏ, thường tồn tại trong lĩnh vực cụ thể mà mô hình phổ quát chưa quan tâm đầy đủ. Nhà khởi nghiệp có thể kết hợp giao diện sản phẩm, dữ liệu độc quyền, quy trình công việc và kỹ năng lĩnh vực, trong một kịch bản hẹp cung cấp tỷ lệ chính xác cao hơn và trải nghiệm tốt hơn.
Nhưng ông lập tức đưa ra cảnh báo: Mô hình phổ quát đang nhanh chóng trở nên mạnh hơn. Chức năng sản phẩm trông có vẻ độc lập ngày hôm nay, sáu tháng hoặc mười hai tháng sau, có thể bị mô hình cơ bản trực tiếp bao phủ.
Vì vậy, nhà khởi nghiệp cần phán đoán lợi thế của mình có bền vững hay không.
Jeff Dean đưa ra một tiêu chuẩn sàng lọc rất cụ thể: Tìm kiếm những nhiệm vụ mà tỷ lệ thành công của mô hình phổ quát hiện tại gần 0% hoặc 1%, chứ không phải nhiệm vụ đã có thể làm được 20%.
"Nếu mô hình hoàn toàn thất bại, đây có thể là một dấu hiệu tốt. Nếu nó đã có thể làm một phần, chỉ là chưa làm tốt lắm, thì ngược lại chưa chắc đã là dấu hiệu tốt."
Lý do rất đơn giản. 20% có nghĩa là năng lực đã bắt đầu xuất hiện. Thêm dữ liệu, mô hình lớn hơn và suy luận dài hơn, rất có thể nhanh chóng đẩy nó đến mức khả dụng. 0% hoặc 1% thì cho thấy nhiệm vụ có thể thiếu dữ liệu then chốt, công cụ đặc biệt, phản hồi lĩnh vực, hoặc cần một loại năng lực mà mô hình phổ quát khó có được trong ngắn hạn.
Điều này có thể gọi là "quy tắc 1%" của Jeff Dean.
Nó không phải là đề nghị nhà khởi nghiệp chọn vấn đề khó nhất, mà là tìm kiếm vấn đề mà mô hình phổ quát tồn tại vùng mù cấu trúc.
Vùng mù này đại thể có ba loại.
Loại thứ nhất là dữ liệu độc quyền. Mô hình phổ quát có thể tổ chức thông tin thế giới, nhưng chưa chắc có thể truy cập toàn bộ hồ sơ cá nhân của một người dùng nào đó, quy trình nội bộ của một công ty nào đó, dữ liệu thời gian thực do một thiết bị nào đó tạo ra. Sản phẩm khởi nghiệp một khi có được những dữ liệu này, có thể hình thành tầm nhìn khác với mô hình cơ bản.
Loại thứ hai là đánh giá chuyên môn. Rất nhiều ngành không thiếu khả năng tạo sinh, mà thiếu bộ đánh giá đáng tin cậy. Y tế, vật liệu, chip, chế tạo và nghiên cứu khoa học, đều cần bộ xác minh chất lượng cao. Ai có thể định nghĩa "cái gì là đúng", người đó có thể để Agent liên tục tối ưu hóa.
Loại thứ ba là mô hình hẹp mà sâu. AlphaFold không phải là mô hình chat phổ quát, nó xây dựng năng lực chuyên môn hóa cao độ cho vấn đề cấu trúc protein. Khoa học vật liệu, thiết kế chip và các lĩnh vực chuyên môn khác, cũng có thể xuất hiện cơ hội tương tự.
Bộ phán đoán này không dễ dàng cho nhà khởi nghiệp. Nó yêu cầu đội ngũ vừa hiểu ranh giới năng lực mô hình, cũng hiểu vấn đề sâu trong ngành. Chỉ hiểu AI, dễ làm ra chức năng nhanh chóng bị nền tảng hấp thu. Chỉ hiểu ngành, lại có thể đánh giá thấp tốc độ tiến bộ của mô hình.
Cơ hội thực sự nằm ở giao điểm của cả hai.
Tám. Khi mã không còn khan hiếm, quy cách, gu và lựa chọn vấn đề sẽ đắt hơn
Diana đưa ra một giả định: Nếu trong tương lai mỗi nhà sáng lập đều có thể đồng thời quản lý 50, 100 Agent, tất cả mã đều do Agent viết, khả năng gì sẽ trở nên khan hiếm?
Câu trả lời của Jeff Dean là "gu".
Chính xác hơn, là phán đoán nên để Agent làm gì.
Ông cho rằng, phần lớn giá trị của công việc nghiên cứu không nằm ở việc thực hiện thử nghiệm đẹp bao nhiêu, mà là có chọn một vấn đề đáng nghiên cứu hay không. Một đội ngũ có thể sử dụng phương pháp tinh xảo nhất, hoàn thành một nghiên cứu không quan trọng. Cũng có thể nắm lấy một vấn đề then chốt, chỉ cần giải quyết, sẽ thay đổi toàn bộ lĩnh vực.
Agent khiến chi phí thực thi giảm xuống sau đó, tầm quan trọng của lựa chọn vấn đề sẽ tăng lên thêm.
Trước đây, một ý tưởng mơ hồ sẽ tự nhiên biến mất vì chi phí phát triển quá cao. Trong tương lai, chỉ cần điều động đủ nhiều Agent, rất nhiều ý tưởng đều có thể nhanh chóng làm thành nguyên mẫu. Thế giới sẽ không vì thế mà tự động xuất hiện nhiều sản phẩm tốt hơn, chỉ xuất hiện nhiều sản phẩm hơn.
Quy cách cũng sẽ trở nên quan trọng hơn.
Jeff Dean nói, khi hợp tác với Agent ảo, mục tiêu càng rõ ràng, tỷ lệ thành công càng cao. Trước đây, yêu cầu mơ hồ giao cho một kỹ sư kỳ cựu, đối phương có thể hỏi ngược, cũng có thể dựa vào bối cảnh chung để bổ sung ý đồ. Agent tuy cũng có thể hỏi, nhưng dễ tự đoán hơn khi thiếu ngữ cảnh.
Một nhiệm vụ tỷ lệ thành công cao điển hình, là di chuyển phần mềm từ một ngôn ngữ lập trình sang ngôn ngữ khác. Nguyên nhân không phải di chuyển đơn giản, mà là quy cách cực kỳ hoàn chỉnh. Mã cũ định nghĩa hành vi, kiểm tra định nghĩa ranh giới, Agent có thể đối chiếu từng mục, cho đến khi phiên bản mới biểu hiện nhất quán.
"Bây giờ Agent có thể viết phần mềm thay bạn, nhưng việc nói rõ bạn thực sự muốn gì, ngược lại trở nên quan trọng hơn."
Câu nói này có gợi ý trực tiếp cho cái gọi là tổ chức bản địa AI.
Người quản lý tương lai không chỉ phân phối nhiệm vụ, mà phải viết mục tiêu và tiêu chuẩn nghiệm thu rõ ràng hơn. Tài liệu thiết kế không còn chỉ là tài liệu giao tiếp đội ngũ, cũng sẽ trở thành đầu vào thực thi máy móc. Kiểm tra, chỉ số, ràng buộc và ví dụ, sẽ di chuyển từ cuối quy trình phát triển lên giai đoạn định nghĩa nhiệm vụ.
Còn "gu" đào tạo như thế nào, phương pháp Jeff Dean đưa ra rất thực tế.
Viết xuống một loạt những việc bạn cho là sẽ trở nên quan trọng trong 12 tháng tới. Bạn không cần phải làm tất cả. 12 tháng sau kiểm tra lại, phán đoán nào thành hiện thực, phán đoán nào do người khác làm ra, phán đoán nào không có tiến triển. Thông qua liên tục tích lũy mẫu dự đoán, con người sẽ dần dần hiệu chỉnh phán đoán của mình.
Gu không hoàn toàn là thiên phú. Nó cũng có thể thông qua tổng kết để đào tạo.
Chín. Thí nghiệm tư duy tốt, trước tiên loại bỏ tiền đề vững chắc nhất của ngành
Đoạn sau buổi phỏng vấn, Jeff Dean chia sẻ một thí nghiệm tư duy khá điên rồ.
60 năm qua, ngành công nghiệp chip không ngừng theo đuổi transistor nhỏ hơn, ổn định hơn, tỷ lệ lỗi thấp hơn. Mọi người mặc định, chip được sản xuất từ cùng một thiết kế nên càng nhất quán càng tốt, lật bit càng ít càng tốt.
Nhưng trong hệ thống phân tán lớn, kỹ sư từ lâu đã chấp nhận thành phần đơn lẻ sẽ hỏng. Ổ cứng sẽ hỏng, máy sẽ sập, bộ chuyển mạch sẽ có vấn đề. Độ tin cậy hệ thống không đến từ việc mỗi bộ phận tuyệt đối không hỏng, mà đến từ sao chép, kiểm tra, dự phòng và khôi phục.
Vì vậy Jeff Dean hỏi: Nếu transistor mỗi ngày sẽ xảy ra 20 lần lỗi, thay vì mấy triệu năm mới xảy ra một lần lỗi, sẽ như thế nào?
Đây không phải là một kế hoạch sản phẩm thực tế. Ông chỉ cố gắng loại bỏ một tiền đề đã quen thuộc. Có thể transistor cực kỳ không đáng tin có thể được chế tạo theo cách hoàn toàn khác, hệ thống thông qua đa đường dẫn và dự phòng tầng cao để đảm bảo kết quả.
Hầu hết thí nghiệm tư duy cuối cùng không trở thành sản phẩm. Rất nhiều cách làm ngành công nghiệp tồn tại hàng chục năm, thực sự có lý do đầy đủ. Nhưng Jeff Dean cho rằng, vẫn nên định kỳ kiểm tra lại những lý do này.
MapReduce cũng đến từ quá trình tương tự.
Hệ thống thu thập thông tin và chỉ mục đầu kỳ của Google chứa rất nhiều mã song song thủ công, điểm kiểm tra và logic khôi phục sự cố. Tính toán nghiệp vụ thực sự thường rất đơn giản, ví dụ như đọc tất cả trang web, phán đoán ngôn ngữ trang. Nhưng rất nhiều mã hệ thống đã nhấn chìm ý đồ đơn giản.
Jeff Dean và Sanjay Ghemawat tìm thấy cảm hứng từ lập trình hàm. Họ trừu tượng hóa rất nhiều nhiệm vụ thành Map và Reduce, chìm hóa song song hóa, điều phối, chịu lỗi và thử lại xuống khung thống nhất. Nhà phát triển nghiệp vụ chỉ cần diễn đạt bản thân tính toán.
Thiết kế này không khiến máy móc không hỏng. Nó khiến lỗi có thể được hệ thống hấp thu.
Kỹ thuật Agent ngày nay cũng có thể đang ở giai đoạn tương tự. Rất nhiều đội ngũ vẫn đang thủ công sắp xếp gợi ý, logic thử lại và gọi công cụ cho mỗi nhiệm vụ. Trong tương lai, có xuất hiện một phép trừu tượng đơn giản như MapReduce, khiến phân tích, xác minh, khôi phục và khám phá song song của Agent chạy dài trở thành năng lực cơ sở không?
Đây có lẽ chính là cơ hội của những công ty cơ sở hạ tầng tiếp theo.
Mười. AI bắt đầu xây dựng AI tốt hơn, phương pháp khoa học được nén thành vòng lặp tốc độ cao
Hướng Jeff Dean phấn khích nhất cho tương lai, là tự động hóa chính bản thân phương pháp khoa học.
Quy trình nghiên cứu khoa học truyền thống là đưa ra giả thuyết, thiết kế thử nghiệm, chạy thử nghiệm, phân tích kết quả, sau đó tạo ra giả thuyết tiếp theo. Tốc độ của vòng lặp này, lâu dài chịu sự hạn chế bởi chi phí thử nghiệm và độ trễ xác minh.
AI có thể thay đổi hai phần.
Một phần là tự động đề xuất và thực thi nhiều thử nghiệm hơn. Phần khác là biến bộ xác minh đắt tiền thành mô hình xấp xỉ rẻ tiền.
Jeff Dean lấy ví dụ hóa học lượng tử. Nhà nghiên cứu muốn phán đoán tính chất của một loại cấu hình phân tử, có thể chạy mô phỏng lý thuyết phiếm hàm mật độ. Một lần mô phỏng có thể cần cả đêm. Nhà nghiên cứu của Google sử dụng đầu vào và đầu ra mô phỏng số lượng lớn để huấn luyện một bộ xấp xỉ mạng nơ-ron. Nó gần với độ chính xác của mô phỏng gốc, nhưng nhanh hơn khoảng 300.000 lần.
Tốc độ xác minh thay đổi sau đó, hình thái vấn đề khoa học cũng thay đổi.
Trước đây sàng lọc 10 triệu phương án ứng cử viên, có thể là một dự án cần năng lực tính toán vài tháng. Bây giờ, thời gian nhà nghiên cứu ăn một bữa trưa, hệ thống đã có thể hoàn thành sàng lọc sơ bộ. Thử nghiệm không còn là cược một lần quý giá, mà trở thành tìm kiếm tần suất cao.
Đây cũng là logic chung đằng sau các hệ thống như AlphaEvolve, AlphaChip. Mô hình đề xuất phương án, công cụ thực thi phương án, bộ đánh giá sàng lọc kết quả, kết quả xuất sắc vào vòng tiếp theo. Chỉ cần vòng khép kín đủ nhanh, hệ thống có thể tiếp tục khám phá trong không gian giải pháp khổng lồ.
Bản thân học máy cũng sẽ trở thành đối tượng của khoa học tự động hóa này.
Ngày nay, đội ngũ nghiên cứu lớn thường do con người đề xuất kiến trúc mới hoặc phương pháp huấn luyện, trước tiên chạy thử nghiệm quy mô nhỏ, sau đó chọn phương án có triển vọng phóng đại. Jeff Dean cho rằng, không có rào cản căn bản nào ngăn mô hình tiếp quản ngày càng nhiều khâu trong đó. Con người đưa ra hướng tầng cao, hệ thống tự động khám phá cấu trúc, công thức dữ liệu và chiến lược huấn luyện, sau đó kết hợp thử nghiệm thành công thành mô hình mới.
Chỉ số đo hiệu suất nghiên cứu tương lai, có thể không chỉ là phép toán dấu phẩy động mỗi giây, mà là "mỗi đơn vị năng lực tính toán sản sinh bao nhiêu phát hiện hiệu quả".
Năng lực tính toán tất nhiên quan trọng. Làm thế nào biến năng lực tính toán thành phát hiện, quan trọng hơn.
Mười một. Bài báo chưng cất bị NeurIPS từ chối, và cách nhìn nhận thất bại
Năm 2014, Jeff Dean, Geoff Hinton và Oriol Vinyals gửi một bài báo về chưng cất tri thức. Ngày nay, chưng cất tri thức đã là phương pháp cơ bản trong nén mô hình và chuyển giao năng lực. Mô hình lớn làm giáo viên, truyền năng lực cho mô hình học sinh nhỏ hơn, nhanh hơn, rẻ hơn.
Bài báo sau này ảnh hưởng sâu rộng này, năm đó bị NeurIPS từ chối.
Một người duyệt cho rằng, nó "không có khả năng tạo ra ảnh hưởng lớn". Độc giả quan tâm có thể truy cập "Từ chối ≠ Thất bại! Những bài báo ảnh hưởng cao này đều bị hội nghị đỉnh từ chối".
Jeff Dean khi nói về trải nghiệm này không tức giận. Ông nói, người duyệt có thể không hiểu vấn đề thực tế mà dịch vụ AI quy mô lớn phải đối mặt. Đối với Google, việc chuyển hóa mô hình lớn đắt tiền thành mô hình nhỏ có thể phục vụ hàng trăm triệu người dùng, rõ ràng rất quan trọng. Đối với người duyệt chỉ quan tâm tính mới lý thuyết, nó chưa chắc đã đủ "cơ bản".
Sau khi bài báo bị từ chối, đội ngũ đặt nó lên arXiv. Ngành công nghiệp vẫn đọc nó, cũng vẫn bắt đầu sử dụng.
Ngày nay, mô hình Flash của Gemini có thể duy trì năng lực mạnh trong thể tích nhỏ hơn và độ trễ thấp hơn, chưng cất chính là phương pháp quan trọng trong đó.
Câu chuyện này không chỉ là tài liệu động viên "kiên trì sẽ thành công". Nó cho thấy hệ thống đánh giá luôn có vùng mù. Giá trị của một giải pháp, đôi khi chỉ có người thực sự chịu đựng điểm nghẽn hệ thống đó mới có thể nhìn thấy ngay.
Đối với nhà khởi nghiệp, điều này cũng quan trọng.
Phủ định của thị trường, nhà đầu tư và đồng nghiệp, có thể có nghĩa là hướng sai, cũng có thể chỉ là đối phương không ở cùng hiện trường vấn đề. Sự khác biệt nằm ở việc, đội ngũ có bằng chứng cụ thể đủ không, biết vấn đề này tại sao quan trọng, tại sao bây giờ có thể giải quyết.
Jeff Dean không khuyến khích người ta kiên trì mù quáng. Ông khuyến khích: Hiểu vấn đề, liên tục xác minh, sau đó đừng coi một lần duyệt định là phán quyết cuối cùng của thế giới.
Mười hai. Jeff Dean trẻ tuổi ngày hôm nay sẽ làm gì
Khi buổi phỏng vấn gần kết thúc, Diana đưa ra một câu hỏi mang tính tưởng tượng.
Nếu đưa Jeff Dean trẻ tuổi năm 1999 khi gia nhập Google đến năm 2026, ông sẽ gia nhập một phòng thí nghiệm tiên phong, hay cùng hai ba người bạn sáng lập công ty?
Jeff Dean không đưa ra câu trả lời tiêu chuẩn.
Tổ chức lớn có cấu trúc, nền tảng và rất nhiều đồng nghiệp xuất sắc. Một người trong đó có thể tiếp xúc kiến thức mình không hiểu, cũng có thể dựa vào sản phẩm trưởng thành ảnh hưởng người dùng toàn cầu. Nhóm nhỏ thì tự do hơn, cũng chịu rủi ro lớn hơn. Người sáng lập phải thực sự tin vào một vấn đề, sẵn sàng dùng vài năm chịu đựng tính không chắc chắn.
Tiêu chuẩn phán đoán ông đưa ra, căn bản hơn "gia nhập đại công ty hay khởi nghiệp".
"Nếu tôi giải quyết vấn đề này, và kết quả tốt nhất thực sự xảy ra, thế giới sẽ vì thế trở nên tốt hơn rõ ràng không? Hay mọi người chỉ nói, ừ, khá tuyệt, và cứ thế?"
Nếu câu trả lời chỉ là "khá tuyệt", thì có thể không đáng để đầu tư thời gian quý giá nhất.
Ông cũng nhấn mạnh tầm quan trọng của đồng đội. Tìm người có năng lực bổ sung, cũng tìm người ít cái tôi, sẵn sàng hợp tác, vui vẻ chung sống. Vấn đề thực sự khó khăn thường cần làm việc chung lâu dài. Thành viên đội ngũ tốt nhất mỗi người có công cụ mà người khác không có, và trong công việc chung tiếp tục mở rộng "đai công cụ" của mình.
Những lời này có sự giản dị của một kỹ sư kiểu cũ.
Ngành công nghiệp AI thích nói về tăng trưởng theo cấp số nhân, siêu trí tuệ và huy động vốn khổng lồ. Jeff Dean cuối cùng vẫn đưa sự lựa chọn về ba việc nhỏ: Làm một vấn đề thực sự quan tâm, làm việc cùng người mình thích, cố gắng để thế giới trở nên tốt hơn.
Kết luận: Thứ khan hiếm nhất trong thời đại AI, vẫn là nhìn rõ vấn đề
Trong sự nghiệp của Jeff Dean, có nhiều huyền thoại được kể đi kể lại.
Ông và Sanjay Ghemawat trong vài ngày viết lại hệ thống tìm kiếm, đưa chỉ mục vào bộ nhớ. Một lần ước tính về ba phút giọng nói, thúc đẩy Google chế tạo TPU. MapReduce giấu song song quy mô lớn và chịu lỗi vào phép trừu tượng thống nhất. Chưng cất tri thức từ một bài báo bị từ chối, trở thành công nghệ cơ bản ngành.
Những câu chuyện này dễ khiến người ta tưởng tượng ông là một thiên tài liên tục có được cảm hứng.
Nhưng từ buổi phỏng vấn này, phương pháp của ông thực tế rất nhất quán.
Trước tiên tính toán rõ ràng về số lượng. Sau đó tìm điểm nghẽn thực sự. Sau đó đặt nghi vấn giả định mặc định, xây dựng một phép trừu tượng đơn giản hơn. Cuối cùng, dùng đo lường và phản hồi để thúc đẩy hệ thống liên tục lặp lại.
Ngành công nghiệp AI ngày nay đang trải qua bước ngoặt tương tự.
Mô hình đã đủ mạnh, mạnh đến mức có thể đảm nhận nhiệm vụ cấp kỹ sư cơ bản. Tiếp theo, quyết định năng suất thực tế, không chỉ là chỉ số IQ mô hình, mà là chi phí suy luận, tổ chức ngữ cảnh, chất lượng công cụ, tốc độ xác minh và độ tin cậy chạy dài.
Agent sẽ ngày càng giống thành viên đội ngũ. Nhưng chúng cần quy cách rõ ràng, cần kỹ năng, cần điểm kiểm tra, cần người đánh giá, cũng cần một hệ thống có thể chứa đựng thất bại.
Cơ hội của công ty khởi nghiệp cũng sẽ không biến mất, chỉ sẽ trở nên khắt khe hơn. Tốt nhất không nên làm việc mà mô hình phổ quát đã có thể hoàn thành 20%, mà tìm kiếm những vấn đề mà tỷ lệ thành công vẫn gần 0% hoặc 1%. Ở đó có thể chứa dữ liệu độc quyền, bộ đánh giá chuyên môn, mô hình lĩnh vực hẹp, hoặc phép trừu tượng hệ thống hoàn toàn mới.
Khi việc tạo mã ngày càng rẻ, thứ đắt giá thực sự sẽ là vấn đề bản thân.
Việc gì đáng làm? Ràng buộc gì đã lỗi thời? Thay đổi gì vừa vượt qua điểm tới hạn? Hệ thống gì nếu nhanh hơn 50 lần, sẽ trở thành sản phẩm hoàn toàn khác?
Jeff Dean không đưa cho 6000 nhà khởi nghiệp một danh sách cơ hội. Ông đưa cho một cách suy nghĩ bền vững hơn.
Đừng vội đuổi theo câu trả lời nóng nhất.
Trước tiên tính toán lại vấn đề.
Liên kết tham khảo
https://x.com/ycombinator/status/2082938685071491219
https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building
Bài viết này đến từ tài khoản WeChat công khai "Trái tim máy móc" (ID:almosthuman2014), tác giả: Panda
