Nhà nghiên cứu DeepMind tiết lộ lúc nửa đêm: Bài báo gốc về Scaling Law của OpenAI thực ra có một bug chết người! AI toàn cầu đã đốt nghìn tỷ FLOPs một cách vô ích, GPT-3 thực chất đã "phình to" một cách nghiêm trọng.
OpenAI đã làm lạc hướng cả cộng đồng AI trong nhiều năm!
Năm năm qua, toàn bộ ngành công nghiệp AI bị đẩy đi bởi Scaling Law.
Niềm tin của Sam Altman vào AGI cũng đến từ đường cong này.
Giờ đây, có người đứng ra nói rằng: Đường cong này, ngay từ đầu đã sai.
Không phải nói theo kiểu "mãi về sau mới biết". Người nói câu này chính là nhà nghiên cứu Diogo Almeida, người đã từng làm tối ưu hóa mô hình lớn tại OpenAI.
Vừa rồi, anh ấy đăng một bài blog, tiêu đề lạnh lùng đến phát sợ - 《Scaling Laws, Honestly》.
Câu mở đầu đã nói thẳng: Phiên bản scaling law ban đầu là sai, vì có một bug.
Đường dẫn: https://www.completeskeptic.com/p/scaling-laws-honestly
Sander Dieleman của DeepMind, người được mệnh danh là "thần diffusion model", ngay lập tức đẩy nó lên trên Twitter, nói rằng đây là một câu chuyện thú vị về LLM:
Scaling law gốc đã sai vì một bug, rất có thể đã khiến ngành công nghiệp lãng phí một lượng tính toán khổng lồ vào những mô hình "quá lớn và được huấn luyện không đủ".
Một bug, đốt mất hai năm.
Khi bug bị vạch trần, chúng ta thấy không chỉ là hố đen của tính toán, mà còn là một ranh giới trí tuệ sâu sắc hơn nhiều so với tưởng tượng, được định hình lại bởi chính ngôn ngữ.
Scaling Law hóa ra là "Thuyết địa tâm" của LLM
Năm 2020, OpenAI đưa ra kết luận: Với một ngân sách tính toán cố định, bạn nên ưu tiên làm mô hình lớn hơn, chứ không phải lấy thêm dữ liệu để "cho nó ăn".
Nói bằng công thức, lượng tham số tối ưu tỷ lệ thuận với 0.73 lũy thừa của tính toán - tham số, là biến cần phải lao tới mạnh hơn.
Câu nói này trực tiếp định hình diện mạo của thế hệ GPT-3. Chồng tham số. Chồng cho đến chết. 175 tỷ.
Nó nói với các nhà phát triển toàn thế giới: Đừng hỏi, hỏi thì chỉ có chồng tham số; chỉ cần bạn làm mô hình đủ lớn, phép màu sẽ xảy ra.
Hai năm sau, DeepMind tung ra Chinchilla, lật tung kết luận này: Mô hình và dữ liệu, nên được phóng to cùng nhau với tầm quan trọng ngang nhau, mỗi tham số nên được phân phối khoảng 20 token thì mới hợp lý.
Họ huấn luyện một Chinchilla 70 tỷ tham số, cho nó "ăn" 1.4 nghìn tỷ token - quy mô chưa bằng một nửa GPT-3, dữ liệu thì nhiều hơn nó hơn bốn lần.
Kết quả, với cùng ngân sách tính toán, vượt trội hoàn toàn so với Gopher 280 tỷ tham số nhưng chỉ được cho ăn 300 tỷ token.
Dịch ra lời người bình thường: Cùng một số tiền, một bên nuôi nó thành một "chàng lực sĩ" phình to, một bên luyện nó thành một "võ sĩ quyền Anh" gầy gò.
Sau ba năm trì hoãn, cựu sinh viên Đại học Bắc Kinh Weng Li đã đi sâu thảo luận về cách giải thích chính thống cho sự khác biệt giữa hai bên trong các nghiên cứu tiếp theo, tức là sự khác biệt nằm ở cách họ tính tổng số tham số.
Và điều này chưa hết. Ngay cả Chinchilla "đúng đắn" kia, bản thân nó cũng không trong sạch.
Năm 2024, Besiroglu và những người khác đào ra các điểm dữ liệu trong bài báo gốc của Chinchilla và chạy lại, phát hiện ra trong chính mô hình khớp của nó cũng ẩn chứa một bug:
Thang đo loss trong bộ tối ưu hóa được đặt quá cao, đã lấy trung bình thay vì tổng cho hàm mất mát Huber trên các mẫu, dẫn đến việc khớp kết thúc quá sớm.
Bài báo sửa bug, tự nó lại mang một bug khác.
Đến đây, câu nói "nguyên lý thứ nhất" được vô số người treo trên miệng, bỗng nhiên có chút không đứng vững.
Cái gọi là Scaling Law, xưa nay chưa bao giờ là quy luật vật lý sắt đá như ba định luật Newton, nó chỉ là một đường cong được khớp từ kinh nghiệm.
Khi Diogo Almeida cho rằng sự thật không phải như vậy, không phải do phương pháp khác nhau, "mà là do bản thân phiên bản scaling law ban đầu có một bug."
OpenAI lừa các đồng nghiệp AI toàn cầu bằng ba chiêu?
Để tạo ra một lời nói dối khiến cả thế giới AI tin theo, chỉ cần ba bước.
Bước một: Giam cầm dữ liệu.
Bài báo của OpenAI cho tất cả các mô hình - bất kể đó là đứa trẻ mới tập đi (mô hình nhỏ), hay mô hình đã trở thành người khổng lồ, ăn một "khẩu phần" hoàn toàn giống nhau. Khoảng 130B tokens dữ liệu.
Mô hình nhỏ do đó bị "cho ăn no" thậm chí "quá no", trong khi những mô hình lớn thực sự cần lượng dữ liệu khổng lồ để lấp đầy dung lượng của chúng, lại bị suy dinh dưỡng nghiêm trọng dưới cùng một ngân sách token.
Bài báo Chinchilla sau đó đã chỉ ra một cách sắc sảo: Họ đã sử dụng "số lượng token huấn luyện và lịch trình tốc độ học cố định cho tất cả các mô hình" (fixed number of training tokens and learning rate schedule).
Điều này giống như bắt trẻ mẫu giáo và tiến sĩ làm cùng một đề thi, trong cùng một thời gian, rồi tuyên bố "thành tích chỉ liên quan đến tài năng".
Bước hai: Suy giảm LR kiểu "bịt tai ăn cắp chuông".
Họ đã sử dụng suy giảm tốc độ học cosine (Cosine Decay), làm cho tốc độ học tiệm cận về 0 một cách trơn tru khi huấn luyện gần đến điểm kết thúc.
Khi huấn luyện gần đến điểm kết thúc đã định trước, tốc độ học bị nhấn từng chút một về 0, sự tiến bộ của mô hình tự nhiên sẽ "bằng phẳng" xuống.
Đường cong một khi bằng phẳng, trông giống như: Mô hình này đã học đến hết rồi, cho ăn thêm cũng vô ích.
Các nhà nghiên cứu từ đó kết luận: "Thêm dữ liệu vô ích rồi, mô hình đã bão hòa."
Đây không phải là giới hạn của mô hình, đây là tốc độ học đã chặn đứng con đường phát triển của mô hình một cách nhân tạo. Nó tạo ra một ảo ảnh hoàn hảo: Hiệu suất đã chạm trần, thêm dữ liệu cũng vô dụng.
Nhưng chúng ta giờ đây biết rằng, những mô hình lớn đó vẫn chưa đạt đến giới hạn.
Bước ba: Sự kiêu ngạo của giới thẩm quyền.
Bước thứ ba, cũng là bước âm hiểm nhất: Trong bài báo có viết một câu, rằng kết quả "về cơ bản không bị ảnh hưởng bởi đường cong tốc độ học" (largely independent of learning rate schedule).
Mặc dù nhiều người bao gồm cả Diogo Almeida lúc đó ở OpenAI cũng mơ hồ cảm thấy không ổn, nhưng trong giới hạn token cố định, kết luận này về mặt kỹ thuật là đúng.
Nhưng nó lại không áp dụng được cho thế giới lý tưởng "dữ liệu vô hạn" mà scaling law thực sự muốn mô tả.
Họ đã coi chân lý cục bộ trong điều kiện hữu hạn, thành quy luật phổ quát của vũ trụ.
Ba bước chồng lên nhau, bạn có được một định luật vừa sai, vừa cực khó gỡ lỗi.
Ngay cả Diogo cũng thừa nhận: Năm đó anh cũng đang làm tối ưu hóa tại OpenAI, cũng không nhìn ra bug này - đường cong tốc độ học đó trông quá giống như đã được "thiết lập tinh vi", ai mà nghi ngờ chứ.
GPU bị lãng phí vô ích
Bố trí tính toán sai lệch nghiêm trọng
Bị dẫn dắt bởi công thức sai lầm của OpenAI, ngành công nghiệp AI đã bước vào kỷ nguyên "lực mạnh sinh kỳ tích".
Điều này có nghĩa là trong vài năm qua, những bộ não thông minh nhất toàn cầu, những nguồn tính toán khan hiếm nhất, đã bị lãng phí vào sự mở rộng quy mô vô hiệu.
Đây không chỉ là vấn đề tiền bạc, mà là trong cuộc chạy đua tốc độ sinh tử hướng tới AGI, nhân loại đã chạy tập thể hàng ngàn cây số trên đường đua sai lầm chỉ vì việc thiết lập tốc độ học.
Nếu việc phát hiện Bug làm người ta đau lòng, thì sự suy ngẫm sâu sắc sau đó mới làm người ta sợ hãi.
Nhà nghiên cứu Adam Zachary Wasserman chỉ ra một điểm mù bị mọi người bỏ qua: Ngay cả khi công thức được sửa chữa, Scaling Law hiện tại cũng chỉ là "Scaling Law tiếng Anh".
Ông đã làm một thí nghiệm phản trực giác: Huấn luyện mô hình với cùng kiến trúc, cùng tính toán.
Kết quả phát hiện, hiệu suất của mô hình tiếng Pháp đạt đến một khả năng ngữ pháp nào đó, thực ra lại cao hơn mô hình tiếng Anh 50 đến 100 lần.
Tại sao? Vì tiếng Anh là một ngôn ngữ "nghèo hình thái".
Nó quá phụ thuộc vào quy luật phân bố, cần mô hình phải đoán nghĩa từ trong khối lượng dữ liệu khổng lồ; còn những ngôn ngữ có hình thái phong phú hoặc cấu trúc chặt chẽ như tiếng Pháp, tiếng Trung, bản thân từ vựng đã mang theo rất nhiều thông tin rõ ràng.
Điều này có nghĩa, tất cả các phương án phân bổ tính toán hiện tại của chúng ta, đều được xây dựng dựa trên một ngôn ngữ "ăn dữ liệu" nhất và kém hiệu quả nhất.
Khi bạn tưởng mình đang khám phá định luật vật lý của "trí tuệ phổ quát", bạn thực chất chỉ đang đo lường "tiếng Anh, ngôn ngữ này lãng phí tính toán đến mức nào".
Điều này giống như bạn cố gắng xây dựng tiêu chuẩn dinh dưỡng cho toàn bộ sinh vật vũ trụ thông qua việc nghiên cứu khẩu vị của một con lợn - đây không chỉ là định kiến, mà còn là hạn chế về nhận thức.
Chúng ta đáng lẽ có thể sử dụng mô hình nhỏ hơn, nhiều dữ liệu chất lượng hơn, để đạt được hiệu suất mạnh hơn.
Chúng ta đáng lẽ có thể tiết kiệm được hàng vạn giờ chạy H100 về điện năng và nhiệt lượng.
Chúng ta đáng lẽ có thể bước vào thời đại "AI hiệu quả" sớm hơn hai năm.
Tài liệu tham khảo:
https://www.completeskeptic.com/p/scaling-laws-honestly
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Bài viết này đến từ tài khoản WeChat công khai "Tân Trí Nguyên", tác giả: ASI Khải Thị Lục, biên tập: Đại Vệ
