OpenAI sụp đổ, nghiên cứu gốc về Scaling Law lộ bug, nghìn tỷ FLOPs hao phí vô ích
OpenAI nghiên cứu viên Diogo Almeida tiết lộ một lỗi cơ bản trong bài báo gốc về Scaling Law năm 2020. Lỗi này đến từ việc huấn luyện tất cả mô hình với số lượng token dữ liệu cố định (khoảng 130B token) và sử dụng lịch trình suy giảm tốc độ học (Cosine Decay), khiến các mô hình lớn bị "thiếu dinh dưỡng" và tạo ảo tưởng rằng việc tăng dữ liệu không còn hiệu quả. Kết quả là ngành AI toàn cầu đã bị dẫn lối sai, ưu tiên tăng tham số một cách cực đoan (như GPT-3) thay vì cân bằng với dữ liệu, dẫn đến lãng phí hàng nghìn tỷ phép tính.
Năm 2022, DeepMind với Chinchilla đã sửa sai, chứng minh rằng mô hình và dữ liệu cần được mở rộng cân đối (khoảng 20 token/1 tham số). Tuy nhiên, ngay cả nghiên cứu Chinchilla cũng được phát hiện có lỗi tối ưu hóa. Hơn nữa, Scaling Law hiện tại chủ yếu dựa trên tiếng Anh - một ngôn ngữ kém hiệu quả về mặt hình thái. Thí nghiệm cho thấy mô hình tiếng Pháp đạt hiệu quả cao hơn 50-100 lần so với tiếng Anh ở một số nhiệm vụ, cho thấy định luật hiện nay có thể chỉ phản ánh đặc tính của một ngôn ngữ cụ thể chứ không phải quy luật phổ quát của trí tuệ nhân tạo.
Sự sai lệch này đã khiến cả ngành công nghiệp đi chệch hướng trong nhiều năm, lãng phí lượng lớn tài nguyên tính toán và có thể làm chậm tiến trình phát triển AI hiệu quả.
marsbit4 giờ trước
