Ba năm trì hoãn, bài viết mới nhất của cựu sinh viên Bắc Đại Weng Lilian gây bão mạng
Sau ba năm trì hoãn, Lilian Weng, cựu Phó chủ tịch OpenAI và là cựu sinh viên Đại học Bắc Kinh, đã đăng một bài blog dài về Scaling Laws (Định luật Mở rộng Quy mô) - quy tắc toán học định hình sự phát triển của AI hiện đại.
Bài viết chỉ ra rằng, mặc dù các định luật này cung cấp nền tảng để dự đoán hiệu suất mô hình khi mở rộng quy mô tính toán, dữ liệu và tham số, nhưng chúng lại rất mong manh và chứa đầy các vấn đề tinh vi.
Một điểm quan trọng là sự mâu thuẫn trong các khuyến nghị từ OpenAI (2020) và DeepMind (2022) về cách phân bổ ngân sách tính toán tối ưu giữa quy mô mô hình và dữ liệu. Sự khác biệt này, hóa ra, bắt nguồn từ cách đếm tham số (có bao gồm embedding layer hay không) và quy mô thí nghiệm hạn chế.
Hơn nữa, ngay cả công thức nổi tiếng của DeepMind (Chinchilla) - từng được coi là chuẩn mực trong ngành - cũng được phát hiện có lỗi phương pháp luận vào năm 2024, như việc sử dụng hàm mất mát trung bình khiến bộ tối ưu hóa dừng sớm.
Bài viết cảnh báo việc ngoại suy các định luật được khớp từ mô hình nhỏ lên mô hình nghìn tỷ tham số là rất rủi ro. Thách thức cơ bản hơn là nguồn dữ liệu văn bản chất lượng cao đang cạn kiệt, làm suy yếu giả định dữ liệu vô hạn của các định luật cổ điển. Các nghiên cứu mới đang cố gắng tích hợp yếu tố lặp lại dữ liệu vào công thức, cho thấy hiệu suất giảm dần và mô hình lớn nhạy cảm hơn với việc huấn luyện lặp.
Điều này giải thích tại sao ngành công nghiệp đang chuyển hướng sang các hướng tiếp cận như học tăng cường, tính toán tại thời điểm suy luận và dữ liệu tổng hợp để vượt qua "bức tường dữ liệu". Tóm lại, bài viết nhấn mạnh rằng con đường phát triển AI trong tương lai sẽ không chỉ đơn thuần là "mở rộng quy mô" mà còn đòi hỏi sự hiểu biết tinh tế và xử lý cẩn thận các chi tiết của những định luật cơ bản này.
marsbit06/26 04:55
