Nghiên cứu mới của AMD đảo lộn nhận thức: FP4 huấn luyện không ổn định, nguyên nhân không phải do tính ngẫu nhiên không đủ
Bài viết nghiên cứu mới của AMD và Đại học Bang Pennsylvania lật ngược nhận thức trước đây về việc huấn luyện mô hình lớn bằng định dạng FP4. Trái với suy nghĩ phổ biến rằng sự bất ổn đến từ tính ngẫu nhiên không đủ, nghiên cứu xác định nguyên nhân chính là lỗi cấu trúc từ việc thu nhỏ tỷ lệ (micro-scaling) tích lũy và khuếch đại dọc theo đường truyền gradient trọng số (Wgrad) nhạy cảm.
Các thí nghiệm kiểm soát trên phần cứng AMD Instinct MI355X với định dạng MXFP4 cho thấy: khi thay thế phép tính Wgrad từ FP8 sang MXFP4, chất lượng hội tụ suy giảm đáng kể. Các chiến lược thêm tính ngẫu nhiên như làm tròn ngẫu nhiên hoặc phép xoay Hadamard ngẫu nhiên thậm chí còn gây ra phân kỳ. Ngược lại, phép xoay Hadamard xác định đã ổn định quá trình huấn luyện bằng cách áp dụng cùng một phép biến đổi mỗi bước, giữ cho mẫu lỗi nhất quán và tránh tích lũy.
Với giải pháp này, nghiên cứu đã hoàn thành việc tiền huấn luyện đầy đủ cho Llama 3.1-8B trên C4, đạt được tốc độ huấn luyện nhanh hơn 9-10% so với đường cơ sở FP8, với chi phí token chỉ tăng thêm 8-9%. Đây là minh chứng đầu tiên về việc huấn luyện mô hình lớn hoàn chỉnh bằng FP4 trên phần cứng nguyên bản.
Nghiên cứu có ý nghĩa quan trọng: (1) Cung cấp chẩn đoán nguyên nhân rõ ràng, hướng dẫn tập trung vào lỗi cấu trúc thay vì tính ngẫu nhiên; (2) Mở rộng phạm vi sử dụng FP4 từ suy luận sang huấn luyện, tiềm năng tăng gấp đôi hiệu suất phần cứng hiện có; (3) Dựa trên tiêu chuẩn mở OCP Microscaling, đảm bảo khả năng di chuyển giữa các nền tảng phần cứng khác nhau.
marsbit10 giờ trước
