NVIDIA MoE Mới Đã Mã Nguồn Mở: Một Dòng Import, Tăng Tốc Fine-Tune 3.7 Lần
Chỉ cần thêm một dòng import, NeMo AutoModel của NVIDIA có thể tăng tốc độ fine-tuning mô hình MoE lên gấp 3.7 lần. Dựa trên nền tảng Hugging Face Transformers v5, công cụ này tương thích API và không yêu cầu sửa đổi code nhiều, cho phép fine-tuning các mô hình MoE với hiệu suất cao hơn và mức sử dụng bộ nhớ GPU thấp hơn.
Bộ ba công nghệ cốt lõi gồm Expert Parallelism (EP) phân phối trọng số chuyên gia trên nhiều GPU để giảm 29-32% bộ nhớ, DeepEP kết hợp tính toán và giao tiếp để giảm độ trễ, và TransformerEngine tăng tốc các phép toán cơ bản.
Thử nghiệm trên Qwen3-30B-A3B cho thấy tốc độ thông lượng huấn luyện (TPS/GPU) tăng từ 3075 lên 11340, tương đương 3.69 lần. Đối với Nemotron 3 Ultra 550B ở quy mô lớn (128 GPU), giải pháp này vẫn hoạt động ổn định trong khi Transformers v5 gặp lỗi tràn bộ nhớ.
Mã nguồn và hướng dẫn sử dụng đã được NVIDIA công bố trên GitHub.
marsbit06/26 07:30
