NVIDIA MoE Nouveau Open Source : Un Import Ligne, Accélération du Fine-tuning de 3.7x
NVIDIA a open-sourcé NeMo AutoModel, une solution permettant d'accélérer jusqu'à 3,7 fois le réglage fin (fine-tuning) des grands modèles de type MoE (Mixture of Experts). Compatible avec l'API de Hugging Face Transformers v5, elle ne nécessite qu'une simple ligne d'importation pour obtenir ces gains de performances.
Les expériences menées sur des modèles comme Qwen3-30B-A3B montrent une augmentation du débit d'entraînement de 3,4 à 3,7 fois et une réduction de 29% à 32% de la mémoire GPU utilisée. Cette optimisation repose sur trois technologies clés : le parallélisme d'experts (Expert Parallelism) pour répartir la charge mémoire, DeepEP pour fusionner calculs et communications, et TransformerEngine pour accélérer les opérations de base du Transformer.
Ainsi, NeMo AutoModel offre une mise à niveau transparente pour les utilisateurs de Transformers v5, permettant un réglage fin plus rapide et plus efficace des modèles MoE à grande échelle sans modifications majeures du code. Le code et la documentation sont disponibles sur GitHub.
marsbit06/26 07:31
