La nueva herramienta de código abierto de NVIDIA para MoE: Una sola línea de 'import' acelera el ajuste fino 3.7 veces
Con solo una línea de importación, la herramienta NeMo AutoModel de NVIDIA acelera el ajuste fino de modelos MoE hasta 3.7 veces. Este nuevo código abierto, basado en Transformers v5 de Hugging Face, permite una mejora significativa sin necesidad de modificar las API existentes.
Las pruebas en una configuración de 8 GPUs H100 muestran un aumento en el rendimiento de entrenamiento de 3.4 a 3.7 veces y una reducción del 29% al 32% en el uso de memoria GPU para modelos como Qwen3-30B-A3B.
La clave radica en tres tecnologías: Paralelismo de Expertos (EP) para distribuir pesos y reducir la presión en la memoria, DeepEP para fusionar computación y comunicación, y TransformerEngine para optimizar operaciones clave. Juntas, permiten un ajuste más rápido y eficiente de los grandes modelos de lenguaje con arquitectura Mixture of Experts (MoE).
El recurso ya está disponible en GitHub, ofreciendo una actualización sencilla para quienes ya utilizan Transformers v5, con mejoras drásticas en velocidad y consumo de recursos durante la fase de fine-tuning.
marsbit06/26 07:31
