16 cartes B200 nécessaires pour exécuter Kimi K3, 8 cartes AMD suffisent
Cela pourrait être le moment qu'AMD attendait depuis longtemps. La société Wafer AI a récemment déployé le modèle Kimi K3 sur des GPU AMD MI355X. Alors que la version NVIDIA nécessitait 16 cartes B200 réparties sur deux serveurs, le modèle fonctionne désormais sur un seul serveur équipé de 8 MI355X d'AMD.
La clé de cette efficacité réside dans la mémoire. Kimi K3, avec ses 2,8 billions de paramètres, nécessite plus de 1,5 To de mémoire juste pour ses poids. Les MI355X, offrant 288 Go de mémoire HBM par carte (soit 2,3 To au total pour 8 cartes), permettent de loger l'intégralité du modèle sur un seul nœud, évitant ainsi les coûteuses communications inter-nœuds nécessaires avec la solution B200 (192 Go/carte).
Lors des tests (1024 tokens en entrée, 400 en sortie), la configuration à 8 MI355X a atteint un débit total de 952 tokens/s et une vitesse de génération monoposte de 118 tokens/s. En comparaison, les 16 B200 sur deux nœuds ont obtenu 498 tokens/s. En termes de rapport performance/coût, en supposant un coût horaire de 2,5$ pour le MI355X, 4,25$ pour le B200 et 6$ pour le B300, le MI355X offrirait environ 48 tokens/s par dollar, contre 33 pour le B300 et 7 pour le B200.
Fait notable, le portage sous ROCm, l'écosystème logiciel d'AMD, s'est avéré relativement simple. Le modèle a fonctionné presque immédiatement, avec seulement des ajustements mineurs nécessaires, comme l'ajout d'une fonction manquante pour le décodage spéculatif ou l'optimisation d'un noyau d'attention pour réduire le temps jusqu'au premier token (TTFT).
Cet exemple montre que face aux modèles de taille croissante, la capacité mémoire devient un avantage systémique critique. Si AMD continue d'améliorer la maturité de ROCm et son support pour les nouvelles architectures de modèles, ses GPU pourraient devenir une alternative crédible dans les data centers, combinant prix compétitif, grande mémoire et logiciel de plus en plus stable.
marsbitIl y a 39 mins
