L'angoisse mémoire des grands modèles, la solution se trouve sur une clé USB
Les modèles d'IA générative sont confrontés à un défi majeur : la pénurie et le coût élevé de la mémoire HBM, essentielle pour leurs opérations. Une nouvelle approche, surprenante, émerge : utiliser la mémoire flash NAND (la technologie des clés USB) pour soulager cette pression. Baptisée High Bandwidth Flash (HBF), elle est développée par SanDisk et SK Hynix.
L'idée centrale est de tirer parti du point fort de la flash NAND : une lecture de données relativement rapide et un coût par gigaoctet bien inférieur à celui de la HBM. En empilant jusqu'à 16 puces NAND dans un seul module 3D, l'HBF vise à atteindre une bande passante de lecture de 1,6 To/s et une capacité de 512 Go par pile.
Ce n'est pas un remplacement de la HBM. L'innovation réside dans une architecture mémoire hiérarchisée et spécialisée pour l'**inférence** (l'exécution) des grands modèles. Pendant l'inférence, les poids du modèle, volumineux et largement statiques, sont principalement lus, rarement écrits. L'HBF pourrait servir de "pool de mémoire morte haute capacité" pour ces données, libérant la HBM coûteuse pour les calculs les plus critiques et les données temporaires.
Les avantages potentiels sont significatifs : réduire la quantité de HBM requise par serveur, diminuer le nombre de cartes d'accélération nécessaires pour héberger de très grands modèles, et ainsi abaisser les coûts globaux et la consommation énergétique des déploiements d'IA.
Bien que la technologie HBF, en cours de standardisation, ne soit pas attendue avant au moins un an, elle signale une évolution importante. Face à l'explosion des modèles, la solution aux problèmes de mémoire pourrait venir non seulement de technologies plus rapides et chères, mais aussi d'une réorganisation intelligente des architectures, en redonnant un rôle clé à une technologie mature réinventée.
marsbit07/20 00:23
