Mais... le Flash n'est-il pas très lent ? Comment SanDisk et SK Hynix l'utilisent-ils pour alimenter les grands modèles ???
La dernière publication de l'IEEE révèle une approche plutôt contre-intuitive : l'angoisse mémoire des grands modèles pourrait être atténuée grâce à la même technologie que celle des clés USB.
Exactement, c'est la NAND Flash.
Pour beaucoup, les principales caractéristiques de la Flash sont son faible coût, sa grande capacité et la rétention des données sans alimentation. Mais en termes de vitesse, surtout pour l'inférence des grands modèles, cela ne semble pas être une solution sérieuse.
Mais aujourd'hui, SanDisk et SK Hynix promeuvent une nouvelle technologie : la Flash à Haute Bande Passante (High Bandwidth Flash), abrégée HBF.
Le concept est simple : appliquer à la NAND Flash les méthodes d'encapsulation avancée et d'empilement de puces utilisées pour la HBM (mémoire à haute bande passante).
Autrement dit, faire participer la mémoire flash, traditionnellement dédiée au stockage, à l'alimentation rapide des données pour l'inférence IA.
Selon les documents publics de SanDisk, la HBF pourrait empiler jusqu'à 16 puces NAND Flash, visant une capacité maximale par pile de 512 GB, avec une bande passante de lecture cible pouvant atteindre 1,6 To/s.
Dans les feuilles de route des deuxième et troisième générations, cette bande passante de lecture devrait encore augmenter à 2 To/s et 3,2 To/s.
Bien que ce chiffre n'égale pas encore la HBM haut de gamme, il ne correspond plus à l'état "lent" du stockage flash traditionnel.
Cette percée technologique s'inscrit peut-être dans un contexte de pénurie mondiale d'approvisionnement que l'industrie du stockage cherche désespérément à résoudre.
Il y a quelques jours (le 11 juillet, heure de Pékin), Kwak Noh-Jung, PDG du géant coréen du stockage SK Hynix, a déclaré publiquement lors de ses débuts au Nasdaq que l'industrie mondiale du stockage devrait faire face à la pire pénurie d'approvisionnement de son histoire en 2027, une déclaration qui a rapidement enflammé les marchés financiers et l'opinion industrielle.
Dans ce contexte, le lancement de la HBF par SK Hynix et SanDisk est peut-être précisément une réponse technique pour atténuer les tensions d'approvisionnement en mémoire.
Voyons cela de plus près.
La Flash n'est-elle pas lente ? Comment peut-elle être utilisée pour l'IA ?
La question se pose : la Flash n'est-elle pas réputée lente en écriture ? Comment peut-elle soudain servir à l'IA ?
Jim Handy, directeur de la société d'études de marché des semi-conducteurs Objective Analysis, a déclaré dans une interview avec IEEE Spectrum que la première réaction de beaucoup de gens était aussi celle-ci : comment cela est-il possible ? La Flash est manifestement très lente.
Mais la clé est que la Flash est lente, principalement en écriture.
La NAND Flash stocke les données via des charges électriques dans des transistors à grille flottante, organisés en blocs et pages. Ce mécanisme lui permet de conserver les données sans alimentation, sans avoir besoin d'être constamment rafraîchie comme la DRAM, ce qui la rend naturellement adaptée au stockage à long terme, combinant haute densité et faible coût.
Cependant, le prix à payer est qu'écrire des données nécessite de pousser ou d'extraire des charges à travers une grille isolante, un processus beaucoup plus lent que la charge/décharge d'un condensateur.
Donc, d'un point de vue informatique traditionnel, il est difficile de placer la Flash sur le même plan que la DRAM ou la HBM.
Mais si l'on ne considère que la lecture, c'est différent.
Selon la dernière norme d'interface flash ONFI 6.0, la bande passante théorique maximale par die peut atteindre 4,8 Go/s.
Ce chiffre seul n'est pas impressionnant.
Mais une barrette DIMM DDR5 peut atteindre jusqu'à 70,4 Go/s, et une pile HBM4E peut atteindre 3,6 To/s, soit un écart d'environ 750 fois par rapport à une simple puce NAND Flash.
L'objectif de la HBF est, grâce à l'encapsulation 3D et à l'empilement vertical, de regrouper plusieurs dies NAND Flash pour augmenter significativement la bande passante de lecture totale.
Hoshik Kim, vice-président principal de la recherche sur les systèmes mémoire chez SK Hynix, souligne : "En appliquant des technologies avancées d'encapsulation 3D et d'empilement vertical à la mémoire flash NAND, la HBF peut atteindre une bande passante bien supérieure à celle du stockage NVMe standard."
Tout comme la HBM empile des puces DRAM, la HBF empile des dies de mémoire flash NAND pour créer des puces à haute densité de stockage.
Leur but n'est pas de rendre une simple puce Flash soudainement plus rapide, mais d'augmenter les canaux de lecture par empilement et encapsulation.
La HBF ne vise pas à remplacer la HBM, elle a trouvé sa place
Ce qui est vraiment intéressant avec la HBF, ce n'est pas qu'elle veuille remplacer la HBM.
C'est qu'elle a identifié un scénario très adapté à la Flash : l'inférence IA.
L'entraînement et l'inférence n'ont pas les mêmes exigences en matière de mémoire.
Lors de l'entraînement d'un grand modèle, le système doit constamment lire les poids, calculer les erreurs, puis mettre à jour les poids via la rétropropagation.
Ce processus nécessite de nombreuses lectures et écritures, ce qui est très défavorable à la Flash ;
car la Flash est lente en écriture, et de nombreuses écritures impliquent des problèmes de durée de vie et de gestion de l'effacement.
Mais la phase d'inférence est différente.
À ce stade, le modèle est déjà entraîné, les poids sont essentiellement figés. La plupart du temps, le système a besoin de lire rapidement ces énormes poids de modèle, plutôt que de les modifier fréquemment.
Cela tombe précisément dans le domaine où la Flash est relativement performante.
Kim, vice-président principal de la recherche sur les systèmes mémoire chez SK Hynix, déclare : "Dans un environnement d'inférence, des données massives et intensives en lecture, comme les poids statiques d'un modèle de plusieurs milliards de paramètres ou un cache KV précalculé, peuvent être stockées en toute sécurité au niveau de la HBF."
Ainsi, la HBM, coûteuse et de capacité limitée, peut être libérée pour servir exclusivement de zone de mémoire tampon haute vitesse.
Cette architecture ressemble un peu à l'ajout d'un "pool de mémoire morte de très grande capacité" pour l'IA.
La HBM continue de gérer les échanges de données de calcul haute vitesse les plus urgents et les plus fréquents.
La HBF se charge de contenir les paramètres de modèle volumineux et peu modifiés.
Pour l'inférence des grands modèles actuels, cette approche a une signification pratique.
Car les défis de l'inférence des grands modèles ne se limitent plus à la pénurie de puissance de calcul ; des pressions multiples telles que le manque de mémoire, une bande passante insuffisante, une consommation énergétique trop élevée et des coûts de déploiement prohibitifs s'entremêlent.
Surtout dans un contexte d'expansion continue de la taille des modèles, la capacité mémoire limitée par carte et le coût élevé de la HBM deviennent des facteurs limitants significatifs.
Souvent, ce n'est pas que le GPU ne peut pas calculer, c'est que le modèle ne tient pas en mémoire, ou que les données ne peuvent pas être fournies assez vite.
Et si la HBF peut trouver un équilibre entre capacité, bande passante et coût, elle pourrait permettre à des modèles plus grands de fonctionner à un coût inférieur.
512 GB par pile, les serveurs IA pourraient utiliser moins de cartes
Les paramètres cibles de la première génération de HBF annoncés par SanDisk sont une capacité maximale de 512 GB et une bande passante de lecture de 1,6 To/s.
Cette combinaison est cruciale – l'avantage de la HBM est sa vitesse extrême, mais elle est chère et sa capacité est limitée ; la HBF, bien que plus lente, peut offrir une plus grande capacité et un coût unitaire inférieur.
Cela signifie que lors du déploiement de l'inférence de grands modèles, les futurs serveurs IA n'auront peut-être pas besoin de charger tous les poids dans la HBM.
Une partie des données plus "froides", statiques, principalement lues et peu écrites, pourrait être placée dans la HBF.
△
Les avantages potentiels sont multiples :
Premièrement, atténuer le goulot d'étranglement de capacité de la HBM.
Deuxièmement, réduire le besoin d'empiler plus de cartes d'accélération pour contenir le modèle.
Troisièmement, abaisser le coût global et la consommation énergétique du système d'inférence.
Le jugement de Kim est le suivant : La HBF et la HBM ne sont pas des concurrentes, mais des outils complémentaires.
Il souligne : "La HBF peut, sans sacrifier la vitesse d'alimentation des données, atténuer efficacement le sévère goulot d'étranglement de capacité auquel est confrontée la HBM, réduisant ainsi potentiellement le nombre d'accélérateurs nécessaires pour exécuter des modèles à grande échelle."
Sur cette base, il prévoit que cette solution améliorera également l'efficacité énergétique et réduira les coûts, contribuant ainsi à permettre aux centres de données d'étendre davantage leur infrastructure matérielle d'inférence IA.
C'est aussi la logique industrielle la plus digne d'intérêt de la HBF : il ne s'agit pas de transformer la Flash en HBM, mais de placer les différentes données du système IA à l'endroit qui leur convient le mieux.
Les données chaudes restent dans la HBM ; les données de grande capacité, statiques et intensives en lecture vont dans la HBF ; les données à vitesse plus lente et moins chères continuent d'aller sur SSD ou autre stockage.
Si cette hiérarchisation fonctionne, l'architecture mémoire du matériel d'inférence IA pourrait gagner un nouveau niveau.
Le déploiement à grande échelle est encore loin, mais le système mémoire des grands modèles montre déjà des signes de nouvelle spécialisation
Bien entendu, la HBF n'est pas encore un produit mature.
Selon IEEE Spectrum, la HBF nécessitera au moins un an avant une éventuelle commercialisation, et un déploiement à grande échelle pourrait prendre plusieurs années.
Le 25 février dernier, SanDisk et SK Hynix ont organisé conjointement un événement de lancement, annonçant la promotion des travaux de normalisation de la HBF dans le cadre de l'Open Compute Project (OCP).
En tant qu'organisation industrielle ouverte importante dans le domaine du matériel de centre de données, l'OCP a dirigé l'élaboration de nombreuses spécifications pour serveurs, racks, alimentations et accélérateurs, comme les spécifications de serveur DC-MHS ou d'accélérateur OAI-OAM.
Mais pour l'instant, la norme HBF est encore en cours d'élaboration, et sa date de publication officielle n'est pas encore fixée – ce qui signifie également que la HBF ne changera pas immédiatement le marché des serveurs IA à court terme.
Cela ressemble davantage à un signal qui émerge à l'avance : L'inférence IA pousse le stockage et l'architecture mémoire à se spécialiser à nouveau.
Par le passé, l'attention du matériel pour grands modèles se concentrait sur les GPU, la HBM et l'interconnexion.
Mais lorsque les modèles deviennent de plus en plus grands et les requêtes d'inférence de plus en plus nombreuses, les goulots d'étranglement passent de "la vitesse de calcul" à "la capacité mémoire", "la vitesse de lecture" et "le coût de l'électricité".
C'est précisément dans cette faille que la HBF s'insère.
La guerre de la mémoire pour l'IA pourrait ne pas appartenir uniquement à la HBM
Il est intéressant de noter que SK Hynix est lui-même l'un des plus grands gagnants de la HBM.
La HBM lui apporte des revenus records, donc logiquement, lancer une technologie alternative moins chère semble contre-intuitif d'un point de vue commercial.
Mais d'un point de vue système, la HBF ne va pas nécessairement prendre la place de la HBM.
Les serveurs IA de demain auront besoin non pas d'une mémoire unique, mais d'une mémoire hiérarchisée.
Laisser la HBM gérer les performances ultimes, la HBF gérer la lecture à grande capacité et haute bande passante, et le SSD gérer le stockage de masse à moindre coût.
Si cette combinaison fonctionne, elle rendra les systèmes d'inférence IA plus évolutifs.
En termes simples : Toutes les données du modèle ne méritent pas de résider dans la "maison de luxe" qu'est la HBM. Certaines données ont simplement besoin d'un emplacement avec une capacité suffisante, une lecture assez rapide et un coût inférieur.
C'est la place que la HBF veut occuper.
Passer de la NAND Flash des clés USB et des cartes SD à un pool de poids de modèle à haute bande passante dans les serveurs IA, cela semble être un grand écart, mais le problème des grands modèles est clair : de plus en plus de paramètres, une inférence de plus en plus chère, une HBM de plus en plus rare.
Et la solution ne viendra pas nécessairement d'une mémoire plus chère, mais peut-être simplement d'un reconditionnement d'une vieille technologie familière.
Références :
[1]https://spectrum.ieee.org/high-bandwidth-flash?itm_source=homepage&itm_medium=hero&itm_campaign=hero-2026-07-15&itm_content=hero6
Cet article provient du compte WeChat "QbitAI", auteur : Ge Wenting
