Lors de la conférence Hot Chips, Samsung et SK Hynix ont tous deux convenu que les GPU, la mémoire, la fabrication de plaquettes et l'encapsulation devaient être conçus comme un système. Depuis lors, leurs solutions ont commencé à diverger.
Samsung transforme le socle en une partie active du système. Il prévoit de déplacer le contrôleur de mémoire du GPU vers le socle logique, libérant ainsi 5 à 10 % de la surface du GPU pour davantage de calculs et augmentant potentiellement les performances de 10 à 20 %. Certaines opérations d'IA peuvent également être exécutées sur le socle pour réduire le déplacement des données. À long terme, il promeut la technologie zHBM, qui superpose directement les GPU et la DRAM, réduisant la consommation d'énergie de la DRAM d'environ 70 % tout en doublant pratiquement la bande passante.
SK Hynix se concentre sur des empilements plus élevés tout en gérant les problèmes de chaleur et de gauchissement qui en résultent. L'entreprise a confirmé que l'empilement à 12 couches du HBM4 est en phase de production, tandis que la version à 16 couches est en phase de validation client. La liaison hybride est la voie vers des empilements de 20 couches et plus, permettant l'utilisation de puces plus épaisses et des espacements plus serrés. Sa méthode iHBM ajoute un chemin de conduction thermique dédié à l'intérieur des zones les plus chaudes de l'empilement. La compétition ne porte plus seulement sur la bande passante et la capacité. L'architecture du socle et l'encapsulation avancée deviennent des champs de bataille décisifs.
Le socle personnalisé de Samsung basé sur un nœud logique
Lors d'une présentation à Hot Chips en 2026, Samsung Electronics a dévoilé le zHBM, l'évolution ultime de la mémoire haute bande passante. Ce concept abandonne l'interposeur 2.5D et superpose verticalement la DRAM sur les puces de calcul comme les GPU, formant une véritable architecture d'intégration 3D, avec pour objectif de réduire la consommation d'énergie de la DRAM de 70% et d'augmenter la bande passante de 2,3 fois par rapport au HBM4E.
Samsung a établi une feuille de route en trois phases pour transformer le socle d'un simple canal de transmission de données en un partenaire de calcul actif. La première phase déplace le contrôleur de mémoire du xPU vers le socle pour récupérer de la surface de silicium ; la deuxième phase ajoute au socle des capacités d'extension de mémoire et de calcul d'attention ; la troisième phase réalise finalement le zHBM.
Regardons maintenant le schéma de Samsung.
Dans leur présentation, ils ont fourni des graphiques montrant les tendances d'évolution des spécifications du HBM5. Bien que rien ne soit définitif, il est intéressant de regarder le graphique en haut à droite.
Un SSD HBM5 de 60 Go de capacité et 6 To/s de bande passante est plutôt bien. Faisons le calcul. Une bande passante de 6 To/s avec 2048 canaux implique un débit par broche de 23,5 Gb/s. Le meilleur débit actuel est de 16 Gb/s, c'est donc un énorme progrès, réalisable avec des nœuds logiques avancés. Si chaque puce a une capacité de 3 Go, pour un total de 60 Go, la hauteur d'empilement sera de 20 couches.
Sur une autre diapositive, Samsung confirme un débit par broche de 16 Gb/s pour le HBM4E. Notre calcul précédent pour le HBM5 est également vérifié dans le graphique ci-dessous.
L'avantage évident de Samsung est qu'il possède ses propres puces logiques, tandis que Micron et SK Hynix doivent s'associer à d'autres pour obtenir de telles puces. Samsung souligne ici cet avantage et explique l'importance des puces personnalisées. Samsung fabrique la mémoire en technologie 1C et la logique en technologie 4nm, réduisant considérablement la consommation d'énergie des puces. L'image ci-dessous fait une allusion subtile à Micron, qui utilise un processus DRAM pour les puces logiques dans ses mémoires HBM4.
Encore mieux, comme mentionné précédemment, Samsung divise clairement sa feuille de route produit en trois phases. Nous allons les parcourir une par une.
Première phase : les fruits accessibles
Lorsque le substrat intègre des nœuds logiques, la surface physique du module PHY HBM est réduite et l'efficacité énergétique est améliorée. Cela signifie que la taille du module inter-puces connectant le HBM et le XPU sera plus petite. Cela présente deux avantages :
Augmenter la surface dans le XPU pour plus de calculs ;
Augmenter la surface disponible sur le substrat HBM pour des fonctionnalités plus avancées.
L'inconvénient de cette réduction de taille est une densité thermique plus élevée dans ces zones. Il est intéressant de noter qu'ils fournissent les dimensions réelles des modules PHY dans différentes générations de HBM.
Samsung mentionne également qu'il ne privilégie pas l'utilisation de l'UCIe dans les liaisons D2D, car l'UCIe est plus grand et a une consommation d'énergie par bit plus élevée. Ils affirment que leur implémentation PHY personnalisée offre de meilleures performances. Dans la transition vers le HBM5, ils présentent le concept de bloc de chemin thermique (HPB) intégré pour refroidir la région PHY D2D.
Un autre avantage majeur est le déchargement du contrôleur de mémoire, qui peut être transféré du XPU vers le socle personnalisé. Cela libère de l'espace sur la puce XPU, qui peut être utilisé pour piloter davantage de processeurs à virgule flottante.
Un nouvel avantage de l'intégration de nœuds logiques dans le substrat est la possibilité d'implémenter de la SRAM. Si une cellule dans l'empilement DRAM est défectueuse, les informations de cette cellule peuvent être temporairement stockées dans la SRAM, et le contrôleur de mémoire les recherchera dans la SRAM plutôt que dans la cellule DRAM défectueuse. Imaginez la SRAM comme un cahier de secours, un bloc-notes temporaire pour conserver les données qui ne peuvent pas être stockées dans les cellules DRAM endommagées.
Deuxième phase : RAS, Test, Extension, Traitement
L'utilisation d'un nœud logique comme substrat signifie que si les transistors sont plus petits, la surface de silicium utilisée pour de nombreuses fonctions de ce type est également réduite. L'espace économisé peut être utilisé à diverses fins, telles que l'amélioration de la réparabilité, de la disponibilité et de la maintenabilité (RAS), la réalisation de tests et la collecte de télémétrie sur l'état/santé de l'empilement de mémoire HBM. La télémétrie HBM étant le deuxième facteur d'échec d'entraînement, elle sera très utile.
S'il reste de la surface de silicium, on peut en ajouter une autre. Le contrôleur d'extension de mémoire est utilisé pour connecter un autre empilement HBM derrière le premier ou pour insérer des puces DRAM afin d'étendre la mémoire.
Enfin, puisque des transistors logiques sont disponibles, pourquoi ne pas intégrer également des capacités de calcul dans le substrat ? L'avantage est que des calculs tels que la compression de matrices ou l'encodage peuvent être effectués sur la puce logique sans quitter le substrat. Cela présente des avantages en termes de latence et d'efficacité.
Si tout se passe bien, en théorie, on pourrait construire cet accélérateur élégant en bas à droite. Il est facile de dessiner de tels schémas, et c'est intéressant sur le plan conceptuel, mais la question de savoir s'il offre une amélioration significative des performances réelles reste ouverte.
Troisième phase : la verticalisation
La phase finale consiste à utiliser le substrat personnalisé et le HBM, et à les empiler sur la puce logique. La distance entre la puce de calcul et la puce mémoire étant courte, les bits de données n'ont besoin de voyager que sur une distance plus courte, ce qui améliore l'efficacité énergétique et augmente la bande passante mémoire grâce à la possibilité d'utiliser plus de chemins de données parallèles sur toute la surface de la puce, et pas seulement sur son bord.
Tout cela n'est pas facile, mais il est crucial pour une entreprise d'avoir une feuille de route d'amélioration technologique. Cela montre qu'elle a confiance en sa capacité à livrer des produits de meilleure qualité à l'avenir, ce qui est une bonne chose. Que le marché soit prêt pour ce produit ou non est une autre question.
SK Hynix pousse la liaison hybride pour le HBM5
Lors de son intervention à Hot Chips 2026 le 23 août, Jaesik Lee, vice-président de l'ingénierie d'encapsulation chez SK Hynix America, a déclaré que SK Hynix s'attendait à ce que la technologie de liaison hybride ne soit pas nécessaire pour le HBM4E, repoussant la transition d'encapsulation la plus attendue du secteur au plus tôt au HBM5.
Comme il l'a décrit, le problème est que l'épaisseur totale du cube HBM est limitée à 775 micromètres – l'épaisseur standard d'une plaquette logique de 300 mm – donc chaque couche de DRAM ajoutée nécessite des puces plus fines et des espaces plus étroits. Le HBM4 à haute densité à 16 couches, actuellement en validation client (le HBM4 à 12 couches étant déjà en production), amincit ses puces de base à environ 50 micromètres et réduit de moitié l'espacement entre les puces. La présentation de Lee a également détaillé l'architecture de refroidissement iHBM de l'entreprise, dévoilée trois mois après sa première annonce en mai. Lee a expliqué qu'il existe une limitation : le module de dissipation thermique ne peut pas être appliqué à tout produit HBM déjà conçu.
La norme JEDEC HBM4 a relevé la limite d'épaisseur de l'emballage de 720 micromètres (utilisée pour le HBM3E) à 775 micromètres, ce qui soulage la pression pour adopter la liaison hybride. Lee a déclaré que lorsqu'un GPU est empaqueté avec une plaque froide, à la fois la puce logique et l'empilement mémoire sont polis, exposant le silicium nu. Les plaquettes logiques ayant une épaisseur de 775 micromètres, si les puces mémoire deviennent un peu plus hautes, elles dépassent la hauteur du processeur adjacent. "C'est la limite que nous pouvons actuellement atteindre, car l'épaisseur de la plaquette logique est également de 775 micromètres", a déclaré Lee.
Des puces plus fines signifient une proportion plus élevée d'oxyde dans l'empilement, et l'oxyde est beaucoup moins conducteur thermiquement que le silicium. De plus, la vitesse des broches est passée de 1 Gb/s pour les premiers HBM à 8 Gb/s pour le HBM4, nécessitant plus de puissance par unité de surface. Les propres données de SK Hynix montrent que la charge thermique moyenne est 2,2 fois plus élevée pour les générations de HBM illustrées, tandis que le nombre de couches double tous les deux générations.
Le processus MR-MUF (Massive Reflow-Molded Underfill) de l'entreprise, qui empile toutes les puces par pick-and-place et les connecte en une seule opération de refusion, a déjà sacrifié des marges : selon Lee, remplir les espacements réduits de moitié tout en contrôlant le gauchissement des puces de moins de 50 micromètres est le principal défi de fabrication du 16-Hi.
En mai dernier, Samsung s'est publiquement engagé à utiliser la liaison hybride pour le HBM4, tandis que SK Hynix a positionné la liaison cuivre-cuivre comme une alternative au MR-MUF avancé. Ensuite, le JEDEC a assoupli la limite d'épaisseur, rendant la liaison hybride moins urgente. Actuellement, l'industrie discute d'une nouvelle augmentation de l'épaisseur pour les empilements de 20 couches, à 825-900 micromètres, ce qui retarderait à nouveau l'adoption massive de la liaison cuivre.
Dès mars, des sources industrielles affirmaient que SK Hynix avait passé la première commande de production à grande échelle pour la liaison hybride, un système à ligne unique combinant des outils d'Applied Materials et Besi, d'une valeur d'environ 200 milliards de won (15 millions de dollars). Counterpoint Research prévoit que cette technologie entrera en production HBM complète vers 2029-2030, avec l'arrivée du HBM5.
Selon la feuille de route de SK Hynix, la liaison hybride est actuellement encore en phase de R&D pour les empilements de 20 couches et plus, et SK Hynix décide encore quel produit l'adoptera en premier. M. Lee n'a pas précisé la génération, mais en excluant le HBM4E, le HBM5 est probablement le premier candidat. La technologie connecte à température ambiante des plots de cuivre plats et des surfaces d'oxyde, puis utilise l'expansion thermique du cuivre pendant la solidification pour former la liaison.
"Ce processus, bien que simple en apparence, est extrêmement difficile", a déclaré Lee. "Nous avons besoin de 16 voire 20 couches pour la liaison hybride, ce qui est très différent d'un simple empilement." L'élimination complète des microbilles permet aux puces de base d'être 24 % plus épaisses à une hauteur de 20 couches, réduisant la résistance thermique d'environ 35 % par rapport au MR-MUF à la même hauteur, et le pas des billes (selon le schéma des couches de puces) peut être inférieur à 18 micromètres, contre 30 micromètres actuellement pour le MR-MUF. Au pas de billes du HBM4, les microbilles traditionnelles sont toujours applicables, et à chaque fois que le JEDEC relève la limite d'épaisseur, le MR-MUF peut rester viable et se prolonger dans la génération suivante.
Le concept iHBM intègre des blocs conducteurs thermiques et isolants dans les régions PHY inter-puces du socle (les points chauds d'interface où la densité de puissance culmine), ce qui permettrait de réduire la résistance thermique de plus de 30 %.
La diapositive de Lee compare directement iHBM avec la solution de bloc de chemin thermique (Heat Path Block) de Samsung. Le bloc de chemin thermique de Samsung évacue la chaleur de l'empilement via des piliers thermiques dédiés, tandis que la refonte des circuits du substrat de Micron prétend améliorer l'efficacité énergétique de plus de 20 %. Ce sont toutes des affirmations des fabricants, avec des métriques différentes. Les conceptions de SK Hynix et Samsung sont toutes deux prévues pour le HBM5, mais ne devraient pas être en production avant 2028. Lee a déclaré que, puisque ces modules sont situés à l'intérieur du package avec les puces PHY D2D, ils doivent être optimisés en fonction de la conception du client et ne peuvent pas être appliqués à une génération de puces déjà conçue, faisant d'iHBM un travail de co-conception. "C'est une bonne option que nous pouvons faire, mais nous ne pouvons pas l'appliquer à une génération de puces que nous avons déjà conçue."
Lors de la session de questions-réponses, Tanj Bennett de SemiAnalysis a souligné que des mémoires empilées plus haut réduisent le débit du silicium lui-même. La DRAM, au niveau des cellules, a un débit d'environ 20 To/s par centimètre carré ; tandis qu'un empilement de 20 couches a un débit maximum d'environ 4 To/s, et la capacité de fabrication requise pour le HBM est bien supérieure à celle du DDR5 ou LPDDR équivalent. "Lorsque l'empilement atteint 20 couches, cette mémoire est en moyenne plus lente que le DDR5", a déclaré Bennett, "Pourquoi utiliser la hauteur d'empilement HBM plutôt que de placer astucieusement des mémoires moins chères autour ?"
Lee a répondu que les charges de travail d'entraînement nécessitent à la fois bande passante et capacité, puis a ajouté que l'inférence peut s'accommoder des deux, en conservant le cache clé-valeur dans la mémoire haute bande passante tout en déchargeant une partie du travail vers la mémoire LPDDR. Cette séparation est déjà utilisée dans des produits comme la plateforme Vera Rubin de Nvidia, qui agrège du LPDDR5X et du HBM4 via NVLink-C2C à cet effet. De plus, la spécification de mémoire flash haute bande passante, co-développée par SK Hynix et SanDisk, étend cette philosophie hiérarchique à la mémoire NAND.
En parlant des schémas hiérarchiques, Lee a déclaré : "C'est aussi quelque chose que nous devons considérer à l'avenir." Selon un rapport de janvier, SK Hynix a obtenu environ 70 % des commandes de puces HBM de la génération Vera Rubin de Nvidia, qui utiliseront toutes la technologie MR-MUF. Lee a déclaré que l'entreprise n'avait pas encore décidé quel produit adopterait la technologie MR-MUF en premier.
Micron considère que le "mur de la mémoire" s'aggrave
Dans sa présentation, Micron Technology explorera l'évolution des architectures mémoire dans le domaine de l'IA. On comprend que Micron détaillera comment la mémoire haute bande passante et les technologies d'encapsulation avancées deviennent centrales dans la conception des systèmes d'IA.
La présentation de Micron commence par la théorie de l'efficacité de calcul d'OpenAI, expliquant pourquoi la mémoire est cruciale pour l'extension des modèles de langage. Micron note une relation de loi de puissance entre la taille du modèle, la taille de l'ensemble de données et la puissance de calcul d'entraînement, et soutient que ces trois éléments doivent évoluer simultanément pour améliorer les performances des modèles de langage. La mémoire est la ressource clé qui relie ces trois facteurs.
Parlons maintenant du goulot d'étranglement mémoire. Micron indique que les TFLOPS (performances en virgule flottante) des accélérateurs d'IA augmentent d'environ 3 fois tous les deux ans, tandis que la bande passante de la mémoire attachée 2.5D (comme le HBM) augmente à moins de 2 fois tous les deux ans. Cet écart croissant est la raison pour laquelle la technologie mémoire devient un facteur limitant clé pour les performances des systèmes d'IA.
Micron positionne le HBM comme un pont entre le calcul et la mémoire et retrace l'amélioration de la capacité, de la bande passante et de l'efficacité énergétique à travers les générations, du HBM2e au HBM5. Vous devez apprécier cette conférence technique sans axe des ordonnées étiqueté.
Ici, Micron montre un GPU typique avec une surface de package de plus de 12000 mm², incluant le socle et huit instances de mémoire HBM4. Cela signifie qu'avec un HBM4 à 12 couches, la surface de silicium de la mémoire peut dépasser de 8 fois la surface de la puce GPU elle-même. C'est une illustration frappante.
Le HBM relève le plafond de bande passante mémoire, changeant la frontière de la limite mémoire, permettant aux charges de travail d'IA intensives en mémoire de s'exécuter plus rapidement avant d'atteindre la limite mémoire.
La présentation de Micron détaille maintenant ce qu'est le HBM et son évolution à travers les générations. Un tableau de produits montre l'évolution du HBM1 au HBM4. Chaque génération améliore le débit de données, le nombre de pseudo-canaux et la hauteur d'empilement, offrant ainsi une bande passante plus élevée et une capacité plus grande.
Le HBM n'est pas installé comme un RDIMM JEDEC standard. L'image ci-dessous montre comment un empilement HBM s'intègre dans un système hétérogène avec un GPU ou un accélérateur, et est empaqueté sous forme de module système-en-package (SiP), plutôt que comme un module à fente séparé. Je pense que beaucoup de lecteurs de STH ont déjà vu cette conception.
Chaque puce DRAM contient plusieurs canaux indépendants, chacun ayant deux pseudo-canaux. Le HBM3E supporte 128 bancs par puce, tandis que le HBM4 le double à 256. La puce de base se situe entre l'hôte et l'empilement DRAM, utilisant un PHY à microbilles côté hôte et un PHY TSV 3D côté empilement, connectés via un interposeur haute densité point-à-point, passant de 1K IO pour le HBM3E à 2K IO pour le HBM4.
Micron montre maintenant le compromis entre performances et capacité. Mais ils ne montrent pas vraiment ici la différence en termes de surface de PCB et de consommation d'énergie. Peut-être que cela viendra dans des diapositives ultérieures ?
Micron note maintenant le coût en silicium de cette vitesse. La complexité combinée de l'architecture de conception, de l'encapsulation avancée et des processus de fabrication signifie que pour atteindre la même capacité qu'avec du DDR5, le HBM3E nécessite environ trois fois plus de silicium.
Micron résume ensuite dans sa présentation les paramètres mémoire qui soutiennent l'innovation en IA, incluant les performances, la capacité et la consommation d'énergie.
Les liaisons E/S plus rapides et les interposeurs plus grands continuent de faire progresser la technologie SiP, incluant des conceptions E/S plus rapides, des SERDES et des PHY inter-puces optimisés pour la mémoire, et des composants optiques co-packagés côté interconnexion. Les SiP de plus grande taille basés sur des technologies comme CoWoS-L et CoWoS-R ainsi que les substrats en verre font également partie de la trajectoire d'évolution de l'encapsulation.
Parlons maintenant de la fiabilité, incluant l'interaction puce-package et les défis RAS. Dans les dispositifs HBM à intégration hétérogène, la non-coïncidence des coefficients de dilatation thermique entre matériaux différents crée des contraintes thermomécaniques. En fait, à une échelle plus large, c'était l'un des plus grands défis dans la réalisation du WSE de Cerebras. La couverture ECC se divise en deux couches : d'abord pour le HBM3, au niveau du système, utilisant 16 métabits pour chaque accès de 256 bits ; ensuite, le Reed-Solomon basé sur des symboles implémenté sur puce.
Pour contrôler la chaleur, l'activité accrue des puces DRAM, l'augmentation de la hauteur d'empilement et les fonctionnalités de base des puces plus avancées augmentent tous la génération de chaleur. Micron note que le refroidissement liquide, la liaison hybride et les améliorations des soudures et des moules latéraux sont des innovations de dissipation thermique nécessaires pour maintenir l'extension de la bande passante et de la capacité.
Les tendances d'encapsulation semblent approcher de leur fin.
Dans l'ensemble, ces données indiquent comment Micron Technology aborde l'évolution des architectures mémoire dans le domaine de l'IA. Micron pèse l'amélioration de la bande passante et de la capacité du HBM contre les coûts d'encapsulation, de thermique et de fiabilité associés au placement d'une si grande capacité de mémoire à côté de l'unité de calcul.
Quel avenir pour le HBM, selon vous ?
Cet article provient du compte WeChat "Observatoire de l'industrie des semi-conducteurs" (ID: icbank), auteur : la rédaction.
