En la conferencia Hot Chips, tanto Samsung como SK Hynix coincidieron en que la GPU, la memoria, la fabricación de obleas y el empaquetado deben diseñarse como un sistema. Desde entonces, sus soluciones han comenzado a divergir.
Samsung está transformando el chip base en una parte activa del sistema. Planea trasladar el controlador de memoria de la GPU al chip base lógico, liberando así entre un 5% y un 10% del área de la GPU para más computación y potencialmente mejorando el rendimiento entre un 10% y un 20%. Operaciones selectivas de IA también podrían ejecutarse en el chip base para reducir el movimiento de datos. A largo plazo, está impulsando la tecnología zHBM, que apila directamente la GPU y la DRAM, lo que se espera reduzca el consumo de energía de la DRAM en aproximadamente un 70% mientras duplica el ancho de banda.
SK Hynix se enfoca en apilamientos más altos y en gestionar los problemas de calor y deformación resultantes. Confirmó que el apilamiento de 12 capas de HBM4 está en etapa de producción, mientras que la versión de 16 capas está en verificación con clientes. La unión híbrida es el camino hacia apilamientos de 20 capas y más, permitiendo usar chips más gruesos y espaciamientos más estrechos. Su enfoque iHBM agrega una ruta dedicada de conducción térmica dentro de las áreas más calientes del apilamiento. Esta competencia ya no trata solo de ancho de banda y capacidad. La arquitectura del chip base y el empaquetado avanzado se están convirtiendo en campos de batalla decisivos.
Chip sustrato personalizado de Samsung basado en nodo lógico
En la presentación de Hot Chips 2026, Samsung Electronics presentó zHBM, la evolución final de la memoria de alto ancho de banda. Este concepto prescinde del interposer 2.5D, apilando verticalmente la DRAM sobre chips de cómputo como la GPU, formando una arquitectura de integración 3D verdadera, con el objetivo de reducir el consumo de la DRAM en un 70% y obtener un ancho de banda 2.3 veces mayor que el HBM4E.
Samsung estableció una hoja de ruta de tres fases para transformar el chip base de un canal de transmisión de datos pasivo a un compañero de cómputo activo. La primera fase mueve el controlador de memoria de la xPU al chip base para recuperar área de silicio; la segunda agrega capacidades de expansión de memoria y cálculo de atención al chip base; la tercera culmina con la realización de zHBM.
A continuación, veamos la propuesta de Samsung.
En la presentación, proporcionaron algunos gráficos que muestran las tendencias de desarrollo en especificaciones para HBM5. Aunque nada está decidido, es interesante mirar el gráfico en la esquina superior derecha.
Un HBM5 SSD con 60 GB de capacidad y 6 TB/s de ancho de banda sería excelente. Hagamos los cálculos. Un ancho de banda de 6 TB/s con 2048 canales implica una tasa de transferencia por pin de 23.5 Gbps. Nuestro estado del arte actual es de 16 Gbps, esto es un gran salto, y probablemente se logre utilizando nodos lógicos avanzados. Si cada chip tiene una capacidad de 3 GB para un total de 60 GB, entonces la altura de apilamiento será de 20 capas.
En otra diapositiva, Samsung confirma una tasa de transferencia por pin de 16 Gbps para HBM4E. Nuestro cálculo previo para HBM5 también se verifica en la siguiente figura.
La ventaja evidente de Samsung es que posee su propio desarrollo de chips lógicos, mientras que Micron y SK Hynix necesitan colaborar con otros para obtenerlo. Samsung enfatiza esta fortaleza aquí y explica la importancia del chip personalizado. Samsung fabrica memoria en proceso 1C y chips lógicos en proceso de 4 nm, logrando así una reducción significativa en el consumo del chip. La siguiente figura critica sutilmente a Micron, que utiliza procesos DRAM para fabricar chips lógicos en HBM4.
Aún mejor, como se mencionó antes, Samsung divide claramente su hoja de ruta de productos en tres fases. Las revisaremos una por una.
Fase 1: Logros fáciles de alcanzar
Cuando el sustrato incluye nodos lógicos, el área física del módulo PHY de HBM se reduce y su eficiencia energética mejora. Esto significa que el módulo interchip que conecta HBM y la xPU será más pequeño. Esto tiene dos ventajas:
Aumentar el área dentro de la xPU para más computación;
Aumentar el área disponible en el sustrato de HBM para funcionalidades más avanzadas.
La desventaja de la miniaturización es la mayor densidad térmica en estas áreas. Curiosamente, proporcionan las dimensiones reales del módulo PHY en diferentes generaciones de HBM.
Samsung también menciona que no prefieren usar UCIe en los enlaces D2D porque UCIe ocupa más espacio y consume más energía por bit. Afirman que su implementación PHY personalizada es superior. Al transicionar a HBM5, muestran el concepto del Bloque de Ruta Térmica (HPB) integrado para enfriar el área D2D PHY.
Otra ventaja principal es la descarga del controlador de memoria, que puede trasladarse de la xPU al chip base personalizado. Esto libera espacio en el chip xPU que puede usarse para impulsar más unidades de procesamiento de punto flotante.
La nueva ventaja de integrar nodos lógicos en el sustrato es la capacidad de implementar SRAM. Si una celda en el apilamiento DRAM está dañada, la información de esa celda puede almacenarse temporalmente en SRAM, y el controlador de memoria buscará esa información en la SRAM en lugar de en la celda DRAM dañada. Puedes pensar en la SRAM como un cuaderno de respaldo, un bloc de notas temporal para guardar datos que no pueden almacenarse en las celdas DRAM dañadas.
Fase 2: RAS, Pruebas, Expansión, Procesamiento
Usar un nodo lógico como sustrato significa que, si las dimensiones de los transistores son pequeñas, el área de silicio utilizada para muchas de estas funciones también será más pequeña. El área ahorrada puede usarse para múltiples propósitos, como mejorar la Capacidad de Reparación, Disponibilidad y Mantenimiento (RAS), realizar pruebas y recopilar telemetría sobre el estado/salud del apilamiento de memoria HBM. Dado que la telemetría HBM es el segundo factor más importante en fallas de entrenamiento, sería muy útil.
Si todavía queda área de silicio, se puede construir más. Un controlador de expansión de memoria se utiliza para conectar otro apilamiento HBM detrás del primero, o para conectar chips DRAM para expandir la memoria.
Finalmente, si hay transistores lógicos disponibles, ¿por qué no integrar también alguna capacidad de cómputo en el sustrato? La ventaja es que cálculos como la compresión de matrices o la codificación pueden realizarse en el chip lógico sin salir del sustrato. Esto ofrece ventajas tanto en latencia como en eficiencia.
Si todo va bien, teóricamente se podría construir ese ingenioso acelerador en la esquina inferior derecha. Dibujar tales diagramas de bloques es fácil y conceptualmente interesante, pero es cuestionable si su mejora real de rendimiento será significativa.
Fase 3: Verticalización
La fase final es utilizar el chip sustrato personalizado y HBM, y apilarlo sobre el chip lógico. La distancia entre el chip de cómputo y el de memoria es corta, por lo que los bits de datos solo deben viajar distancias más cortas, lo que mejora la eficiencia energética y aumenta el ancho de banda de memoria al poder usar más rutas de datos paralelas dentro del área del chip, no solo en su perímetro.
Todo esto no es fácil, pero para una empresa es crucial tener una hoja de ruta para las mejoras tecnológicas. Esto muestra que tienen confianza en lanzar productos mejores en el futuro, lo cual es bueno para la empresa. Que el mercado esté listo para aceptar este producto es otra cuestión.
SK Hynix avanza en la tecnología de unión híbrida para HBM5
Jaesik Lee, Vicepresidente de Ingeniería de Empaquetado de SK Hynix America, al hablar en Hot Chips 2026 el 23 de agosto, indicó que SK Hynix anticipa que la tecnología de unión híbrida no estará lista para HBM4E, posponiendo la tan esperada transición en el empaquetado de memoria hasta HBM5, como muy pronto.
Como describió, el problema es que el grosor total de un cubo HBM está limitado a 775 micrómetros — el grosor estándar de una oblea lógica de 300 mm — por lo tanto, cada capa adicional de DRAM requiere chips más delgados y espacios más estrechos. El HBM4 de alta densidad de 16 capas, actualmente en verificación con clientes (el HBM4 de 12 capas ya está en producción), reduce el grosor de sus chips centrales a aproximadamente 50 micrómetros y reduce a la mitad el espacio entre chips. La presentación de Lee también detalló la arquitectura de enfriamiento iHBM de la empresa, presentada tres meses después de su lanzamiento en mayo. Lee explicó que existe una limitación: los módulos de disipación térmica no pueden aplicarse a ningún producto HBM ya diseñado.
El estándar JEDEC HBM4 elevó el límite de grosor del paquete desde los 720 micrómetros heredados de HBM3E hasta 775 micrómetros, aliviando la presión para adoptar la unión híbrida. Lee señaló que, cuando el paquete GPU se instala con una placa fría, tanto el chip lógico como los apilamientos de memoria se afilan, exponiendo el silicio desnudo. Dado que el grosor de la oblea lógica es de 775 µm, si la altura del chip de memoria aumentara más, superaría la altura del procesador adyacente. "Este es el límite máximo que podemos alcanzar actualmente, ya que el grosor de la oblea lógica también es de 775 micrómetros", dijo Lee.
Chips más delgados significan una mayor proporción de óxido en el apilamiento, y el óxido es mucho menos conductor térmico que el silicio. Además, la velocidad de los pines aumentó desde 1 Gbps en los primeros HBM hasta 8 Gbps en HBM4, requiriendo más potencia en la misma área. Los propios datos de SK Hynix muestran que la carga térmica promedio es 2.2 veces mayor en las generaciones de HBM mostradas, mientras que la altura del apilamiento se duplica cada dos generaciones.
Su proceso de Moldeo de Relleno Inferior por Reflujo Masivo (MR-MUF), que apila todos los chips mediante pick-and-place y los conecta en un solo reflujo, ya ha sacrificado margen: según Lee, llenar los espacios reducidos a la mitad mientras se controla la deformación en chips de menos de 50 micrómetros es el principal desafío de fabricación para el 16-Hi.
En mayo pasado, Samsung prometió públicamente usar unión híbrida para HBM4, mientras que SK Hynix mantuvo la unión cobre-cobre como una opción de respaldo para MR-MUF avanzado. Posteriormente, JEDEC relajó el límite de grosor, haciendo que la unión híbrida fuera menos urgente. Actualmente, la industria discute aumentar aún más el grosor para apilamientos de 20 capas hasta 825–900 micrómetros, lo que nuevamente retrasaría la adopción de la unión de cobre.
Ya en marzo, fuentes de la industria afirmaron que SK Hynix realizó el primer pedido de producción a gran escala para unión híbrida, un sistema de una sola línea valorado en alrededor de 200 mil millones de wones (1500 millones de dólares), que combina herramientas de Applied Materials y Besi. Counterpoint Research espera que la tecnología entre en producción completa de HBM alrededor de 2029–2030 con la llegada de HBM5.
Según la hoja de ruta de SK Hynix, la unión híbrida permanece en etapa de I+D para apilamientos de 20 capas y más, y SK Hynix aún está decidiendo qué producto la adoptará primero. Lee no especificó la generación, pero excluyendo HBM4E, HBM5 parece ser el candidato más temprano. La tecnología conecta superficies planas de cobre y óxido a temperatura ambiente, luego utiliza la expansión térmica del cobre durante la solidificación para formar la unión.
"Es un proceso que parece simple pero es muy desafiante", dijo Lee. "Necesitamos 16 o incluso 20 capas para hacer unión híbrida, lo cual es muy diferente de un apilamiento de una sola capa". Eliminar completamente los microbumps permite que los chips centrales sean un 24% más gruesos a una altura de 20 capas, reduciendo la resistencia térmica en aproximadamente un 35% en comparación con MR-MUF de la misma altura, y el paso de los bumps (según diagramas de capas) podría estar por debajo de 18 micrómetros, mientras que MR-MUF actualmente opera a 30 µm. En el paso de bumps de HBM4, los microbumps tradicionales aún funcionan, y cada vez que JEDEC aumenta el límite de grosor, MR-MUF puede mantenerse viable y continuar en la siguiente generación.
El concepto iHBM integra bloques conductores térmicos y aislantes en las áreas PHY interchip del chip base (el punto caliente de interfaz con máxima densidad de potencia), afirmando reducir la resistencia térmica en más de un 30%.
La diapositiva de Lee compara directamente iHBM con la solución del Bloque de Ruta Térmica (HPB) de Samsung. HPB de Samsung extrae calor del apilamiento a través de columnas térmicas dedicadas, mientras que el rediseño del circuito del sustrato de chip de Micron afirma una mejora en eficiencia energética superior al 20%. Las tres son afirmaciones de los fabricantes con métricas diferentes. Los diseños de SK Hynix y Samsung están planificados para HBM5, pero no se espera que entren en producción antes de 2028. Lee señaló que, dado que estos módulos están dentro del paquete junto con el chip PHY D2D, deben optimizarse según el diseño del cliente y no pueden aplicarse a generaciones de chips ya diseñadas, haciendo de iHBM un esfuerzo de codiseño. "Es una buena opción que podemos hacer, pero no podemos aplicarla a generaciones de chips que ya hemos diseñado."
Durante la sesión de preguntas y respuestas, Tanj Bennett de SemiAnalysis señaló que apilar memoria más alta reduce el rendimiento intrínseco del silicio. La DRAM opera a nivel de celda a aproximadamente 20 TB/s por cm²; mientras que un apilamiento de 20 capas alcanza un máximo de alrededor de 4 TB/s, y HBM requiere mucha más capacidad de fabricación que DDR5 o LPDDR de especificaciones equivalentes. "Cuando se alcanzan 20 capas, esta memoria en promedio es más lenta que DDR5", dijo Bennett. "¿Por qué apilar altura con HBM en lugar de colocar de manera inteligente memoria más económica a su alrededor?"
Lee respondió que las cargas de trabajo de entrenamiento requieren tanto ancho de banda como capacidad, y luego agregó que la inferencia puede equilibrar ambos, manteniendo la caché clave-valor en memoria de alto ancho de banda mientras descarga parte del trabajo a memoria LPDDR. Esta técnica de separación ya se usa en productos como la plataforma Vera Rubin de Nvidia, que agrupa LPDDR5X y HBM4 a través de NVLink-C2C precisamente para este propósito. Además, la especificación de memoria flash de alto ancho de banda desarrollada conjuntamente por SK Hynix y SanDisk extiende este concepto de jerarquía a NAND flash.
"Esto también es algo que debemos considerar en el futuro", dijo Lee sobre los esquemas de niveles. Según informes de enero, SK Hynix obtuvo aproximadamente el 70% de los pedidos de chips HBM para la generación Vera Rubin de Nvidia, todos utilizando MR-MUF. Lee mencionó que aún no se ha decidido qué producto adoptará MR-MUF primero.
Micron considera que el "Muro de Memoria" se está agravando
En su presentación, Micron Technology discutirá la evolución de las arquitecturas de memoria en IA. Se entiende que Micron detallará cómo la memoria de alto ancho de banda y el empaquetado avanzado se han convertido en elementos centrales del diseño de sistemas de IA.
La presentación de Micron comienza con la teoría de la frontera de eficiencia computacional de OpenAI, explicando por qué la memoria es crucial para escalar modelos de lenguaje. Micron señala la relación de ley de potencia entre el tamaño del modelo, el tamaño del conjunto de datos y la computación de entrenamiento, argumentando que los tres deben escalar en conjunto para mejorar el rendimiento del modelo de lenguaje. La memoria es el recurso clave que vincula estos tres factores.
Ahora, hablemos del cuello de botella de memoria. Micron señala que los TFLOPS de los aceleradores de IA crecen aproximadamente 3 veces cada dos años, mientras que el ancho de banda de la memoria adjunta 2.5D (por ejemplo, HBM) crece menos de 2 veces en el mismo período. Esta creciente brecha es la razón por la cual la tecnología de memoria se ha convertido en el factor limitante clave para el rendimiento de los sistemas de IA.
Micron posiciona a HBM como el puente entre cómputo y memoria, y rastrea la creciente capacidad, ancho de banda y eficiencia energética a través de las generaciones, desde HBM2e hasta HBM5. Hay que apreciar una conferencia técnica sin etiquetas en el eje Y.
Aquí, Micron muestra una GPU típica con un área de paquete superior a 12000 mm², que incluye un sustrato y ocho instancias de HBM4. Esto significa que, al usar HBM4 de 12 capas, el área de silicio de memoria puede superar 8 veces el área del chip GPU en sí. Es una demostración muy visual.
HBM eleva el límite de ancho de banda de memoria, cambiando el límite de restricción de memoria, permitiendo que las cargas de trabajo de IA intensivas en memoria se ejecuten más rápido antes de alcanzar el límite de memoria.
La presentación de Micron ahora detalla qué es HBM y el progreso a través de cada generación. La tabla de productos muestra la evolución desde HBM1 hasta HBM4. Cada generación aumenta la tasa de datos, el número de pseudocanales y la altura de apilamiento, ofreciendo mayor ancho de banda y capacidad.
HBM se monta de manera diferente a un RDIMM JEDEC estándar. La siguiente figura muestra cómo un apilamiento HBM se integra con una GPU o acelerador en un sistema de integración heterogénea, y se empaqueta como un Sistema en Paquete (SiP), no como un módulo independiente en una ranura. Supongo que muchos en STH han visto este diseño antes.
Cada chip DRAM contiene múltiples canales independientes, cada uno con dos pseudocanales; HBM3E lleva 128 bancos por chip, mientras que HBM4 lo duplica a 256. El chip base se sitúa entre el host y el apilamiento DRAM, usando un PHY de microbumps en el lado del host y un PHY 3D TSV en el lado del apilamiento, conectado a través de un interposer de alta densidad punto a punto, aumentando desde 1K IO en HBM3E hasta 2K IO en HBM4.
Lo que Micron muestra ahora es la compensación entre rendimiento y capacidad. Pero aquí realmente no muestran las diferencias en área de PCB y consumo de energía. ¿Quizás esto se muestre en diapositivas posteriores?
Micron ahora señala el costo en silicio de esta velocidad. Los costos combinados de la arquitectura del diseño, la complejidad del empaquetado avanzado y los procesos de fabricación significan que lograr la misma capacidad de HBM3E que DDR5 requiere aproximadamente tres veces más silicio que DDR5.
Micron luego resume en su presentación los parámetros de memoria que apoyan la innovación en IA, incluyendo rendimiento, capacidad y consumo de energía.
Enlaces I/O más rápidos e interposers más grandes continúan impulsando avances en SiP, incluyendo diseños I/O más rápidos, SERDES optimizados para memoria y PHY interchip, y óptica copaquetada en el lado de la interconexión. SiP de mayor tamaño basados en tecnologías como CoWoS-L y CoWoS-R, así como sustratos de vidrio, también forman parte de la ruta de evolución del empaquetado.
Ahora hablemos de confiabilidad, incluyendo la interacción chip-paquete y los desafíos de RAS. En dispositivos HBM de integración heterogénea, el desajuste en los coeficientes de expansión térmica entre diferentes materiales genera estrés termomecánico. De hecho, en una visión más amplia, este fue uno de los mayores desafíos en la realización del WSE de Cerebras. La cobertura ECC se divide en dos niveles: primero HBM3, a nivel de sistema usando 16 meta-bits por acceso de 256 bits; segundo, Reed-Solomon basado en símbolos implementado en el chip.
Para manejar el calor, el aumento de actividad de los chips DRAM, mayores alturas de apilamiento y funcionalidades más avanzadas del chip base aumentan la generación de calor. Micron señala que la refrigeración líquida, la unión híbrida y las mejoras en soldadura y moldeo lateral son innovaciones térmicas necesarias para mantener la expansión de ancho de banda y capacidad.
Las tendencias de empaquetado parecen estar llegando a su límite.
En conjunto, estos datos ilustran cómo Micron Technology está abordando la evolución de las arquitecturas de memoria en IA. Micron está sopesando mejorar el ancho de banda y la capacidad de HBM frente a los costos de empaquetado, térmicos y de confiabilidad de colocar tanta memoria junto a la unidad de cómputo.
¿Qué piensan sobre la dirección que tomará HBM?
Este artículo proviene del WeChat público "Semiconductor Industry Observer" (ID: icbank), autor: Equipo editorial.
