Espera, ¿el Flash no es lento? ¿Cómo están SanDisk y SK Hynix usándolo para alimentar a los grandes modelos???
El último número de IEEE Spectrum publicó una nueva idea bastante contraintuitiva: La ansiedad de memoria de los grandes modelos podría aliviarse con la misma tecnología que se encuentra en las unidades USB.
Exacto, es la memoria flash NAND.
Para muchos, las principales características de la memoria Flash son su bajo costo, gran capacidad y capacidad de retener datos sin energía. Pero en cuanto a velocidad, especialmente para impulsar la inferencia de grandes modelos, no parece una solución muy seria.
Pero ahora, SanDisk y SK Hynix están impulsando algo nuevo: High Bandwidth Flash (memoria flash de alto ancho de banda), o HBF.
Su idea es directa: aplicar los métodos de empaquetado avanzado y apilamiento de chips propios de la HBM (High Bandwidth Memory) a la memoria flash NAND.
En otras palabras, hacer que la memoria flash, originalmente destinada al almacenamiento, también participe en el suministro de datos de alta velocidad para la inferencia de IA.
Según la información pública de SanDisk, se espera que el HBF pueda apilar hasta 16 chips de memoria flash NAND, con un objetivo de capacidad máxima por pila de 512 GB y un ancho de banda de lectura objetivo de hasta 1.6 TB/s.
En las hojas de ruta de segunda y tercera generación, el ancho de banda de lectura aumentará aún más a 2 TB/s y 3.2 TB/s, respectivamente.
Esta cifra, aunque aún no alcanza a la HBM de gama alta, ya no es el estado "lento de almacenamiento" de la memoria flash tradicional.
Detrás de este avance tecnológico, puede estar la apremiante escasez de suministro que la industria mundial del almacenamiento necesita resolver.
Hace unos días (11 de julio, hora de Beijing), el CEO de SK Hynix, Kwak Noh-jung, declaró públicamente en su debut en el Nasdaq que la industria mundial del almacenamiento probablemente enfrentará la peor escasez de suministro de la historia en 2027, lo que rápidamente provocó reacciones en el mercado de capitales y la industria.
En este contexto, el lanzamiento del HBF por parte de SK Hynix y SanDisk podría ser precisamente una respuesta tecnológica para aliviar la tensión en el suministro de almacenamiento.
Echemos un vistazo.
¿No es la memoria flash lenta? ¿Cómo puede usarse para IA?
Surge la pregunta: ¿la memoria flash no es famosa por su escritura lenta? ¿Cómo puede usarse de repente para IA?
Jim Handy, director de la firma de investigación de mercado de semiconductores Objective Analysis, mencionó en una entrevista con IEEE Spectrum que la primera reacción de mucha gente también es esta: ¿cómo tiene sentido? La memoria flash es ridículamente lenta.
Pero la clave está en que la memoria flash es lenta, principalmente en la escritura.
La memoria flash NAND almacena datos mediante cargas en transistores de puerta flotante, organizados en bloques y páginas. Este mecanismo le permite retener datos sin energía, sin necesidad de refrescarse constantemente como la DRAM, por lo que es naturalmente adecuada para el almacenamiento a largo plazo, combinando alta densidad y bajo costo.
Sin embargo, el costo es que, al escribir datos, es necesario empujar o extraer cargas a través de una puerta aislante, un proceso mucho más lento que cargar o descargar un condensador.
Por lo tanto, desde la perspectiva computacional tradicional, es difícil discutir la memoria flash junto con memorias de alta velocidad como DRAM o HBM.
Pero si solo consideramos la lectura, la situación es diferente.
Según el último estándar de interfaz de memoria flash ONFI 6.0, el ancho de banda teórico máximo de un solo dado (die) puede alcanzar los 4.8 GB/s.
Por sí solo, esta cifra no parece exagerada.
Pero un solo módulo DIMM DDR5 puede alcanzar hasta 70.4 GB/s, y una sola pila HBM4E puede llegar a 3.6 TB/s, lo que representa una diferencia de aproximadamente 750 veces en comparación con un solo chip de memoria flash NAND.
Lo que HBF pretende hacer es empaquetar múltiples dados de memoria flash NAND mediante empaquetado 3D y apilamiento vertical, aumentando significativamente el ancho de banda total de lectura.
Hoshik Kim, vicepresidente senior de investigación de sistemas de memoria de SK Hynix, señaló: "Al aplicar avanzadas tecnologías de empaquetado 3D y apilamiento vertical a la memoria flash NAND, el HBF puede lograr un ancho de banda muy superior al del almacenamiento NVMe estándar."
Al igual que la HBM apila chips DRAM, el HBF apila dados de memoria flash NAND para crear chips con alta densidad de almacenamiento.
Su objetivo nunca ha sido hacer que un solo dado de memoria flash sea repentinamente rápido, sino crear canales de lectura a través del apilamiento y el empaquetado.
El HBF no pretende reemplazar a la HBM, ha encontrado su nicho
Lo realmente interesante del HBF no es que quiera reemplazar a la HBM.
Sino que ha identificado un escenario muy adecuado para la memoria flash: la inferencia de IA.
El entrenamiento y la inferencia tienen requisitos de memoria diferentes.
Al entrenar un gran modelo, el sistema debe leer constantemente los pesos, calcular el error y luego actualizar los pesos mediante retropropagación.
Este proceso requiere mucha lectura y mucha escritura, lo que es muy desfavorable para la memoria flash.
Porque la escritura en memoria flash es lenta, y escribir mucho también implica problemas de durabilidad y gestión de borrado.
Pero la fase de inferencia es diferente.
En esta etapa, el modelo ya está entrenado, los pesos están básicamente congelados y, la mayor parte del tiempo, el sistema necesita leer rápidamente estos enormes pesos del modelo, no reescribirlos frecuentemente.
Esto encaja precisamente en el lado relativamente fuerte de la memoria flash.
Kim, vicepresidente senior de investigación de sistemas de memoria de SK Hynix, declaró: "En entornos de inferencia, datos masivos e intensivos en lectura, como pesos de modelos estáticos con miles de millones de parámetros o cachés KV precalculados (precomputed KV cache), pueden almacenarse de manera segura en el nivel HBF."
De esta manera, la HBM, costosa y de capacidad limitada, puede liberarse para actuar específicamente como una memoria intermedia de alta velocidad.
Esta arquitectura se asemeja a añadir una "piscina de memoria de solo lectura de gran capacidad" a la IA.
La HBM continúa manejando el intercambio de datos de cálculo de alta velocidad más urgente y frecuente.
El HBF se encarga de contener esos parámetros de modelo masivos que apenas cambian.
Para la inferencia de grandes modelos actual, esta idea tiene un significado práctico importante.
Porque los desafíos que enfrenta la inferencia de grandes modelos hoy en día ya no se limitan a la escasez de potencia de cálculo. Múltiples presiones como memoria insuficiente, ancho de banda insuficiente, alto consumo de energía y costos de implementación elevados se entrelazan.
Especialmente en el contexto de la continua expansión del tamaño de los modelos, la capacidad insuficiente de memoria por tarjeta y el alto costo de la HBM se están convirtiendo en factores limitantes significativos.
A menudo, no es que la GPU no pueda calcular, sino que el modelo no cabe o los datos no llegan lo suficientemente rápido.
Y si el HBF puede encontrar un equilibrio entre capacidad, ancho de banda y costo, podría permitir que modelos más grandes se ejecuten a un costo menor.
512 GB por pila, los servidores de IA podrían necesitar menos tarjetas
Los parámetros objetivo de la primera generación de HBF dados por SanDisk son un máximo de 512 GB de capacidad y 1.6 TB/s de ancho de banda de lectura.
Esta combinación es clave: la ventaja de la HBM es su velocidad extremadamente rápida, pero es costosa y de capacidad limitada; el HBF, aunque algo más lento, puede ofrecer mayor capacidad y un menor costo unitario.
Esto significa que, en el futuro, los servidores de IA que desplieguen inferencia de grandes modelos podrían no tener que meter todos los pesos en la HBM.
Una parte de los datos más "fríos", más estáticos y con más lectura que escritura podría colocarse en el HBF.
△
Los beneficios potenciales de hacer esto son varios:
Primero, aliviar el cuello de botella de capacidad de la HBM.
Segundo, reducir la necesidad de apilar más tarjetas aceleradoras solo para contener el modelo.
Tercero, disminuir el costo total y el consumo de energía del sistema de inferencia.
El juicio de Kim es: El HBF y la HBM no son competidores, sino herramientas complementarias.
Señaló: "El HBF puede, sin sacrificar la velocidad de suministro de datos, aliviar eficazmente el grave cuello de botella de capacidad que enfrenta la HBM, lo que podría reducir el número de aceleradores necesarios para ejecutar modelos a gran escala."
Sobre esta base, anticipa que esta solución también mejorará la eficiencia energética y reducirá los costos, ayudando así a los centros de datos a expandir aún más su infraestructura de hardware para inferencia de IA.
Esta es también la lógica industrial más notable del HBF: no se trata de convertir la memoria flash en HBM, sino de permitir que diferentes datos dentro del sistema de IA residan en la posición más adecuada para ellos.
Los datos calientes siguen en la HBM; los datos de gran capacidad, estáticos e intensivos en lectura van al HBF; los datos de menor velocidad y más económicos continúan en SSD u otro almacenamiento.
Si esta jerarquía se establece, la arquitectura de memoria del hardware de inferencia de IA podría ganar un nuevo nivel.
La implementación a gran escala aún está lejos, pero el sistema de memoria de los grandes modelos ya muestra señales de una nueva división del trabajo
Por supuesto, el HBF aún no es un producto maduro.
Según IEEE Spectrum, el HBF probablemente necesitará al menos un año más antes de poder enviarse, y la implementación a gran escala podría llevar varios años.
El 25 de febrero de este año, SanDisk y SK Hynix organizaron conjuntamente un evento de lanzamiento, anunciando la promoción del trabajo de estandarización del HBF bajo el Open Compute Project (OCP).
Como una importante organización abierta de la industria en el ámbito del hardware de centros de datos, el OCP ha liderado el desarrollo de numerosas especificaciones relacionadas con servidores, armarios, fuentes de alimentación y aceleradores, como la especificación de servidores DC-MHS y la especificación de aceleradores OAI-OAM.
Sin embargo, actualmente, el estándar HBF aún está en desarrollo y la fecha de lanzamiento formal aún no se ha determinado, lo que significa que el HBF no cambiará inmediatamente el mercado de servidores de IA a corto plazo.
Se parece más a una señal que emerge anticipadamente: la inferencia de IA está presionando para que el almacenamiento y los sistemas de memoria redividan el trabajo.
En el pasado, la atención del hardware para grandes modelos se centraba en las GPU, la HBM y la interconexión.
Pero a medida que los modelos son más grandes y las solicitudes de inferencia aumentan, los cuellos de botella pasan de "calcular rápido" a "si cabe", "si se puede leer lo suficientemente rápido" y "si la factura de la luz lo aguanta".
El HBF se introduce precisamente en este hueco.
La guerra de la memoria para IA podría no pertenecer solo a la HBM
Curiosamente, SK Hynix es uno de los mayores ganadores con la HBM.
La HBM le está generando ingresos récord, y en principio, lanzar una tecnología alternativa más barata no parece muy intuitivo comercialmente.
Pero desde una perspectiva sistémica, el HBF no necesariamente le quitará el mercado a la HBM.
Los servidores de IA del futuro necesitarán no una memoria única, sino una memoria jerárquica.
Dejar que la HBM se encargue del rendimiento máximo, el HBF de la lectura de gran capacidad y alto ancho de banda, y los SSD del almacenamiento masivo de menor costo.
Si esta combinación funciona, haría que los sistemas de inferencia de IA fueran más escalables.
En resumen: No todos los datos del modelo merecen alojarse en la "mansión" de la HBM. Algunos datos solo necesitan una posición con capacidad suficiente, lectura suficientemente rápida y menor costo.
El HBF aspira a ser esa posición.
Desde la memoria flash NAND en unidades USB y tarjetas SD, hasta un grupo de pesos de modelo de alto ancho de banda en servidores de IA, el salto parece grande, pero el problema de los grandes modelos ya está claro: más y más parámetros, inferencia cada vez más costosa, HBM cada vez más escasa.
Y la solución puede que no provenga solo de memoria más cara, sino también de reempaquetar una tecnología antigua y familiar.
Enlaces de referencia:
[1]https://spectrum.ieee.org/high-bandwidth-flash?itm_source=homepage&itm_medium=hero&itm_campaign=hero-2026-07-15&itm_content=hero6
Este artículo proviene del WeChat público "Quantum Bit", autor: Ge Wenting
