La ansiedad de memoria de los grandes modelos, la solución podría estar en la unidad USB
Según un artículo publicado por IEEE, surge una nueva estrategia inesperada para aliviar la ansiedad por la memoria en los modelos de lenguaje grandes (LLM): utilizar la tecnología **NAND Flash**, la misma que se emplea en las memorias USB.
Tradicionalmente, la memoria Flash se ha considerado lenta, especialmente para tareas de IA. Sin embargo, empresas como SanDisk y SK Hynix están promoviendo el **High Bandwidth Flash (HBF)**. Esta tecnología aplica métodos avanzados de empaquetado y apilamiento 3D (similares a los usados en la memoria HBM) a los chips NAND Flash. El objetivo es permitir que la memoria Flash, originalmente diseñada para almacenamiento, participe en el suministro de datos de alta velocidad durante la **inferencia de IA**.
La clave está en que la Flash es lenta principalmente para **escribir**, pero su velocidad de **lectura** puede ser mucho mayor. Al apilar múltiples chips, el HBF busca alcanzar un gran ancho de banda de lectura (hasta 1.6 TB/s en su primera generación, con objetivos de 3.2 TB/s) y una alta capacidad (hasta 512 GB por pila).
La propuesta no pretende reemplazar a la costosa y ultrarrápida HBM, sino **complementarla**. En la fase de inferencia, los pesos del modelo están congelados y se accede a ellos principalmente para lectura. El HBF podría actuar como un **"grupo de memoria de solo lectura de gran capacidad"** para almacenar estos pesos masivos y estáticos, liberando así la valiosa HBM para los datos de cálculo más críticos y frecuentes. Esto podría aliviar los cuellos de botella de capacidad y costo, reducir el número de aceleradores necesarios en los servidores y mejorar la eficiencia energética.
Aunque el HBF aún no es un producto maduro (se estima que su despliegue a gran escala llevará años) y su estandarización está en curso dentro del Open Compute Project (OCP), representa una señal importante. Indica que la arquitectura de memoria para la IA está evolucionando hacia un **sistema en capas**, donde cada tipo de dato (ultrarrápido, de lectura intensiva, almacenamiento frío) reside en la tecnología más adecuada en términos de rendimiento, capacidad y coste. La solución a los desafíos de escalabilidad de los LLMs podría venir no solo de memorias más caras, sino de reinventar y reempaquetar tecnologías ya conocidas, como la Flash.
marsbit07/20 00:22
