AMD ha acordado adquirir la startup canadiense Taalas, que resuelve el principal problema de la inferencia en redes neuronales: la necesidad de transferir constantemente los pesos del modelo desde la memoria hacia el procesador para generar cada token. Los chips de Taalas prescinden de esta operación: los pesos del modelo están literalmente soldados en los transistores. Es precisamente este trasvase de datos lo que limita la velocidad de la inferencia actual y ha convertido a la memoria de alto ancho de banda (HBM) en el producto más escaso de la industria de los semiconductores.
La operación se percibirá como otra ronda más en la rivalidad entre AMD y Nvidia en el ámbito de la inferencia, pero en ese frente no cambia mucho. Lo más interesante es que la compra habla sobre el estado del mercado de la memoria: la transacción más sobrecalentada en los semiconductores actualmente.
Qué ha creado Taalas
Taalas fue fundada en 2023 por Ljubisa Bajic, creador anteriormente de la empresa de chips Tenstorrent, y su esposa Lejla Bajic, veterana de las divisiones de ingeniería de ATI y AMD, quien asumió el cargo de Directora de Operaciones. La empresa recaudó 219 millones de dólares de Fidelity, Quiet Capital y el inversor en semiconductores Pierre Lamond, dinero que se destinó al desarrollo de los llamados circuitos integrados específicos para un modelo.
El primer chip de prueba, fabricado con el proceso de 6 nanómetros de TSMC, servía al modelo Llama 3.1 8B de Meta a una velocidad de 16.960 tokens por segundo. Según declaraciones de la compañía, esto es 48 veces más rápido que las tarjetas gráficas de Nvidia y 8.5 veces más rápido que los aceleradores de Cerebras en el momento de la comparación. Se espera que el chip de segunda generación, diseñado para modelos con 20 mil millones de parámetros, salga este año.
La arquitectura se divide en dos zonas: un área donde los pesos del modelo están programados como una memoria ROM por máscara, y una SRAM normal para cachés y adaptadores de ajuste fino, que aún pueden modificarse. "Esta programación rígida es en parte lo que nos da la velocidad", explicó Bajic a la publicación The Next Platform en febrero.
AMD planea integrar los chips de Taalas en sus bastidores Helios con un esquema dividido: los aceleradores Instinct procesarán el prompt, y el silicio de Taalas generará los tokens, todo bajo la gestión de la pila de software ROCm. La empresa enfatizó que se trata de una adquisición, no de la contratación de un equipo, y se espera cerrar la operación en el cuarto trimestre. El vicepresidente sénior de AMD para IA, Vamsi Boppana, calificó la compra como una ampliación de la plataforma.
La concesión que acepta Taalas
Soldar los pesos en el silicio tiene un coste obvio: cada chip sirve exactamente a un modelo, y para siempre. Cambiar de modelo requiere un rediseño parcial de la topología, e incluso con el ciclo reducido de Taalas, donde solo se cambian dos capas metálicas en una oblea casi terminada, esto lleva unos dos meses en las instalaciones de TSMC. Los modelos principales se actualizan más rápido. La apuesta solo es rentable donde el modelo es estable, se usa ampliamente y es lo suficientemente valioso como para congelarlo.
Esta misma concesión explica por qué la operación no cambia el equilibrio de poder en el mercado de la inferencia. Nvidia pagó 20.000 millones de dólares por Groq en diciembre —su mayor adquisición histórica— para integrar hardware especializado para la generación de tokens precisamente en la plataforma alrededor de la cual ya se ha construido toda la industria. La batalla por la inferencia se libra a nivel de ecosistemas y software establecido, y un chip ligado a un solo modelo no participa en ninguno de los dos. Lo que realmente demuestra el enfoque de Taalas es una tesis más estrecha, pero también más interesante: la limitación de memoria que sufre la inferencia es una solución de ingeniería, no una condición física inalterable, y se puede superar.
La cuestión de la memoria
El mercado está asumiendo actualmente en los precios la hipótesis de que esta escasez de memoria es permanente. Los precios de la DRAM convencional subieron casi un 90% en el primer trimestre. La memoria de alto ancho de banda (HBM) está prácticamente agotada para todo 2026, y se espera que el volumen del mercado HBM este año alcance los 54.600 millones de dólares. SK hynix, que controla más de la mitad del suministro de HBM, superó una capitalización de mercado de 1 billón de dólares y anunció la construcción de nuevas fábricas por valor de 38.100 millones de dólares. Para el inversor promedio, toda la apuesta por la memoria se sostiene en una única suposición: la demanda de IA mantendrá la memoria escasa durante años más.
Esta suposición ya está siendo atacada desde varios frentes. Taalas elimina completamente la memoria para pesos del proceso de servicio de los modelos, y los ingenieros de Nvidia comprimen y cuantifican modelos precisamente para reducir el volumen de memoria que afecta a un modelo desplegado.
Los propios fabricantes de memoria trabajan en la misma dirección. La tecnología zHBM de Samsung, mostrada en la conferencia FMS la semana pasada, apila la memoria directamente sobre el acelerador, multiplicando el ancho de banda efectivo. SK hynix y Sandisk acaban de publicar el primer estándar de memoria flash de alta velocidad, destinada a reemplazar con NAND barato el trabajo que hoy realiza la HBM. Prácticamente todos los grandes actores de la industria financian su propia forma de reducir la necesidad de ese mismo recurso que el mercado considera permanentemente escaso.
AMD compró la prueba de que la inferencia puede funcionar sin acceder al componente cuya escasez define todo el ciclo actual de demanda de IA, y venderá esta prueba dentro de bastidores que aún albergan GPU y HBM. Los inversores que consideran los precios actuales de la memoria una característica permanente de todo el ciclo de construcción de infraestructura de IA, están apostando en contra de un movimiento de ingeniería masivo y creciente, destinado al resultado opuesto.
La memoria siempre ha sido un negocio cíclico. Quienes pagan sus precios actuales acaban de financiar una razón más por la que seguirá siéndolo.
Opinión de la IA
Desde el punto de vista del análisis de datos automatizado, el precedente clave para los chips de Taalas se puede encontrar no en el mundo de la IA, sino en la industria cripto. Los circuitos integrados especializados para la minería de Bitcoin resuelven un problema similar (soldar un algoritmo en silicio para ganar velocidad) y obtienen el mismo efecto secundario: una total inflexibilidad. Hash Telegraph ya ha descrito cómo la especialización hardware, llevada al extremo, genera el riesgo de obsolescencia moral ante un cambio en el algoritmo base o la aparición de un nuevo paradigma computacional.
Los aspectos técnicos que el artículo no detalla conciernen a la economía del tiempo de inactividad: mientras un chip de Taalas sirve a un modelo, los laboratorios competidores lanzan nuevas versiones cada pocos meses, y el ciclo de reprogramación de la topología lleva unos dos meses en TSMC. La historia de los ASIC muestra que la especialización solo es rentable con un algoritmo estable; la cuestión es si la arquitectura de los modelos de lenguaje grandes será lo suficientemente estable para esta apuesta.
