AMD acordó adquirir la startup Taalas de Toronto, que resuelve el principal problema de la inferencia de redes neuronales: la necesidad de transferir constantemente los pesos del modelo desde la memoria al procesador para generar cada token. Los chips de Taalas prescinden de esta operación: los pesos del modelo están literalmente "soldados" en los transistores. Es precisamente este bombeo de datos lo que limita la velocidad de la inferencia actual y convirtió a la memoria de alto ancho de banda (HBM) en el producto más escaso de la industria de los semiconductores.
El acuerdo será percibido como otra ronda de rivalidad entre AMD y Nvidia en el campo de la inferencia, pero en ese frente cambia poco. Lo más interesante es lo que la compra revela sobre el estado del mercado de memoria —la transacción más sobrecalentada en semiconductores en este momento.
Qué creó Taalas
Taalas fue fundada en 2023 por Ljubisa Bajic, creador anteriormente de la compañía de chips Tenstorrent, y su esposa Lejla Bajic, veterana de las divisiones de ingeniería de ATI y AMD, quien asumió el cargo de directora de operaciones. La compañía recaudó 219 millones de dólares de Fidelity, Quiet Capital y el inversor en semiconductores Pierre Lamond —fondos destinados al desarrollo de los llamados circuitos integrados específicos para un modelo (Model-Specific Integrated Circuits).
El primer chip de prueba, fabricado con el proceso de 6 nanómetros de TSMC, servía al modelo Llama 3.1 8B de Meta a una velocidad de 16,960 tokens por segundo. Según la compañía, esto es 48 veces más rápido que las tarjetas gráficas Nvidia y 8.5 veces más rápido que los aceleradores Cerebras en el momento de la comparación. El chip de segunda generación, diseñado para modelos con 20 mil millones de parámetros, debería salir este año.
La arquitectura se divide en dos zonas: un área donde los pesos del modelo están fijos en forma de memoria ROM enmascarada, y una SRAM normal para cachés y adaptadores de ajuste fino, que aún pueden cambiar. "Es en parte este endurecimiento de la programación lo que nos da velocidad", explicó Bajic a la publicación The Next Platform en febrero.
AMD planea integrar los chips de Taalas en los bastidores Helios siguiendo un esquema dividido: los aceleradores Instinct procesarán el prompt, y el silicio de Taalas generará los tokens, todo bajo el control del stack de software ROCm. La compañía enfatizó que se trata de una absorción, no de una contratación del equipo —se espera cerrar la transacción en el cuarto trimestre. El vicepresidente sénior de IA de AMD, Vamsi Boppana, calificó la compra como una extensión de la plataforma.
El compromiso al que se enfrenta Taalas
Soldar los pesos en el silicio tiene un coste obvio: cada chip sirve exactamente a un modelo —para siempre. Cambiar de modelo requiere un rediseño parcial de la topología, e incluso con el ciclo reducido de Taalas, donde solo se cambian dos capas metálicas en una oblea casi terminada, esto lleva unos dos meses en las instalaciones de TSMC. Los modelos principales se actualizan más rápido. La apuesta solo se justifica donde el modelo es estable, se usa ampliamente y es lo suficientemente valioso como para congelarlo.
Este mismo compromiso explica por qué el acuerdo no cambia el panorama en el mercado de inferencia. Nvidia pagó 20 mil millones de dólares por Groq en diciembre —la mayor adquisición de su historia— para integrar hardware especializado para la generación de tokens precisamente en la plataforma alrededor de la cual ya se ha construido toda la industria. La lucha por la inferencia se da a nivel de ecosistemas y software instalado, y un chip atado a un solo modelo no participa en ninguno de los dos. Lo que realmente demuestra el enfoque de Taalas es una tesis más estrecha, pero también más interesante: la limitación de memoria que sufre la inferencia es una decisión de ingeniería, no una realidad física, y se puede evitar.
La cuestión de la memoria
El mercado actualmente está fijando en los precios la suposición de que esta escasez de memoria es permanente. Los precios de la DRAM normal subieron casi un 90% en el primer trimestre. La memoria de alto ancho de banda (HBM) está prácticamente agotada para todo el año 2026, y se espera que el volumen del mercado HBM este año alcance los 54,600 millones de dólares. SK hynix, que controla más de la mitad del suministro de HBM, superó una capitalización de mercado de 1 billón de dólares y anunció la construcción de nuevas fábricas por 38,100 millones de dólares. Para el inversor promedio, toda la apuesta por la memoria depende de un supuesto: la demanda de IA mantendrá la memoria escasa durante años más.
Este supuesto ya está siendo atacado desde varios frentes simultáneamente. Taalas elimina por completo la memoria para pesos del proceso de servir modelos, y los ingenieros de Nvidia comprimen y cuantifican modelos precisamente para reducir la cantidad de memoria que afecta a un modelo desplegado.
Los propios fabricantes de memoria trabajan en la misma dirección. La tecnología zHBM de Samsung, mostrada en la conferencia FMS la semana pasada, coloca la memoria directamente sobre el acelerador, multiplicando el ancho de banda efectivo. SK hynix y Sandisk acaban de publicar el primer estándar para memoria flash de alta velocidad, destinada a reemplazar con NAND barato el trabajo que hoy realiza la HBM. Prácticamente todos los grandes actores de la industria están financiando su propia forma de reducir la necesidad del mismo recurso que el mercado considera permanentemente escaso.
AMD compró una prueba de que la inferencia puede funcionar sin acceder al componente cuya escasez define todo el ciclo actual de demanda de IA —y venderá esa prueba dentro de bastidores donde todavía hay GPU y HBM. Los inversores que consideran los precios actuales de la memoria como una característica permanente de todo el ciclo de construcción de infraestructura de IA, están apostando en contra de un movimiento de ingeniería masivo y creciente, cuyo objetivo es el resultado contrario.
La memoria siempre ha sido un negocio cíclico. Quienes pagan sus precios actuales acaban de financiar una razón más por la que seguirá siéndolo.
Opinión de la IA
Desde el punto de vista del análisis de datos automatizado, el precedente clave para los chips Taalas no se encuentra en el mundo de la IA, sino en la industria criptográfica. Los circuitos integrados específicos para la minería de Bitcoin resuelven un problema similar —sueldan el algoritmo en silicio por velocidad— y obtienen el mismo efecto secundario: falta total de flexibilidad. Hash Telegraph ya describió cómo la especialización de hardware, llevada al límite, genera el riesgo de obsolescencia moral ante un cambio en el algoritmo base o la aparición de un nuevo paradigma computacional.
Los aspectos técnicos que el artículo no detalla conciernen a la economía del tiempo de inactividad: mientras un chip Taalas sirve a un modelo, laboratorios competidores lanzan nuevas versiones cada pocos meses, y el ciclo de reprogramación de la topología lleva unos dos meses en las instalaciones de TSMC. La historia de los ASIC muestra que la especialización solo es rentable con un algoritmo estable —la pregunta es si la arquitectura de los modelos de lenguaje grandes será lo suficientemente estable para esta apuesta.
