La société AMD a accepté d'acquérir la start-up torontoise Taalas, qui résout le principal problème de l'inférence des réseaux neuronaux : la nécessité de transférer constamment les poids du modèle depuis la mémoire vers le processeur pour générer chaque jeton. Les puces Taalas se passent de cette opération : les poids du modèle sont littéralement soudés dans les transistors. C'est précisément ce transfert de données qui limite la vitesse de l'inférence moderne et a fait de la mémoire à haut débit (HBM) la denrée la plus rare de l'industrie des semi-conducteurs.
La transaction sera perçue comme un nouveau round de rivalité entre AMD et Nvidia dans le domaine de l'inférence, mais elle ne change guère la donne sur ce front. Ce qui est bien plus intéressant, c'est ce que l'acquisition révèle de l'état du marché de la mémoire – la transaction la plus surchauffée dans les semi-conducteurs actuellement.
Ce qu'a créé Taalas
Taalas a été fondée en 2023 par Ljubisa Bajic, précédemment fondateur de la société de puces Tenstorrent, et son épouse Lejla Bajic, vétéran des divisions d'ingénierie d'ATI et AMD, qui a pris le poste de directrice des opérations. La société a levé 219 millions de dollars auprès de Fidelity, Quiet Capital et de l'investisseur en semi-conducteurs Pierre Lamond – des fonds destinés au développement de circuits intégrés dits dédiés à un modèle spécifique.
La première puce de test, fabriquée avec le procédé 6 nm de TSMC, servait le modèle Llama 3.1 8B de Meta à une vitesse de 16 960 jetons par seconde. Selon l'entreprise, c'est 48 fois plus rapide que les cartes graphiques Nvidia et 8,5 fois plus rapide que les accélérateurs Cerebras au moment de la comparaison. La puce de deuxième génération, conçue pour des modèles à 20 milliards de paramètres, devrait sortir cette année.
L'architecture se divise en deux zones : une zone où les poids du modèle sont figés sous forme de mémoire ROM masquée, et une SRAM standard pour les caches et les adaptateurs de réglage fin, qui peuvent encore être modifiés. "C'est en partie ce firmware rigide qui nous donne notre vitesse", expliquait Bajic au média The Next Platform en février.
AMD prévoit d'intégrer les puces Taalas dans ses baies Helios selon un schéma partitionné : les accélérateurs Instinct traiteront l'invite (prompt), tandis que le silicium Taalas générera les jetons, le tout sous la gestion de la pile logicielle ROCm. L'entreprise a souligné qu'il s'agissait bien d'une absorption, et non d'un recrutement d'équipe – la finalisation de l'accord est attendue au quatrième trimestre. Le vice-président senior d'AMD en charge de l'IA, Vamsi Boppana, a qualifié cet achat d'extension de plateforme.
Le compromis de Taalas
Le soudage des poids dans le silicium a un prix évident : chaque puce sert exactement un modèle – pour toujours. Changer de modèle nécessite un recalcul partiel de la topologie, et même avec le cycle raccourci de Taalas, où seules deux couches métalliques sont modifiées sur une plaquette presque terminée, cela prend environ deux mois sur les capacités de TSMC. Les modèles phares sont mis à jour plus rapidement. Le pari n'est rentable que là où le modèle est stable, largement utilisé et suffisamment précieux pour être figé.
Ce même compromis explique pourquoi la transaction ne modifie pas la donne sur le marché de l'inférence. Nvidia a payé 20 milliards de dollars pour Groq en décembre – la plus grande acquisition de son histoire – afin d'intégrer du matériel spécialisé pour la génération de jetons précisément dans la plateforme autour de laquelle toute l'industrie est déjà structurée. La bataille pour l'inférence se joue au niveau des écosystèmes et des logiciels établis, et une puce liée à un seul modèle ne participe ni à l'un ni à l'autre. Ce que l'approche de Taalas démontre réellement est une thèse plus étroite, mais plus intéressante : la contrainte mémoire qui handicape l'inférence est une solution d'ingénierie, et non une donnée physique immuable, et on peut la contourner.
La question de la mémoire
Le marché intègre actuellement dans les prix l'hypothèse que cette pénurie de mémoire est permanente. Les prix de la DRAM ordinaire ont augmenté de près de 90 % au premier trimestre. La mémoire à haut débit (HBM) est pratiquement vendue pour toute l'année 2026, et le volume du marché HBM cette année devrait atteindre 54,6 milliards de dollars. SK hynix, qui contrôle plus de la moitié des approvisionnements en HBM, a franchi une capitalisation boursière de 1 000 milliards de dollars et a annoncé la construction de nouvelles usines pour 38,1 milliards de dollars. Pour l'investisseur lambda, tout le pari sur la mémoire repose sur une seule hypothèse : la demande en IA maintiendra la mémoire en pénurie pendant encore des années.
Cette hypothèse est déjà attaquée de plusieurs côtés à la fois. Taalas élimine complètement la mémoire pour les poids du processus de service des modèles, et les ingénieurs de Nvidia compressent et quantifient les modèles précisément pour réduire le volume de mémoire impliqué par un modèle déployé.
Les fabricants de mémoire eux-mêmes travaillent dans la même direction. La technologie zHBM de Samsung, présentée à la conférence FMS la semaine dernière, empile la mémoire directement sur l'accélérateur, multipliant le débit effectif. SK hynix et Sandisk viennent de publier le premier standard de mémoire flash haute vitesse, visant à remplacer par du NAND bon marché le travail effectué aujourd'hui par le HBM. Pratiquement chaque acteur majeur du secteur finance sa propre manière de réduire le besoin en cette ressource que le marché considère comme définitivement rare.
AMD a acheté la preuve que l'inférence peut fonctionner sans faire appel au composant dont la pénurie définit tout le cycle actuel de demande en IA – et vendra cette preuve à l'intérieur de baies où des GPU et du HBM sont toujours présents. Les investisseurs qui considèrent les prix actuels de la mémoire comme une caractéristique permanente de tout le cycle de construction de l'infrastructure IA parient contre un mouvement d'ingénierie massif et croissant, visant le résultat inverse.
La mémoire a toujours été un secteur cyclique. Ceux qui paient ses prix actuels viennent de financer une raison supplémentaire pour laquelle cela restera ainsi.
Avis de l'IA
D'un point de vue d'analyse automatique des données, le précédent clé pour les puces Taalas se trouve non pas dans le monde de l'IA, mais dans l'industrie crypto. Les circuits intégrés spécialisés pour le minage de Bitcoin résolvent un problème similaire – souder l'algorithme dans le silicium pour la vitesse – et subissent le même effet secondaire : une inflexibilité totale. Hash Telegraph a déjà décrit comment la spécialisation matérielle, poussée à l'extrême, engendre un risque d'obsolescence morale lors d'un changement d'algorithme de base ou de l'émergence d'un nouveau paradigme informatique.
Les aspects techniques que l'article ne détaille pas concernent l'économie des temps d'arrêt : pendant qu'une puce Taalas sert un modèle, les laboratoires concurrents publient de nouvelles versions tous les quelques mois, et le cycle de reconfiguration de la topologie prend environ deux mois sur les capacités de TSMC. L'histoire des ASIC montre que la spécialisation n'est rentable que sur un algorithme stable – la question est de savoir si l'architecture des grands modèles linguistiques sera suffisamment stable pour ce pari.
