Perusahaan AMD telah setuju untuk mengakuisisi startup Taalas dari Toronto, yang memecahkan masalah utama inferensi jaringan neural—kebutuhan untuk terus-menerus memindahkan bobot model dari memori ke prosesor untuk menghasilkan setiap token. Chip Taalas beroperasi tanpa operasi ini: bobot model secara harfiah "tertanam" ke dalam transistor. Proses pemindahan data inilah yang membatasi kecepatan inferensi modern dan telah mengubah memori berbandwidth tinggi (HBM) menjadi komoditas paling langka di industri semikonduktor.
Kesepakatan ini akan dipandang sebagai babak baru persaingan antara AMD dan Nvidia di bidang inferensi, tetapi di garis depan ini, hal tersebut hampir tidak mengubah apa pun. Yang jauh lebih menarik adalah apa yang diungkapkan oleh pembelian ini tentang kondisi pasar memori—kesepakatan yang paling overheated dalam semikonduktor saat ini.
Apa yang Diciptakan Taalas
Taalas didirikan pada tahun 2023 oleh Ljubisa Bajic, yang sebelumnya mendirikan perusahaan chip Tenstorrent, dan istrinya, Lejla Bajic, seorang veteran divisi teknik ATI dan AMD, yang menjabat sebagai Chief Operating Officer. Perusahaan telah mengumpulkan $219 juta dari Fidelity, Quiet Capital, dan investor semikonduktor Pierre Lamond—uang tersebut digunakan untuk mengembangkan sirkuit terintegrasi khusus untuk model tertentu.
Chip uji pertama, diproduksi menggunakan proses teknologi 6-nanometer TSMC, melayani model Llama 3.1 8B dari Meta dengan kecepatan 16.960 token per detik. Menurut klaim perusahaan, ini 48 kali lebih cepat dari kartu grafis Nvidia dan 8,5 kali lebih cepat dari akselerator Cerebras pada saat perbandingan. Chip generasi kedua, yang dirancang untuk model dengan 20 miliar parameter, diharapkan keluar tahun ini.
Arsitekturnya terbagi menjadi dua zona: area di mana bobot model tertanam dalam bentuk ROM memori topeng (mask ROM), dan SRAM biasa untuk cache dan adapter penyesuaian halus (fine-tuning) yang masih dapat berubah. "Justru firmware yang kaku ini sebagian yang memberikan kami kecepatan," kata Bajic kepada publikasi The Next Platform pada bulan Februari.
AMD berencana mengintegrasikan chip Taalas ke dalam rak Helios dengan skema terbagi: akselerator Instinct akan memproses prompt, sedangkan silikon Taalas akan menghasilkan token, semuanya di bawah kendali tumpukan perangkat lunak ROCm. Perusahaan menekankan bahwa ini adalah akuisisi, bukan perekrutan tim—penutupan kesepakatan diharapkan pada kuartal keempat. Wakil Presiden Senior AMD untuk AI, Vamsi Boppana, menggambarkan pembelian ini sebagai perluasan platform.
Kompromi yang Dijalani Taalas
Menanamkan bobot ke dalam silikon memiliki harga yang jelas: setiap chip melayani tepat satu model—selamanya. Mengganti model memerlukan perhitungan ulang topologi sebagian, dan bahkan dengan siklus yang dipersingkat oleh Taalas (hanya dua lapisan logam pada wafer yang hampir jadi yang diubah), proses ini memakan waktu sekitar dua bulan di fasilitas TSMC. Model-model teratas diperbarui lebih cepat. Taruhan ini hanya terbayar di mana modelnya stabil, digunakan secara luas, dan cukup berharga untuk dibekukan.
Kompromi yang sama menjelaskan mengapa kesepakatan ini tidak mengubah kekuatan di pasar inferensi. Nvidia membayar $20 miliar untuk Groq pada bulan Desember—akuisisi terbesar dalam sejarahnya—untuk mengintegrasikan perangkat keras khusus untuk menghasilkan token ke dalam platform yang telah menjadi pusat seluruh industri. Pertarungan untuk inferensi terjadi pada tingkat ekosistem dan perangkat lunak yang sudah mapan, dan chip yang terikat pada satu model tidak terlibat dalam keduanya. Apa yang benar-benar dibuktikan oleh pendekatan Taalas adalah tesis yang lebih sempit tetapi lebih menarik: keterbatasan memori yang menghambat inferensi adalah solusi teknik, bukan fakta fisik, dan dapat diatasi.
Masalah Memori
Pasar saat ini memasukkan asumsi bahwa kekurangan memori ini permanen. Harga DRAM biasa naik hampir 90% pada kuartal pertama. Memori dengan bandwidth tinggi (HBM) praktis terjual habis sepanjang tahun 2026, dan ukuran pasar HBM tahun ini diperkirakan mencapai $54,6 miliar. SK hynix, yang mengendalikan lebih dari setengah pasokan HBM, telah melampaui kapitalisasi pasar $1 triliun dan mengumumkan pembangunan pabrik baru senilai $38,1 miliar. Bagi investor biasa, seluruh taruhan pada memori bertumpu pada satu asumsi: permintaan AI akan menjaga memori tetap langka selama bertahun-tahun lagi.
Asumsi ini sudah diserang dari beberapa sisi. Taalas sepenuhnya menghilangkan kebutuhan memori untuk bobot dari proses pelayanan model, sementara insinyur Nvidia mengompresi dan mengkuantisasi model tepat untuk mengurangi volume memori yang digunakan oleh model yang diterapkan.
Produsen memori sendiri bekerja ke arah yang sama. Teknologi zHBM dari Samsung, yang diperlihatkan di konferensi FMS minggu lalu, menumpuk memori langsung di atas akselerator, melipatgandakan bandwidth efektif. SK hynix dan Sandisk baru saja menerbitkan standar pertama untuk memori flash berkecepatan tinggi, yang ditujukan untuk menggantikan NAND murah dalam pekerjaan yang saat ini dilakukan HBM. Hampir setiap pemain besar di industri ini mendanai cara mereka sendiri untuk mengurangi kebutuhan akan sumber daya yang dianggap langka selamanya oleh pasar.
AMD membeli bukti bahwa inferensi dapat bekerja tanpa mengakses komponen yang kelangkaannya mendefinisikan seluruh siklus permintaan AI saat ini—dan akan menjual bukti ini di dalam rak yang masih ditempati oleh GPU dan HBM. Investor yang menganggap harga memori saat ini sebagai fitur permanen dari seluruh siklus pembangunan infrastruktur AI, bertaruh melawan gerakan teknik yang besar dan berkembang, yang bertujuan pada hasil yang sebaliknya.
Memori selalu merupakan bisnis yang bersiklus. Mereka yang membayar harga memori saat ini, baru saja membiayai satu alasan lagi mengapa hal itu akan tetap demikian.
Pandangan AI
Dari perspektif analisis data mesin, preseden kunci untuk chip Taalas dapat ditemukan bukan di dunia AI, tetapi di industri kripto. Sirkuit terintegrasi khusus untuk penambangan bitcoin (ASIC) memecahkan masalah serupa—menanamkan algoritma ke dalam silikon untuk kecepatan—dan mendapatkan efek samping yang sama: ketidakfleksibelan total. Hash Telegraph telah menggambarkan bagaimana spesialisasi perangkat keras, yang didorong hingga batasnya, menimbulkan risiko keusangan moral ketika algoritma dasar berubah atau paradigma komputasi baru muncul.
Aspek teknis yang tidak diungkap secara detail oleh artikel ini berkaitan dengan ekonomi waktu menganggur (downtime): sementara chip Taalas melayani satu model, laboratorium pesaing merilis versi baru setiap beberapa bulan, dan siklus pembaruan topologi memakan waktu sekitar dua bulan di fasilitas TSMC. Sejarah ASIC menunjukkan bahwa spesialisasi hanya menguntungkan pada algoritma yang stabil—pertanyaannya adalah apakah arsitektur model bahasa besar akan cukup stabil untuk taruhan ini.
