Perusahaan AMD telah setuju untuk mengakuisisi startup Taalas dari Toronto, yang memecahkan masalah utama inferensi jaringan saraf — kebutuhan untuk terus-menerus memindahkan bobot model dari memori ke prosesor untuk menghasilkan setiap token. Chip Taalas tidak memerlukan operasi ini: bobot model benar-benar disolder ke dalam transistor. Pemindahan data inilah yang membatasi kecepatan inferensi modern dan mengubah memori dengan bandwidth tinggi (HBM) menjadi komoditas paling langka dalam industri semikonduktor.
Kesepakatan ini akan dipandang sebagai babak lain persaingan AMD dan Nvidia di bidang inferensi, tetapi di garis depan ini sedikit mengubah keadaan. Yang jauh lebih menarik adalah apa yang dikatakan pembelian ini tentang kondisi pasar memori — kesepakatan paling panas di semikonduktor saat ini.
Apa yang Diciptakan Taalas
Taalas didirikan pada tahun 2023 oleh Ljubisa Bajic, yang sebelumnya mendirikan perusahaan chip Tenstorrent, dan istrinya Lejla Bajic, veteran divisi teknik ATI dan AMD, yang menjabat sebagai Chief Operating Officer. Perusahaan telah mengumpulkan $219 juta dari Fidelity, Quiet Capital, dan investor semikonduktor Pierre Lamond — uang itu digunakan untuk mengembangkan apa yang disebut sirkuit terpadu khusus model.
Chip uji pertama, diproduksi menggunakan proses teknologi 6-nanometer TSMC, melayani model Llama 3.1 8B dari Meta dengan kecepatan 16.960 token per detik. Menurut pernyataan perusahaan, ini 48 kali lebih cepat dari kartu grafis Nvidia dan 8,5 kali lebih cepat dari akselerator Cerebras pada saat perbandingan. Chip generasi kedua, dirancang untuk model dengan 20 miliar parameter, diharapkan dirilis tahun ini.
Arsitekturnya dibagi menjadi dua zona: area di mana bobot model diprogram dalam memori ROM bertopeng, dan SRAM biasa untuk cache dan adapter fine-tuning yang masih dapat diubah. "Pemrograman keras seperti ini sebagian memberikan kecepatan kepada kami," kata Bajic kepada The Next Platform pada bulan Februari.
AMD berencana untuk menyematkan chip Taalas ke dalam rak Helios dengan skema terpisah: akselerator Instinct akan menangani prompt, sedangkan silikon Taalas akan menghasilkan token, semuanya di bawah kendali tumpukan perangkat lunak ROCm. Perusahaan menekankan bahwa ini adalah akuisisi, bukan perekrutan tim — penutupan kesepakatan diharapkan pada kuartal keempat. Wakil Presiden Senior AMD untuk AI, Vamsi Boppana, menggambarkan pembelian ini sebagai perluasan platform.
Kompromi yang Dilakukan Taalas
Menyolder bobot ke dalam silikon memiliki biaya yang jelas: setiap chip melayani tepat satu model — selamanya. Mengganti model memerlukan penghitungan ulang topologi sebagian, dan bahkan dengan siklus yang diperpendek oleh Taalas, di mana hanya dua lapisan logam pada wafer yang hampir jadi yang diubah, proses ini memakan waktu sekitar dua bulan di fasilitas TSMC. Model teratas diperbarui lebih cepat. Taruhan ini terbayar hanya di mana model stabil, digunakan secara luas, dan cukup berharga untuk dibekukan.
Kompromi yang sama menjelaskan mengapa kesepakatan ini tidak mengubah kekuatan di pasar inferensi. Nvidia membayar $20 miliar untuk Groq pada bulan Desember — akuisisi terbesar dalam sejarahnya — untuk menyematkan perangkat keras khusus untuk menghasilkan token ke dalam platform yang telah menjadi inti seluruh industri. Pertarungan untuk inferensi terjadi pada tingkat ekosistem dan perangkat lunak yang terpasang, dan chip yang terikat pada satu model tidak berpartisipasi dalam keduanya. Apa yang benar-benar dibuktikan oleh pendekatan Taalas adalah tesis yang lebih sempit tetapi lebih menarik: batasan memori yang membebani inferensi adalah solusi rekayasa, bukan fakta fisik, dan dapat diatasi.
Pertanyaan Memori
Pasar saat ini memasukkan asumsi bahwa kelangkaan memori ini permanen. Harga DRAM biasa naik hampir 90% pada kuartal pertama. Memori dengan bandwidth tinggi (HBM) praktis terjual habis hingga seluruh tahun 2026, dan ukuran pasar HBM tahun ini diperkirakan mencapai $54,6 miliar. SK hynix, yang mengontrol lebih dari setengah pasokan HBM, telah melampaui kapitalisasi pasar $1 triliun dan mengumumkan pembangunan pabrik baru senilai $38,1 miliar. Bagi investor biasa, seluruh taruhan pada memori bergantung pada satu asumsi: permintaan AI akan menjaga memori tetap langka selama bertahun-tahun lagi.
Asumsi ini sudah diserang dari beberapa sisi sekaligus. Taalas sepenuhnya menghilangkan memori untuk bobot dari proses melayani model, sementara insinyur Nvidia mengompres dan mengkuantisasi model tepat untuk mengurangi volume memori yang digunakan oleh model yang diterapkan.
Produsen memori sendiri bekerja ke arah yang sama. Teknologi zHBM dari Samsung, yang diperlihatkan pada konferensi FMS minggu lalu, menumpuk memori langsung pada akselerator, mengalikan bandwidth efektif. SK hynix dan Sandisk baru saja menerbitkan standar pertama memori flash berkecepatan tinggi, yang bertujuan menggantikan NAND murah untuk pekerjaan yang saat ini dilakukan oleh HBM. Hampir setiap pemain besar di industri ini mendanai caranya sendiri untuk mengurangi kebutuhan akan sumber daya yang dianggap langka selamanya oleh pasar.
AMD membeli bukti bahwa inferensi dapat bekerja tanpa mengakses komponen yang kelangkaannya menentukan seluruh siklus permintaan AI saat ini — dan akan menjual bukti ini di dalam rak yang masih berisi GPU dan HBM. Investor yang menganggap harga memori saat ini sebagai fitur permanen dari seluruh siklus pembangunan infrastruktur AI, bertaruh melawan gerakan rekayasa besar-besaran dan berkembang yang bertujuan pada hasil sebaliknya.
Memori selalu merupakan bisnis siklis. Mereka yang membayar harga hari ini baru saja mendanai satu alasan lagi mengapa ini akan tetap demikian.
Pendapat AI
Dari sudut pandang analisis data mesin, preseden kunci untuk chip Taalas dapat ditemukan bukan di dunia AI, tetapi di industri kripto. Sirkuit terpadu khusus untuk penambangan Bitcoin memecahkan masalah serupa — menyolder algoritma ke dalam silikon untuk kecepatan — dan mendapatkan efek samping yang sama: ketidakfleksibelan total. Hash Telegraph telah menggambarkan bagaimana spesialisasi perangkat keras, yang didorong hingga batasnya, menimbulkan risiko keusangan moral ketika algoritma dasar berubah atau paradigma komputasi baru muncul.
Aspek teknis yang tidak dijelaskan secara rinci oleh artikel berkaitan dengan ekonomi downtime: sementara chip Taalas melayani satu model, laboratorium pesaing merilis versi baru setiap beberapa bulan, dan siklus pemrograman ulang topologi memakan waktu sekitar dua bulan di fasilitas TSMC. Sejarah ASIC menunjukkan bahwa spesialisasi terbayar hanya pada algoritma yang stabil — pertanyaannya adalah apakah arsitektur model bahasa besar akan cukup stabil untuk taruhan ini.
end-content
