Di konferensi Hot Chips, Samsung dan SK Hynix sepakat bahwa GPU, memori, foundry wafer, dan kemasan harus dirancang sebagai satu sistem. Sejak saat itu, solusi mereka mulai berjalan di jalur yang berbeda.
Samsung mengubah chip dasar (base chip) menjadi bagian aktif dalam sistem. Perusahaan ini berencana memindahkan pengontrol memori dari GPU ke chip dasar logika, sehingga membebaskan 5–10% area GPU untuk komputasi tambahan, dan berpotensi meningkatkan performa sebesar 10–20%. Operasi AI tertentu juga dapat berjalan di chip dasar untuk mengurangi perpindahan data. Dalam jangka panjang, Samsung mendorong teknologi zHBM, yang menumpuk GPU dan DRAM secara langsung, diperkirakan akan mengurangi konsumsi daya DRAM sekitar 70% sambil meningkatkan bandwidth lebih dari dua kali lipat.
SK Hynix fokus pada penumpukan lebih tinggi dan mengelola masalah panas serta lengkungan (warpage) yang dihasilkan. Mereka mengonfirmasi bahwa HBM4 tumpukan 12 lapis telah masuk tahap produksi, sedangkan versi 16 lapis telah masuk tahap validasi pelanggan. Bonding hibrida (hybrid bonding) adalah jalur menuju tumpukan 20 lapis dan lebih tinggi, memungkinkan penggunaan chip yang lebih tebal dan jarak (pitch) yang lebih rapat. Pendekatan iHBM mereka menambahkan jalur konduksi panas khusus di dalam area terpanas tumpukan. Kompetisi ini tidak lagi hanya tentang bandwidth dan kapasitas. Arsitektur chip dasar dan kemasan canggih kini menjadi medan pertempuran yang menentukan.
Chip Substrat Kustom Samsung Berbasis Node Logika
Dalam presentasi Hot Chips 2026, Samsung Electronics memperkenalkan zHBM, wujud evolusi akhir dari memori bandwidth tinggi (High Bandwidth Memory). Konsep ini meninggalkan interposer 2.5D, menumpuk DRAM secara vertikal di atas chip komputasi seperti GPU, membentuk arsitektur integrasi 3D sejati, dengan target mengurangi konsumsi daya DRAM hingga 70%, dan meningkatkan bandwidth 2.3 kali lipat dibandingkan HBM4E.
Samsung merencanakan peta jalan tiga tahap, mengubah chip dasar dari saluran transmisi data pasif menjadi mitra komputasi aktif. Tahap pertama memindahkan pengontrol memori dari xPU ke chip dasar untuk menghemat area silikon; tahap kedua menambahkan kemampuan ekspansi memori dan komputasi perhatian (attention) ke chip dasar; tahap ketiga akhirnya mewujudkan zHBM.
Selanjutnya, mari kita lihat proposal Samsung.
Dalam presentasi, mereka memberikan beberapa bagan yang menunjukkan tren pengembangan spesifikasi HBM5. Meski belum ada yang pasti, bagan di pojok kanan atas cukup menarik untuk dilihat.
SSD HBM5 dengan kapasitas 60GB dan bandwidth 6TB/s terlihat bagus. Mari kita hitung angka spesifiknya. Bandwidth 6 TB/s, 2048 saluran, berarti kecepatan transfer per pin adalah 23.5 Gbps. Standar termaju saat ini adalah 16 Gbps, ini adalah lompatan besar, dan kemungkinan bisa dicapai dengan node logika canggih. Jika kapasitas per chip adalah 3 GB, total 60 GB, maka tinggi tumpukan akan menjadi 20 lapisan.
Dalam slide lain, Samsung mengonfirmasi kecepatan transfer per pin HBM4E adalah 16 Gbps. Perhitungan kita sebelumnya untuk HBM5 juga divalidasi dalam diagram berikut.
Keunggulan jelas Samsung adalah memiliki chip logika buatan sendiri, sementara Micron dan SK Hynix perlu bekerja sama dengan pihak lain untuk mendapatkannya. Samsung menekankan keunggulan ini dan menjelaskan pentingnya chip kustom. Samsung menggunakan proses 1C untuk memori, dan proses 4nm untuk chip logika, secara signifikan mengurangi konsumsi daya chip. Diagram berikut secara implisit mengkritik Micron, yang menggunakan proses DRAM untuk membuat chip logika dalam chip memori HBM4 mereka.
Lebih baik lagi, seperti disebutkan sebelumnya, Samsung membagi peta jalan produk mereka menjadi tiga tahap dengan jelas. Kita akan membahasnya satu per satu.
Tahap Satu: Hasil yang Mudah Dicapai
Ketika substrat memori (base die) menggunakan node logika, area fisik modul PHY HBM akan berkurang, dan efisiensi energi meningkat. Ini berarti modul antarchip yang menghubungkan HBM dan XPU akan lebih kecil. Ini memiliki dua keuntungan:
Menambah area di XPU untuk komputasi lebih banyak;
Menambah area yang tersedia pada substrat HBM untuk fungsi yang lebih canggih.
Kekurangan dari penyusutan ukuran ini adalah kepadatan panas yang lebih tinggi di area-area ini. Menariknya, mereka memberikan ukuran aktual modul PHY di berbagai generasi HBM.
Samsung juga menyebutkan bahwa mereka tidak cenderung menggunakan UCIe di link D2D karena UCIe lebih besar dan memiliki konsumsi energi per bit yang lebih tinggi. Mereka menyatakan bahwa implementasi PHY kustom mereka memiliki performa lebih baik. Dalam transisi ke HBM5, mereka menunjukkan konsep Heat Path Block (HPB) terintegrasi untuk mendinginkan area PHY D2D.
Keunggulan utama lainnya adalah offloading pengontrol memori, yang dapat dipindahkan dari XPU ke chip dasar kustom. Ini membebaskan ruang di chip XPU, yang dapat digunakan untuk menggerakkan lebih banyak unit pemrosesan floating-point.
Keunggulan baru dari integrasi node logika di substrat adalah memungkinkan implementasi SRAM. Jika sebuah sel di tumpukan DRAM rusak, informasi di sel tersebut dapat disimpan sementara di SRAM, dan pengontrol memori akan mencari informasi tersebut dari SRAM, bukan dari sel DRAM yang rusak. Bayangkan SRAM sebagai buku catatan cadangan, seperti memo sementara untuk menyimpan data yang tidak bisa disimpan di sel DRAM yang rusak.
Tahap Dua: RAS, Pengujian, Ekspansi, Pemrosesan
Menggunakan node logika sebagai substrat berarti, jika ukuran transistor kecil, area silikon untuk banyak fungsi seperti ini juga akan lebih kecil. Ruang yang dihemat dapat digunakan untuk berbagai tujuan, seperti meningkatkan Repairability, Availability, Serviceability (RAS), melakukan pengujian, dan mengumpulkan telemetri tentang kondisi/kesehatan tumpukan memori HBM. Mengingat telemetri HBM adalah faktor kedua terbesar penyebab kegagalan pelatihan, telemetri HBM akan sangat berguna.
Jika masih ada sisa area silikon, maka dapat dibangun satu lagi. Pengontrol ekspansi memori digunakan untuk menghubungkan tumpukan HBM lain di belakang tumpukan HBM pertama, atau menyisipkan chip DRAM untuk memperluas memori.
Akhirnya, karena transistor logika tersedia, mengapa tidak mengintegrasikan beberapa kemampuan komputasi di substrat juga? Keuntungannya adalah, komputasi seperti kompresi matriks atau encoding dapat dilakukan di chip logika tanpa perlu meninggalkan substrat. Ini memberikan keuntungan dalam hal latensi dan efisiensi.
Jika semuanya berjalan lancar, secara teori dimungkinkan untuk membangun akselerator canggih di pojok kanan bawah. Menggambar diagram blok seperti ini mudah dan menarik secara konseptual, tetapi apakah peningkatan performa aktualnya signifikan masih dipertanyakan.
Tahap Tiga: Vertikalisasi
Tahap akhir adalah menggunakan chip substrat kustom dan HBM, dan menumpuknya di atas chip logika. Jarak antara chip komputasi dan chip memori sangat pendek, sehingga bit data hanya perlu melakukan perjalanan jarak yang lebih pendek, meningkatkan efisiensi energi, dan meningkatkan bandwidth memori karena kemampuan menggunakan lebih banyak jalur data paralel di seluruh area chip, bukan hanya di pinggir chip.
Semua ini tidak mudah, tetapi bagi perusahaan, memiliki peta jalan untuk peningkatan teknologi sangat penting. Ini menunjukkan keyakinan mereka untuk meluncurkan produk yang lebih baik di masa depan, yang merupakan hal baik bagi perusahaan. Apakah pasar siap menerima produk ini adalah masalah lain.
SK Hynix Mendorong Teknologi Hybrid Bonding untuk HBM5
Wakil Presiden Teknik Kemasan SK Hynix America, Jaesik Lee, dalam pidatonya di Hot Chips 2026 pada 23 Agustus, menyatakan bahwa SK Hynix memperkirakan teknologi hybrid bonding tidak akan siap untuk HBM4E, yang akan menunda transisi kemasan memori yang paling dinantikan industri hingga setidaknya HBM5.
Seperti yang dia jelaskan, masalahnya adalah ketebalan total kubus HBM dibatasi hingga 775 mikrometer—ketebalan standar wafer logika 300 mm—oleh karena itu, setiap penambahan lapisan DRAM harus menggunakan chip yang lebih tipis dan celah yang lebih sempit. HBM4 16-Hi berkapasitas tinggi yang sedang dalam validasi pelanggan (sementara 12-Hi HBM4 telah diproduksi massal) menipiskan chip intinya hingga sekitar 50 mikrometer, dan membelah dua celah antar chip. Presentasi Lee juga merinci arsitektur pendingin iHBM perusahaan, yang diluncurkan tiga bulan setelah pengumuman Mei lalu. Lee menjelaskan bahwa ada batasan: modul termal tidak dapat diterapkan pada produk HBM apa pun yang sudah dalam desain.
Standar JEDEC HBM4 menaikkan batas atas ketebalan kemasan dari 720 mikrometer (yang digunakan HBM3E) menjadi 775 mikrometer, meredakan tekanan untuk mengadopsi hybrid bonding. Lee mengatakan bahwa ketika paket GPU dipasang cold plate, baik chip logika maupun tumpukan memori digiling untuk mengekspos silikon telanjang. Karena wafer logika setebal 775 mikrometer, jika tinggi chip memori ditambah sedikit lagi, itu akan melebihi tinggi prosesor di sampingnya. "Ini adalah batas yang dapat kami capai saat ini, karena ketebalan wafer logika juga 775 mikrometer," kata Lee.
Chip yang lebih tipis berarti proporsi lapisan oksida dalam tumpukan lebih tinggi, dan oksida jauh lebih tidak konduktif termal daripada silikon. Selain itu, kecepatan pin meningkat dari 1 Gbps di HBM awal menjadi 8 Gbps di HBM4, memungkinkan lebih banyak daya dikonsumsi di area yang sama. Data internal SK Hynix sendiri menunjukkan bahwa beban termal rata-rata 2.2 kali lebih tinggi di berbagai generasi HBM yang ditunjukkan, sementara jumlah lapisan tumpukan berlipat ganda setiap dua generasi.
Proses Mass Reflow Molded Underfill (MR-MUF) perusahaan, yang menumpuk semua chip melalui pick-and-place dan menghubungkannya dalam satu siklus reflow, telah mengorbankan margin: Menurut Lee, mengisi celah yang menyusut setengah sambil mengendalikan lengkungan chip di bawah 50 mikrometer adalah tantangan manufaktur utama untuk 16-Hi.
Bulan Mei lalu, Samsung berkomitmen secara terbuka untuk menggunakan hybrid bonding untuk HBM4, sementara SK Hynix menyimpan bonding tembaga-ke-tembaga sebagai opsi cadangan untuk teknologi MR-MUF canggihnya. Kemudian, JEDEC melonggarkan batasan ketebalan, membuat hybrid bonding tidak lagi mendesak. Saat ini, industri sedang mendiskusikan peningkatan lebih lanjut ketebalan untuk tumpukan 20 lapis menjadi 825 hingga 900 mikrometer, yang sekali lagi akan menunda adopsi luas bonding tembaga.
Pada Maret lalu, sumber industri mengklaim bahwa SK Hynix menempatkan pesanan produksi massal hybrid bonding pertamanya, sistem jalur tunggal senilai sekitar 200 miliar won ($150 juta) yang menggabungkan alat dari Applied Materials dan Besi. Counterpoint Research memperkirakan teknologi ini akan memasuki produksi HBM penuh sekitar tahun 2029-2030 dengan peluncuran HBM5.
Menurut peta jalan SK Hynix, hybrid bonding saat ini masih dalam tahap R&D untuk tumpukan 20 lapis ke atas, dan SK Hynix masih memutuskan produk mana yang akan mengadopsinya terlebih dahulu. Lee tidak mengungkap generasi spesifik mana, tetapi dengan mengecualikan HBM4E, HBM5 kemungkinan adalah kandidat pertama. Teknologi ini menghubungkan pad tembaga datar dan permukaan oksida pada suhu kamar, kemudian memanfaatkan ekspansi termal tembaga selama kuring untuk membentuk ikatan.
"Proses yang tampaknya sederhana ini sebenarnya sangat menantang," kata Lee. "Kami membutuhkan 16 lapis, bahkan 20 lapis untuk melakukan hybrid bonding, dan itu sangat berbeda dari tumpukan satu lapis." Menghapus micro-bump sepenuhnya memungkinkan chip inti menebal 24% pada ketinggian 20 lapis, mengurangi resistansi termal sekitar 35% dibandingkan MR-MUF dengan ketinggian yang sama, dan pitch bump (menurut diagram lapisan chip) bisa di bawah 18 mikrometer, dibandingkan dengan 30 mikrometer untuk MR-MUF saat ini. Pada pitch bump HBM4, micro-bump tradisional masih berlaku, dan setiap kali JEDEC menaikkan batas ketebalan, MR-MUF dapat terus bertahan, melanjutkan ke generasi berikutnya.
Konsep iHBM menyematkan blok konduktif termal dan isolasi ke dalam area PHY antarchip dari chip dasar (interface hotspot dengan kepadatan daya puncak), diklaim mengurangi resistansi termal lebih dari 30%.
Slide Lee secara langsung membandingkan iHBM dengan skema Heat Path Block (HPB) Samsung. HPB Samsung mengeluarkan panas dari tumpukan chip melalui pilar termal khusus, sedangkan desain ulang sirkuit chip dasar Micron mengklaim efisiensi energi lebih dari 20%. Ketiganya adalah klaim vendor, dan metriknya berbeda. Desain SK Hynix dan Samsung keduanya direncanakan untuk HBM5, tetapi tidak diperkirakan akan diproduksi massal sebelum 2028. Lee mengatakan bahwa karena modul-modul ini berada di dalam kemasan bersama chip PHY D2D, mereka perlu dioptimalkan sesuai dengan desain pelanggan, dan tidak dapat diterapkan pada generasi chip yang sudah dirancang, menjadikan iHBM sebagai pekerjaan desain bersama. "Ini adalah pilihan bagus yang dapat kami lakukan, tetapi kami tidak dapat menerapkannya pada generasi chip yang sudah kami desain."
Pada sesi tanya jawab, Tanj Bennett dari SemiAnalysis mencatat bahwa memori yang ditumpuk lebih tinggi mengurangi throughput silikon itu sendiri. DRAM beroperasi pada level sel sekitar 20 TB/s per sentimeter persegi; sedangkan tumpukan 20-Hi memiliki throughput puncak sekitar 4 TB/s, dan kapasitas manufaktur yang dibutuhkan HBM jauh lebih tinggi daripada DDR5 atau LPDDR dengan spesifikasi yang setara. "Saat Anda mencapai 20-Hi, memori ini rata-rata sebenarnya lebih lambat daripada DDR5," kata Bennett, "mengapa tidak memanfaatkan ketinggian tumpukan HBM, alih-alih menempatkan memori yang lebih murah di sekitarnya dengan cerdas?"
Lee menjawab bahwa beban kerja pelatihan membutuhkan bandwidth dan kapasitas, kemudian menambahkan bahwa inferensi dapat menyeimbangkan keduanya, menyimpan cache key-value dalam memori bandwidth tinggi sambil mengalihdayakan sebagian pekerjaan ke memori LPDDR. Teknologi pemisahan ini sudah digunakan dalam produk seperti platform Vera Rubin Nvidia, yang menggabungkan LPDDR5X dan HBM4 melalui protokol NVLink-C2C untuk tujuan ini. Selain itu, spesifikasi High Bandwidth Flash yang dikembangkan bersama oleh SK Hynix dan SanDisk memperluas filosofi hierarki ini ke memori kilat NAND.
"Ini juga sesuatu yang perlu kami pertimbangkan di masa depan," kata Lee tentang skema hierarki. Menurut laporan Januari, SK Hynix memperoleh sekitar 70% dari pesanan chip HBM untuk generasi Vera Rubin Nvidia, semuanya akan menggunakan teknologi MR-MUF. Lee mengatakan perusahaan belum memutuskan produk mana yang akan pertama kali menggunakan MR-MUF.
Micron Berpendapat "Tembok Memori" Memburuk
Dalam presentasinya, Micron Technology akan mengeksplorasi arsitektur memori yang terus berkembang di bidang AI. Diketahui, Micron Technology akan merinci bagaimana memori bandwidth tinggi (HBM) dan teknologi kemasan canggih menjadi inti dari desain sistem AI.
Presentasi Micron dibuka dengan teori frontier efisiensi komputasi OpenAI, menjelaskan mengapa memori sangat penting untuk penskalaan model bahasa. Micron menunjukkan hubungan hukum pangkat (power-law) antara ukuran model, ukuran dataset, dan komputasi pelatihan, dan berpendapat bahwa ketiganya harus diskalakan bersama untuk meningkatkan performa model bahasa. Memori adalah sumber daya kunci yang menghubungkan ketiga faktor ini.
Sekarang mari kita bicara tentang hambatan memori. Micron mengatakan TFLOPS (kinerja floating-point) akselerator AI tumbuh sekitar 3x setiap dua tahun, sementara bandwidth memori terlampir 2.5D (misalnya, HBM) tumbuh kurang dari 2x setiap dua tahun. Kesenjangan yang melebar ini adalah alasan mengapa teknologi memori menjadi faktor pembatas kinerja sistem AI.
Micron memposisikan HBM sebagai jembatan antara komputasi dan memori, dan melacak peningkatan kapasitas, bandwidth, dan efisiensi energi di setiap generasi dari HBM2e hingga HBM5. Anda harus menghargai konferensi teknologi tanpa label sumbu Y ini.
Di sini, Micron menunjukkan GPU khas dengan area paket lebih dari 12000 milimeter persegi, termasuk chip dasar dan delapan instance memori HBM4. Ini berarti, ketika menggunakan HBM4 12-Hi, area silikon memori dapat melebihi 8x area chip GPU itu sendiri. Ini memang demonstrasi yang jelas.
HBM meningkatkan batas atas bandwidth memori, menggeser batasan memori, memungkinkan beban kerja AI yang intensif memori berjalan lebih cepat sebelum mencapai batas memori.
Presentasi Micron sekarang merinci apa itu HBM dan evolusi setiap generasinya. Tabel produk menunjukkan evolusi dari HBM1 hingga HBM4. Setiap generasi HBM meningkatkan kecepatan data, jumlah pseudo-channel, dan tinggi tumpukan, memberikan bandwidth lebih tinggi dan kapasitas lebih besar.
Cara pemasangan HBM berbeda dari RDIMM ECC standar. Diagram berikut menunjukkan bagaimana tumpukan HBM terintegrasi dengan GPU atau akselerator dalam sistem integrasi heterogen, dan dikemas sebagai System-in-Package (SiP), bukan sebagai modul slot independen. Saya kira banyak orang di STH telah melihat desain ini sebelumnya.
Setiap chip DRAM berisi beberapa saluran independen, setiap saluran memiliki dua pseudo-channel, HBM3E membawa 128 bank per chip, sementara HBM4 menggandakannya menjadi 256. Chip dasar (base die) berada di antara host dan tumpukan DRAM, sisi host menggunakan PHY micro-bump, sisi tumpukan menggunakan PHY TSV 3D, terhubung melalui interposer point-to-point densitas tinggi, meningkat dari 1K IO di HBM3E menjadi 2K IO di HBM4.
Micron sekarang menunjukkan trade-off antara performa dan kapasitas. Tetapi mereka tidak benar-benar menunjukkan perbedaan antara area PCB dan konsumsi daya di sini. Mungkin ini akan ditunjukkan di slide nanti?
Micron sekarang mencatat biaya silikon untuk kecepatan ini. Biaya gabungan dari arsitektur desain, kemasan canggih, dan kompleksitas proses manufaktur berarti bahwa untuk mencapai kapasitas HBM3E yang sama dengan DDR5, dibutuhkan sekitar tiga kali lebih banyak silikon.
Micron kemudian merangkum parameter memori yang mendukung inovasi AI dalam presentasi, termasuk performa, kapasitas, dan konsumsi daya.
Link I/O yang lebih cepat dan interposer yang lebih besar terus mendorong kemajuan teknologi SiP, termasuk desain I/O yang lebih cepat, SERDES yang dioptimalkan untuk memori dan PHY antarchip, serta komponen optik co-packaged di sisi interkoneksi. SiP yang lebih besar berdasarkan teknologi seperti CoWoS-L dan CoWoS-R serta substrat kaca juga merupakan bagian dari jalur pengembangan kemasan.
Sekarang mari kita bicara tentang keandalan, termasuk interaksi chip-kemasan dan tantangan RAS. Dalam perangkat HBM integrasi heterogen, ketidakcocokan koefisien ekspansi termal antara bahan yang berbeda menciptakan tekanan termomekanis. Sebenarnya, dari perspektif yang lebih makro, ini adalah salah satu tantangan terbesar dalam implementasi WSE Cerebras. Cakupan ECC dibagi menjadi dua lapisan: pertama, HBM3, di tingkat sistem, menggunakan 16 meta-bit per akses 256-bit; kedua, Reed-Solomon berbasis simbol yang diimplementasikan on-die.
Untuk mengendalikan panas, peningkatan aktivitas chip DRAM, tinggi tumpukan yang lebih besar, dan fungsionalitas chip dasar yang lebih canggih semuanya meningkatkan pembangkitan panas. Micron mencatat bahwa pendinginan cair, hybrid bonding, serta peningkatan solder dan side mold adalah inovasi termal yang diperlukan untuk mempertahankan penskalaan bandwidth dan kapasitas.
Tren kemasan tampaknya akan mencapai batasnya.
Secara keseluruhan, data ini mengindikasikan bagaimana Micron Technology menanggapi evolusi arsitektur memori di ruang AI. Micron Technology sedang menimbang peningkatan bandwidth dan kapasitas HBM dengan biaya kemasan, termal, dan keandalan yang timbul dari menempatkan memori berkapasitas besar seperti itu di sebelah unit komputasi.
Menurut kalian, bagaimana tren HBM ke depannya?
Artikel ini berasal dari akun WeChat "Semiconductor Industry Observation" (ID: icbank), penulis: Redaksi
