Bukan, bukankah Flash lambat? Bagaimana SanDisk dan SK Hynix menggunakannya untuk menyuplai model besar???
IEEE baru-baru ini mempublikasikan sebuah pendekatan baru yang agak kontra-intuitif: Kecemasan memori model besar mungkin bisa diredakan dengan teknologi yang sama di dalam flash drive.
Betul, itu adalah NAND Flash.
Dalam kesan banyak orang, karakteristik terbesar Flash adalah murah, kapasitas besar, dan tidak kehilangan data saat daya mati. Tapi soal kecepatan, terutama untuk mendorong inferensi model besar, tampaknya tidak seperti solusi yang serius.
Tapi sekarang, SanDisk dan SK Hynix sedang mendorong sesuatu yang baru: High Bandwidth Flash, disingkat HBF.
Ide dasarnya langsung: Menerapkan metode pengemasan lanjutan dan penumpukan chip dari HBM (High Bandwidth Memory) ke NAND Flash.
Dengan kata lain, membuat memori flash yang awalnya bertugas menyimpan data, juga dapat berpartisipasi dalam pasokan data berkecepatan tinggi untuk inferensi AI.
Berdasarkan data publik SanDisk, HBF diharapkan dapat menumpuk maksimal 16 chip NAND Flash, menargetkan kapasitas maksimum per stack hingga 512GB, dan target bandwidth baca tertinggi hingga 1.6TB/s.
Dalam peta jalan generasi kedua dan ketiga selanjutnya, bandwidth baca akan lebih ditingkatkan menjadi 2TB/s dan 3.2TB/s.
Angka ini meski belum menyaingi HBM kelas atas, tetapi sudah bukan lagi kondisi "penyimpanan lambat" seperti flash konvensional.
Di balik terobosan teknologi ini, mungkin ada kekurangan pasokan yang mendesak di industri penyimpanan global yang perlu diatasi.
Baru beberapa hari lalu (11 Juli waktu Beijing), CEO SK Hynix Kwak Noh-Jung dalam debutnya di Nasdaq AS menyatakan, industri penyimpanan global diperkirakan akan menghadapi kekurangan pasokan terparah dalam sejarah pada 2027, pernyataan ini dengan cepat mengguncang pasar modal dan opini industri.
Dalam konteks ini, kolaborasi SK Hynix dan SanDisk meluncurkan HBF, mungkin adalah jawaban teknis mereka untuk meredakan ketegangan pasokan penyimpanan.
Ayo kita lihat.
Bukankah Flash Lambat, Bagaimana Bisa Digunakan untuk AI?
Pertanyaannya, bukankah Flash terkenal lambat dalam menulis? Kok tiba-tiba bisa dipakai untuk AI?
Jim Handy, Direktur Objective Analysis, sebuah lembaga riset pasar semikonduktor, dalam wawancara dengan IEEE Spectrum menyebutkan, banyak orang pertama kali bereaksi seperti ini: Bagaimana bisa masuk akal? Flash jelas-jelas lambat sekali.
Tapi kuncinya adalah, Flash lambat, terutama lambat dalam menulis.
NAND Flash menyimpan data melalui muatan listrik di transistor gerbang terapung, dan diorganisir per blok dan halaman. Mekanisme ini memungkinkannya mempertahankan data setelah daya mati, tidak perlu refresh terus-menerus seperti DRAM, sehingga cocok secara alami untuk penyimpanan jangka panjang, dengan keunggulan kepadatan tinggi dan biaya rendah.
Namun, konsekuensinya adalah, saat menulis data, muatan perlu didorong masuk atau keluar dari gerbang isolator, proses ini jauh lebih lambat daripada mengisi/mengosongkan kapasitor.
Jadi dalam sudut pandang komputasi tradisional, Flash sulit didiskusikan di meja yang sama dengan DRAM, HBM, dan memori berkecepatan tinggi lainnya.
Tapi jika hanya melihat aktivitas baca, ceritanya berbeda.
Menurut standar antarmuka flash ONFI 6.0 terbaru, teori bandwidth maksimum per die bisa mencapai 4.8GB/s.
Melihat angka ini saja, memang tidak luar biasa.
Tapi satu DIMM DDR5 tertinggi bisa mencapai 70.4GB/s, satu stack HBM4E bahkan bisa mencapai 3.6TB/s, perbandingannya dengan satu chip flash NAND sekitar 750 kali lipat.
Yang dilakukan HBF adalah, melalui pengemasan 3D dan penumpukan vertikal, menggabungkan banyak die NAND Flash menjadi satu paket, secara signifikan meningkatkan total bandwidth baca.
Wakil Presiden Senior Penelitian Sistem Memori SK Hynix Hoshik Kim menegaskan: “Dengan menerapkan teknologi pengemasan 3D canggih dan penumpukan vertikal ke flash NAND, HBF mampu mencapai bandwidth yang jauh melampaui penyimpanan NVMe standar.”
Seperti HBM menumpuk chip DRAM, HBF menciptakan chip dengan kepadatan penyimpanan tinggi dengan menumpuk die flash NAND.
Apa yang ingin mereka capai bukanlah membuat satu chip Flash tiba-tiba menjadi cepat, melainkan dengan penumpukan dan pengemasan, memperbanyak saluran baca.
HBF Bukan untuk Menggantikan HBM, Ia Menemukan Posisinya Sendiri
Apa yang benar-benar menarik dari HBF bukanlah niatnya untuk menggantikan HBM.
Melainkan ia menemukan skenario yang sangat cocok untuk Flash: Inferensi AI.
Pelatihan dan inferensi memiliki persyaratan memori yang berbeda.
Saat melatih model besar, sistem perlu terus membaca bobot, menghitung error, lalu memperbarui bobot melalui backpropagation;
Proses ini membutuhkan banyak aktivitas baca dan tulis, sangat tidak ramah untuk Flash;
Karena Flash lambat menulis, menulis terlalu banyak juga menyangkut masalah umur dan manajemen penghapusan.
Tapi tahap inferensi berbeda.
Pada tahap ini, model telah selesai dilatih, bobot pada dasarnya beku, sebagian besar waktu, sistem perlu membaca bobot model yang sangat besar ini dengan cepat, bukan sering mengubahnya.
Ini tepat jatuh pada sisi yang relatif dikuasai Flash.
Wakil Presiden Senior Penelitian Sistem Memori SK Hynix Kim menyatakan: “Dalam lingkungan inferensi, data yang sangat besar dan intensif baca, seperti bobot model statis miliaran parameter atau cache KV yang telah dihitung sebelumnya (precomputed KV cache), dapat disimpan dengan aman di lapisan HBF.”
Dengan demikian, HBM yang mahal dan kapasitasnya terbatas dapat dibebaskan, khusus berfungsi sebagai area penyimpanan sementara berkecepatan tinggi.
Arsitektur ini agak mirip menambahkan lapisan “kolam memori hanya-baca berkapasitas sangat besar” untuk AI.
HBM terus menangani pertukaran data komputasi berkecepatan tinggi yang paling mendesak dan paling sering.
HBF bertugas menampung parameter model yang volumenya sangat besar, tapi jarang diubah.
Untuk inferensi model besar saat ini, ide ini sangat relevan secara praktis.
Karena tantangan yang dihadapi inferensi model besar saat ini sudah jauh melampaui kekurangan daya komputasi, tekanan ganda seperti memori tidak cukup, bandwidth tidak cukup, konsumsi energi terlalu tinggi, dan biaya penerapan terlalu mahal sedang berpadu.
Terutama dalam latar belakang skala model yang terus mengembang, kapasitas memori satu kartu yang tidak mencukupi dan biaya HBM yang tinggi menjadi faktor pembatas yang menonjol dalam perkembangannya.
Seringkali, bukan GPU tidak mampu menghitung, tapi model tidak muat, atau data tidak dapat disuplai dengan cukup cepat.
Dan jika HBF dapat menemukan keseimbangan antara kapasitas, bandwidth, dan biaya, mungkin memungkinkan model yang lebih besar berjalan dengan biaya lebih rendah.
512GB per Stack, Server AI Mungkin Bisa Menggunakan Lebih Sedikit Kartu
Parameter target generasi pertama HBF yang diberikan SanDisk adalah kapasitas tertinggi 512GB, bandwidth baca 1.6TB/s.
Kombinasi ini sangat krusial – Keunggulan HBM adalah kecepatan yang sangat tinggi, tetapi kapasitasnya mahal dan terbatas; HBF meski kecepatannya lebih rendah, dapat menyediakan kapasitas yang lebih besar dan biaya per unit yang lebih rendah.
Ini berarti, server AI di masa depan saat menerapkan inferensi model besar, mungkin tidak harus memasukkan semua bobot ke dalam HBM.
Sebagian data yang lebih 'dingin', lebih statis, lebih banyak baca daripada tulis, dapat ditempatkan di HBF.
△
Manfaat potensial dari pendekatan ini ada beberapa:
Pertama, meringankan kemacetan kapasitas HBM.
Kedua, mengurangi kebutuhan menumpuk lebih banyak kartu akselerator hanya untuk memasukkan model.
Ketiga, mengurangi biaya dan konsumsi energi keseluruhan sistem inferensi.
Penilaian Kim adalah: HBF dan HBM bukanlah pesaing, melainkan alat yang saling melengkapi.
Dia menegaskan: “HBF mampu, tanpa mengorbankan kecepatan pasokan data, secara efektif meringankan kemacetan kapasitas parah yang dihadapi HBM, sehingga berpotensi mengurangi jumlah akselerator yang dibutuhkan untuk menjalankan model skala besar.”
Di atas dasar ini, dia memperkirakan skema ini juga akan meningkatkan efisiensi energi dan mengurangi biaya, sehingga membantu pusat data lebih lanjut memperluas skala perangkat keras inferensi AI mereka.
Ini juga logika industri yang paling patut diperhatikan dari HBF: Bukan untuk membuat Flash menjadi HBM, melainkan agar data yang berbeda dalam sistem AI, berada di posisi yang lebih cocok untuknya.
Data panas tetap di HBM; data berkapasitas besar, statis, dan intensif baca ditempatkan di HBF; data yang lebih lambat dan lebih murah tetap di SSD atau penyimpanan lainnya.
Jika stratifikasi ini terbentuk, arsitektur memori perangkat keras inferensi AI mungkin akan memiliki lapisan baru.
Penerapan Skala Besar Masih Jauh, tapi Sistem Memori Model Besar Sudah Tampak Sinyal Pembagian Kerja Baru
Tentu saja, HBF saat ini belum merupakan produk yang matang.
Menurut laporan IEEE Spectrum, HBF setidaknya masih membutuhkan satu tahun lagi untuk mungkin mulai dikirim, dan jarak ke penyebaran skala besar mungkin masih beberapa tahun.
Pada 25 Februari tahun ini, SanDisk dan SK Hynix telah bersama-sama mengadakan acara peluncuran, mengumumkan mempromosikan pekerjaan standarisasi HBF di bawah proyek Open Compute Project (OCP).
Sebagai organisasi industri terbuka penting di bidang perangkat keras pusat data, OCP memimpin penetapan banyak spesifikasi terkait server, rak, catu daya, dan akselerator, seperti spesifikasi server DC-MHS, spesifikasi akselerator OAI-OAM.
Tapi saat ini, standar HBF masih dalam proses, waktu rilis resmi belum ditentukan — ini juga berarti, HBF dalam jangka pendek belum akan segera mengubah pasar server AI.
Ia lebih mirip sinyal yang muncul ke permukaan lebih awal: Inferensi AI sedang memaksa sistem penyimpanan dan memori membagi kerja kembali.
Dulu, fokus perangkat keras model besar terkonsentrasi pada GPU, HBM, dan interkoneksi.
Tapi ketika model semakin besar, permintaan inferensi semakin banyak, kemacetan akan meluas dari “apakah menghitung cepat”, ke “apakah muat”, “apakah dapat dibaca dengan cukup cepat”, dan “apakah tagihan listrik mampu ditanggung”.
HBF masuk tepat di celah ini.
Perang Memori AI, Mungkin Tidak Hanya Milik HBM
Menariknya, SK Hynix sendiri adalah salah satu pemenang terbesar HBM.
HBM sedang membawanya pendapatan rekor, secara logika, meluncurkan teknologi alternatif yang lebih murah, tampaknya tidak sesuai dengan intuisi bisnis.
Tapi dari perspektif sistem, HBF belum tentu akan merebut piringan HBM.
Server AI di masa depan membutuhkan bukan memori tunggal, melainkan memori berlapis.
Membiarkan HBM bertanggung jawab atas kinerja tertinggi, HBF bertanggung jawab atas pembacaan berkapasitas besar dan bandwidth tinggi, SSD bertanggung jawab atas penyimpanan skala besar berbiaya lebih rendah.
Jika kombinasi ini berhasil, justru akan membuat sistem inferensi AI menjadi lebih dapat diskalakan.
Sederhananya: Bukan setiap data model layak tinggal di "rumah mewah" HBM. Beberapa data hanya membutuhkan posisi yang kapasitasnya cukup besar, baca cukup cepat, dan biaya lebih rendah.
Apa yang ingin dilakukan HBF adalah posisi ini.
Dari NAND Flash di flash drive, kartu SD, ke kolam bobot model berbandwidth tinggi di server AI, terdengar lompatannya besar, tapi masalah model besar sudah jelas: Parameter semakin banyak, inferensi semakin mahal, HBM semakin ketat.
Dan solusinya, belum tentu hanya datang dari memori yang lebih mahal, bisa juga dari mengemas kembali teknologi lama yang familiar.
Tautan referensi:
[1]https://spectrum.ieee.org/high-bandwidth-flash?itm_source=homepage&itm_medium=hero&itm_campaign=hero-2026-07-15&itm_content=hero6
Artikel ini berasal dari akun WeChat publik “量子位”, penulis: Ge Wenting
