Kecemasan Memori Model Besar, Solusinya Ditemukan di Flash Drive
Berikut adalah ringkasan artikel tentang High Bandwidth Flash (HBF) untuk AI:
Ansietas memori pada model AI besar mungkin dapat dikurangi dengan teknologi yang sama seperti di flash drive, yaitu **NAND Flash**. Meskipun terkenal lambat, terutama dalam penulisan, kecepatan baca NAND Flash sebenarnya memadai. **SanDisk dan SK Hynix** kini mengembangkan **High Bandwidth Flash (HBF)**, yang menerapkan metode *stacking* dan *packaging* canggih seperti pada HBM ke chip NAND Flash.
Dengan menumpuk hingga 16 chip, satu *stack* HBF menargetkan kapasitas **512GB** dan bandwidth baca **1.6TB/s**, bahkan berencana meningkat ke **3.2TB/s**. Teknologi ini tidak dimaksudkan untuk menggantikan HBM, tetapi melengkapinya dengan menemukan ceruknya: **inferensi AI**. Selama inferensi, bobot model yang sudah terlatih bersifat statis dan hanya perlu dibaca, bukan ditulis ulang, sehingga cocok dengan kekuatan baca HBF.
Ide dasarnya adalah menciptakan arsitektur memori berlapis untuk server AI: **HBM** menangani data panas dan komputasi intensif, **HBF** menyimpan bobot model besar yang bersifat *read-intensive*, dan **SSD** untuk penyimpanan massal yang lebih murah. Ini berpotensi meredakan kemacetan kapasitas HBM yang mahal, mengurangi jumlah kartu akselerator yang dibutuhkan, serta menurunkan biaya dan konsumsi daya keseluruhan sistem inferensi.
Meski standar HBF masih dalam pengembangan di Open Compute Project (OCP) dan setidaknya membutuhkan satu tahun lagi sebelum tersedia, pendekatan ini menandakan perlunya pembagian kerja baru dalam hierarki memori untuk menghadapi tantangan model yang semakin besar dan mahal. Solusinya mungkin berasal dari teknologi yang sudah dikenal, dikemas ulang untuk era AI.
marsbit07/20 00:22
