Nỗi lo bộ nhớ của mô hình lớn, giải pháp được nghĩ tới từ ổ USB
Nỗi lo về bộ nhớ của các mô hình lớn (AI) có thể tìm thấy giải pháp từ một công nghệ quen thuộc: NAND Flash trong USB. Thông thường, Flash bị coi là chậm, nhưng SanDisk và SK Hynix đang phát triển một hướng tiếp cận mới gọi là **High Bandwidth Flash (HBF)**.
Ý tưởng là áp dụng kỹ thuật đóng gói tiên tiến và xếp chồng chip từ bộ nhớ HBM (High Bandwidth Memory) vào NAND Flash, biến nó thành một bộ nhớ đọc có dung lượng lớn và băng thông cao. HBF hướng đến mục tiêu đạt **dung lượng 512GB và băng thông đọc 1.6TB/s** cho một chồng chip, với lộ trình nâng lên 3.2TB/s.
Điểm mấu chốt là HBF không nhằm thay thế HBM siêu nhanh. Thay vào đó, nó tìm thấy vị trí lý tưởng trong **giai đoạn suy luận (inference) của AI**. Ở giai đoạn này, các tham số mô hình đã được đào tạo xong và chủ yếu chỉ cần đọc ra, phù hợp với ưu điểm đọc nhanh và chi phí thấp của Flash. HBM vẫn đảm nhận xử lý dữ liệu nóng cần tốc độ cực cao, trong khi HBF đóng vai trò như một "bể chứa" dung lượng lớn cho các trọng số mô hình tĩnh.
Cách tiếp cận phân tầng bộ nhớ này (HBM cho tốc độ, HBF cho dung lượng đọc lớn, SSD cho lưu trữ rẻ) hứa hẹn giúp giảm nghẽn cổ chai dung lượng HBM, giảm số lượng card gia tốc cần thiết, từ đó hạ chi phí và mức tiêu thụ năng lượng cho hệ thống suy luận AI. Mặc dù HBF vẫn cần vài năm nữa để hoàn thiện và triển khai, nó báo hiệu một sự điều chỉnh trong kiến trúc bộ nhớ, hướng tới các giải pháp thiết thực hơn cho bài toán mở rộng quy mô mô hình lớn.
marsbit07/20 00:21
