Không phải, Flash không phải rất chậm sao? SanDisk và SK hynix định dùng nó để 'nuôi' mô hình lớn như thế nào đây???
IEEE vừa đăng tải một hướng tư duy mới khá phản trực giác: Nỗi lo về bộ nhớ của mô hình lớn, có lẽ phải nhờ đến công nghệ đồng dạng trong ổ USB để xoa dịu.
Đúng vậy, đó chính là NAND Flash.
Trong ấn tượng của nhiều người, đặc điểm lớn nhất của Flash là rẻ, dung lượng lớn, mất điện cũng không mất dữ liệu, nhưng nói về tốc độ, đặc biệt là dùng để thúc đẩy suy luận mô hình lớn, dường như không giống một giải pháp chính thống.
Nhưng bây giờ, SanDisk và SK hynix đang thúc đẩy một thứ mới: High Bandwidth Flash (Bộ nhớ flash băng thông cao), viết tắt là HBF.
Ý tưởng của nó rất trực tiếp: áp dụng phương pháp đóng gói tiên tiến và xếp chồng chip của HBM (Bộ nhớ băng thông cao) lên NAND Flash.
Nói cách khác, chính là để bộ nhớ flash vốn chịu trách nhiệm lưu trữ dữ liệu cũng có thể tham gia vào việc cung cấp dữ liệu tốc độ cao cho suy luận AI.
Theo tài liệu công khai của SanDisk, HBF dự kiến có thể xếp chồng tối đa 16 chip NAND Flash, mục tiêu dung lượng tối đa của một ngăn xếp đơn lên đến 512GB, mục tiêu băng thông đọc tối đa đạt 1.6TB/s.
Trong lộ trình thế hệ thứ hai, thứ ba tiếp theo, băng thông đọc sẽ tiếp tục được nâng lên 2TB/s và 3.2TB/s.
Con số này tuy chưa đuổi kịp HBM đỉnh cao, nhưng đã không còn là trạng thái 'lưu trữ chậm chạp' của flash truyền thống nữa.
Đằng sau sự đột phá công nghệ này, có thể là tình trạng thiếu hụt nguồn cung cấp cấp bách mà ngành công nghiệp lưu trữ toàn cầu cần phải giải quyết.
Mới cách đây vài ngày (giờ Bắc Kinh ngày 11 tháng 7), Giám đốc điều hành của SK hynix, gã khổng lồ lưu trữ Hàn Quốc, Kwak Noh-Jung, đã công khai tuyên bố trong ngày ra mắt thị trường chứng khoán Nasdaq rằng, ngành lưu trữ toàn cầu dự kiến sẽ đối mặt với tình trạng thiếu hụt nguồn cung nghiêm trọng nhất lịch sử vào năm 2027, tuyên bố này nhanh chóng kích nổ thị trường vốn và dư luận ngành.
Trong bối cảnh này, việc SK hynix cùng với SanDisk ra mắt HBF, có lẽ chính là câu trả lời công nghệ mà họ đưa ra để làm dịu tình trạng căng thẳng nguồn cung lưu trữ.
Hãy cùng xem nào.
Flash không phải rất chậm sao, sao có thể dùng cho AI?
Câu hỏi đặt ra là, Flash không phải nổi tiếng là ghi chậm sao? Sao đột nhiên có thể dùng cho AI?
Giám đốc cơ quan nghiên cứu thị trường bán dẫn Objective Analysis, Jim Handy, trong cuộc phỏng vấn với IEEE Spectrum đã đề cập, phản ứng đầu tiên của nhiều người cũng là vậy: điều này làm sao có thể hợp lý? Flash rõ ràng là chậm một cách vô lý.
Nhưng điểm mấu chốt là, Flash chậm, chủ yếu chậm ở việc ghi.
NAND Flash lưu trữ dữ liệu thông qua điện tích trong transistor cổng nổi, và được tổ chức theo khối và trang. Cơ chế này khiến nó vẫn giữ được dữ liệu sau khi mất điện, không cần phải làm mới liên tục như DRAM, do đó vốn dĩ phù hợp cho lưu trữ dài hạn, đồng thời có ưu thế về mật độ cao và chi phí thấp.
Tuy nhiên cái giá phải trả là, khi ghi dữ liệu, cần đẩy hoặc di chuyển điện tích ra vào lớp cách điện cổng, quá trình này chậm hơn nhiều so với việc nạp/xả điện cho tụ điện.
Vì vậy, từ góc nhìn tính toán truyền thống, Flash khó có thể được đặt lên bàn thảo luận cùng với các loại bộ nhớ tốc độ cao như DRAM, HBM.
Nhưng nếu chỉ xem xét việc đọc, mọi chuyện sẽ khác.
Theo tiêu chuẩn giao diện flash ONFI 6.0 mới nhất, lý thuyết băng thông tối đa của một die đơn có thể đạt 4.8GB/s.
Chỉ nhìn con số này, quả thực không có gì đáng kinh ngạc.
Nhưng một thanh DIMM DDR5 đơn lẻ có thể đạt tới 70.4GB/s, một ngăn xếp HBM4E đơn lẻ thậm chí có thể đạt 3.6TB/s, so với một chip bộ nhớ flash NAND đơn lẻ thì chênh lệch khoảng 750 lần.
Điều HBF muốn làm là thông qua đóng gói 3D và xếp chồng theo chiều dọc, đóng gói nhiều die NAND Flash lại với nhau, nâng cao đáng kể tổng băng thông đọc.
Phó chủ tịch cấp cao nghiên cứu hệ thống bộ nhớ của SK hynix, Hoshik Kim chỉ ra: “Bằng cách áp dụng công nghệ đóng gói 3D tiên tiến và công nghệ xếp chồng theo chiều dọc vào bộ nhớ flash NAND, HBF có thể đạt được băng thông vượt xa bộ nhớ NVMe tiêu chuẩn.”
Giống như HBM xếp chồng chip DRAM, HBF thông qua xếp chồng các die bộ nhớ flash NAND, tạo ra chip có mật độ lưu trữ cao.
Điều họ muốn làm, không phải là khiến một chip Flash đột nhiên trở nên nhanh, mà là thông qua xếp chồng và đóng gói, tạo ra nhiều kênh đọc.
HBF không nhằm thay thế HBM, nó đã tìm đúng vị trí của mình
Điểm thú vị thực sự của HBF không nằm ở chỗ nó muốn thay thế HBM.
Mà nằm ở chỗ nó đã tìm thấy một kịch bản rất phù hợp với Flash: Suy luận AI.
Huấn luyện và suy luận, yêu cầu đối với bộ nhớ không giống nhau.
Khi huấn luyện mô hình lớn, hệ thống phải liên tục đọc trọng số, tính toán sai số, sau đó cập nhật trọng số thông qua lan truyền ngược;
Quá trình này vừa cần đọc nhiều, cũng cần ghi nhiều, rất không thân thiện với Flash;
Vì Flash ghi chậm, ghi nhiều còn liên quan đến vấn đề tuổi thọ và quản lý xóa ghi.
Nhưng giai đoạn suy luận thì khác.
Ở giai đoạn này, mô hình đã hoàn thành huấn luyện, trọng số về cơ bản đã đóng băng, hầu hết thời gian, hệ thống cần đọc nhanh những trọng số mô hình khổng lồ này ra, chứ không phải thay đổi chúng thường xuyên.
Điều này rơi đúng vào phía mà Flash tương đối giỏi.
Phó chủ tịch cấp cao nghiên cứu hệ thống bộ nhớ của SK hynix, Kim cho biết: “Trong môi trường suy luận, những dữ liệu khổng lồ, chuyên đọc nhiều như trọng số mô hình hàng tỷ tham số tĩnh hoặc bộ nhớ đệm KV được tính toán trước (precomputed KV cache), đều có thể được lưu trữ an toàn ở cấp HBF.”
Bằng cách này, HBM đắt đỏ và có dung lượng hạn chế có thể được giải phóng, chuyên đảm nhận vai trò vùng bộ nhớ đệm tốc độ cao.
Kiến trúc này hơi giống như thêm cho AI một “bể bộ nhớ chỉ đọc dung lượng siêu lớn”.
HBM tiếp tục chịu trách nhiệm trao đổi dữ liệu tính toán tốc độ cao khẩn cấp nhất, thường xuyên nhất.
HBF thì chịu trách nhiệm chứa đựng những tham số mô hình khổng lồ nhưng ít thay đổi.
Đối với suy luận mô hình lớn hiện nay, ý tưởng này có ý nghĩa thực tế rất lớn.
Bởi vì những khó khăn mà suy luận mô hình lớn hiện nay đang đối mặt đã không chỉ dừng lại ở việc thiếu hụt sức mạnh tính toán, mà nhiều áp lực như bộ nhớ không đủ, băng thông không đủ, tiêu thụ năng lượng quá cao, chi phí triển khai quá đắt đang đan xen chồng chất lên nhau.
Đặc biệt là trong bối cảnh quy mô mô hình không ngừng phình to, việc dung lượng bộ nhớ của một card đơn không đủ và chi phí HBM cao đang trở thành yếu tố hạn chế rõ ràng đối với sự phát triển của nó.
Nhiều khi, không phải GPU không tính nổi, mà là mô hình không chứa nổi, hoặc dữ liệu không cung cấp kịp.
Và nếu HBF có thể tìm được sự cân bằng giữa dung lượng, băng thông và chi phí, thì có thể giúp các mô hình lớn hơn chạy được với chi phí thấp hơn.
512GB một ngăn xếp, máy chủ AI có thể bớt dùng vài card
Thông số mục tiêu của HBF thế hệ đầu tiên mà SanDisk đưa ra, cao nhất là dung lượng 512GB, băng thông đọc 1.6TB/s.
Sự kết hợp này rất quan trọng – Ưu thế của HBM là tốc độ cực nhanh, nhưng dung lượng đắt và có hạn; HBF tuy tốc độ thấp hơn một chút, nhưng có thể cung cấp dung lượng lớn hơn và chi phí đơn vị thấp hơn.
Điều này có nghĩa là, máy chủ AI trong tương lai khi triển khai suy luận mô hình lớn, có thể không nhất thiết phải nhồi nhét tất cả trọng số vào HBM.
Một phần dữ liệu ít 'nóng' hơn, tĩnh hơn, đọc nhiều ghi ít, có thể đặt trong HBF.
△
Lợi ích tiềm năng khi làm vậy có mấy điểm:
Thứ nhất, giảm bớt nút thắt cổ chai dung lượng HBM.
Thứ hai, giảm nhu cầu chất đống thêm card tăng tốc chỉ để chứa mô hình.
Thứ ba, giảm chi phí tổng thể và mức tiêu thụ năng lượng của hệ thống suy luận.
Đánh giá của Kim là: HBF và HBM không phải là đối thủ cạnh tranh, mà là những công cụ bổ sung cho nhau.
Ông chỉ ra: “HBF có thể giảm bớt hiệu quả nút thắt cổ chai dung lượng nghiêm trọng mà HBM đang đối mặt mà không hy sinh tốc độ cung cấp dữ liệu, từ đó có khả năng giảm số lượng bộ tăng tốc cần thiết để chạy các mô hình quy mô lớn.”
Trên cơ sở này, ông dự đoán giải pháp này còn sẽ nâng cao hiệu suất năng lượng và giảm chi phí, từ đó hỗ trợ các trung tâm dữ liệu mở rộng hơn nữa quy mô phần cứng suy luận AI của họ.
Đây cũng là logic ngành đáng chú ý nhất của HBF: Nó không phải để biến Flash thành HBM, mà là để các dữ liệu khác nhau trong hệ thống AI ở đúng vị trí phù hợp với mình.
Dữ liệu nóng tiếp tục đặt trong HBM; dữ liệu dung lượng lớn, tĩnh, chuyên đọc nhiều đặt trong HBF; dữ liệu tốc độ thấp hơn, rẻ hơn tiếp tục đặt trong SSD hoặc các bộ lưu trữ khác.
Nếu hệ thống phân tầng này thành lập, kiến trúc bộ nhớ của phần cứng suy luận AI có thể sẽ có thêm một tầng mới.
Triển khai quy mô lớn còn xa, nhưng tín hiệu phân công mới trong hệ thống bộ nhớ mô hình lớn đã xuất hiện
Tất nhiên, HBF hiện tại chưa phải là một sản phẩm trưởng thành.
Theo báo cáo của IEEE Spectrum, HBF ít nhất còn cần một năm nữa mới có thể xuất xưởng, khoảng cách đến triển khai quy mô lớn có thể còn vài năm.
Ngày 25 tháng 2 năm nay, SanDisk và SK hynix đã tổ chức sự kiện khởi động chung, công bố thúc đẩy công việc tiêu chuẩn hóa HBF dưới dự án tính toán mở OCP.
Là một tổ chức ngành mở quan trọng trong lĩnh vực phần cứng trung tâm dữ liệu, OCP đã chủ trì xây dựng một lượng lớn các quy chuẩn liên quan đến máy chủ, tủ rack, nguồn điện và bộ tăng tốc, như quy chuẩn máy chủ DC-MHS, quy chuẩn bộ tăng tốc OAI-OAM.
Nhưng hiện tại, tiêu chuẩn HBF vẫn đang được thúc đẩy, thời gian phát hành chính thức chưa xác định – điều này cũng có nghĩa là, HBF trong ngắn hạn sẽ không ngay lập tức thay đổi thị trường máy chủ AI.
Nó giống như một tín hiệu xuất hiện sớm hơn: Suy luận AI đang thúc ép hệ thống lưu trữ và bộ nhớ phân công lại.
Trước đây, điểm tập trung của phần cứng mô hình lớn nằm ở GPU, HBM và kết nối.
Nhưng khi mô hình ngày càng lớn, yêu cầu suy luận ngày càng nhiều, nút thắt sẽ mở rộng từ “tính có nhanh không”, sang “có chứa nổi không”, “có đọc kịp không” và “có chịu nổi tiền điện không”.
HBF đang chen vào, chính là khe hở này.
Cuộc chiến bộ nhớ AI, có thể không chỉ thuộc về HBM
Thú vị ở chỗ, bản thân SK hynix là một trong những người chiến thắng lớn nhất của HBM.
HBM đang mang lại cho họ doanh thu kỷ lục, về lý mà nói, việc ra mắt một công nghệ thay thế rẻ hơn dường như không phù hợp với trực giác kinh doanh.
Nhưng từ góc độ hệ thống, HBF không nhất định sẽ cướp miếng ăn của HBM.
Máy chủ AI trong tương lai cần không phải là bộ nhớ đơn nhất, mà là bộ nhớ phân tầng.
Để HBM chịu trách nhiệm hiệu năng tối đa, HBF chịu trách nhiệm đọc dung lượng lớn băng thông cao, SSD chịu trách nhiệm lưu trữ quy mô lớn chi phí thấp hơn.
Tổ hợp này nếu chạy thông, ngược lại sẽ khiến hệ thống suy luận AI trở nên có thể mở rộng hơn.
Nói đơn giản là: Không phải mọi dữ liệu mô hình đều đáng được ở trong “biệt thự” HBM. Một số dữ liệu, chỉ cần một vị trí có dung lượng đủ lớn, đọc đủ nhanh, chi phí thấp hơn.
HBF muốn làm, chính là vị trí này.
Từ NAND Flash trong ổ USB, thẻ SD, đến bể trọng số mô hình băng thông cao trong máy chủ AI, nghe có vẻ khoảng cách rất lớn, nhưng vấn đề của mô hình lớn đã rất rõ ràng: tham số ngày càng nhiều, suy luận ngày càng đắt, HBM ngày càng khan hiếm.
Và giải pháp, chưa chắc chỉ đến từ bộ nhớ đắt hơn, cũng có thể đến từ việc đóng gói lại công nghệ cũ quen thuộc.
Tài liệu tham khảo:
[1]https://spectrum.ieee.org/high-bandwidth-flash?itm_source=homepage&itm_medium=hero&itm_campaign=hero-2026-07-15&itm_content=hero6
Bài viết này đến từ tài khoản WeChat công cộng “量子位”, tác giả: Ge Wenting
