不是,Flash不是很慢吗?SanDisk和SK海力士怎么拿它喂大模型了???
IEEE最新刊发了一条挺反常识的新思路:大模型的内存焦虑,可能要靠U盘里的同款技术来缓解了。
没错,就是NAND Flash。
在不少人的印象里,Flash最大的特点是便宜、容量大、断电还不丢数据,但要说速度,尤其是拿来驱动大模型推理,似乎怎么都不像正经方案。
但现在,SanDisk和SK海力士正在推动一种新东西:High Bandwidth Flash(高带宽闪存),简称HBF。
它的思路很直接:把HBM(高带宽内存)那套先进封装和芯片堆叠的方法,搬到NAND Flash上。
换句话说,就是让原本负责存东西的闪存,也能参与到AI推理的高速数据供给里。
根据SanDisk公开资料,HBF预计可以堆叠最多16颗NAND Flash芯片,目标单个堆栈容量最高可达512GB,目标读取带宽最高可达1.6TB/s。
后续第二代、第三代路线图里,读取带宽还会进一步提升到2TB/s和3.2TB/s。
这个数字虽然还追不上顶级HBM,但已经不是传统闪存那种“慢吞吞存储”的状态了。
这一技术突围的背后,可能是全球存储行业亟待化解的供应紧缺困局。
就在前几天(北京时间7月11号),韩国存储巨头SK海力士的首席执行官郭鲁正曾在美股纳斯达克首秀之日公开表示,全球存储行业预计将在2027年面临史上最严重的供应短缺,该言论迅速引爆资本市场与产业舆论。
在此背景下,SK海力士携手SanDisk推出HBF,或许正是他们为了缓解存储供应紧张交出的一份技术答卷。
一起来看看吧。
Flash不是很慢吗,怎么能给AI用?
问题来了,Flash不是出了名的写入慢吗?怎么突然能给AI用?
半导体市场研究机构Objective Analysis总监Jim Handy在IEEE Spectrum采访中就提到,很多人第一反应也是这个:这怎么说得通?Flash明明慢得离谱。
但关键在于,Flash慢,主要慢在写入。
NAND Flash通过浮栅晶体管里的电荷来存储数据,并按块和页进行组织。这种机制使其断电后仍能保留数据,无需像DRAM那样不断刷新,因此天然适合长期存储,兼具高密度与低成本的优势。
不过代价就是,写入数据时,需要把电荷推进或移出绝缘栅,这个过程比给电容充放电慢得多。
所以在传统计算视角下,Flash很难和DRAM、HBM这类高速内存放在一个桌上讨论。
但如果只看读取,事情就不一样了。
按最新ONFI 6.0闪存接口标准,单颗die理论带宽最高可以到4.8GB/s。
单看这个数字,确实不算夸张。
但DDR5单条DIMM最高可到70.4GB/s,HBM4E单堆栈更是能到3.6TB/s,和单颗NAND闪存芯片相比大约是750倍量级差距。
HBF要做的,就是通过3D封装和垂直堆叠,把多个NAND Flash die打包到一起,显著提高总读取带宽。
SK海力士内存系统研究高级副总裁Hoshik Kim指出:“通过将先进的3D封装和垂直堆叠技术应用于NAND闪存,HBF能够实现远超标准NVMe存储的带宽。”
正如HBM堆叠DRAM芯片一样,HBF则通过堆叠NAND闪存裸片,打造出高存储密度的芯片。
他们想做的,从来不是让单颗Flash突然变快,而是通过堆叠和封装,把读取通道堆出来。
HBF不是要取代HBM,它找准了自己的定位
HBF真正有意思的地方,不在于它要取代HBM。
而在于它找准了一个很适合Flash的场景:AI推理。
训练和推理,对内存的要求并不一样。
训练大模型时,系统要不断读取权重、计算误差,再通过反向传播更新权重;
这个过程既要大量读,也要大量写,对Flash非常不友好;
因为Flash写入慢,写多了还涉及寿命和擦写管理问题。
但推理阶段就不一样了。
在这个阶段,模型已经完成训练,权重基本冻结,大多数时候,系统需要的是把这些庞大的模型权重快速读出来,而不是频繁改写它们。
这正好落在Flash相对擅长的一侧。
SK海力士内存系统研究高级副总裁Kim表示:“在推理环境中,诸如静态的数十亿参数模型权重或预计算的KV缓存(precomputed KV cache)等海量、读密集型数据,均可稳妥地存放于HBF层级。”
这样一来,昂贵且容量有限的HBM就能被释放出来,专门充当高速暂存区。
这个架构有点像给AI加了一层“超大容量只读内存池”。
HBM继续负责最紧急、最频繁的高速计算数据交换。
HBF则负责装下那些体量巨大、但不怎么改动的模型参数。
对当下的大模型推理来说,这个思路很有现实意义。
因为当前大模型推理所面临的困境早已不止于算力短缺,内存不够、带宽不够、能耗太高、部署成本太贵等多重压力正交织叠加。
尤其是在模型规模持续膨胀的大背景下,单卡显存容量不足与HBM成本高昂正成为制约其发展的显著因素。
很多时候,不是GPU算不动,而是模型装不下,或者数据喂不过来。
而HBF如果能在容量、带宽和成本之间找到平衡,就可能让更大的模型以更低的成本跑起来。
512GB一堆栈,AI服务器或可少用几张卡
SanDisk给出的第一代HBF目标参数,最高为512GB容量、1.6TB/s读取带宽。
这个组合很关键——HBM的优势是速度极快,但容量昂贵且有限;HBF虽然速度低一些,却能提供更大的容量和更低的单位成本。
这意味着,未来AI服务器在部署大模型推理时,可能不一定要把所有权重都塞进HBM。
一部分冷一点、静态一点、读多写少的数据,可以放在HBF里。
△
这样做的潜在收益有几个:
第一,缓解HBM容量瓶颈。
第二,减少为了装下模型而堆更多加速卡的需求。
第三,降低推理系统整体成本和能耗。
Kim的判断是:HBF与HBM并不是竞争对手,而是互为补充的工具。
他指出:“HBF能够在不牺牲数据供给速度的前提下,有效缓解HBM面临的严峻容量瓶颈,从而有望减少运行大规模模型所需的加速器数量。”
在此基础上,他预计该方案还将提升能效并降低成本,进而助力数据中心进一步扩展其AI推理硬件规模。
这也是HBF最值得关注的产业逻辑:它不是为了让Flash变成HBM,而是让AI系统里的不同数据,待在更适合自己的位置里。
热数据继续放HBM;大容量、静态、读密集数据放HBF;更低速、更便宜的数据继续放SSD或其他存储。
如果这套分层成立,AI推理硬件的内存架构可能会多出一个新层级。
规模化落地尚远,但大模型内存体系已现分工新信号
当然,HBF目前还不是一个成熟的产品。
据IEEE Spectrum报道,HBF至少还需要一年才可能出货,距离大规模部署可能还要几年。
今年2月25日,SanDisk和SK海力士已联合举办启动活动,宣布在开放计算项目OCP下推动HBF标准化工作。
作为数据中心硬件领域重要的开放产业组织,OCP主导制定了大量服务器、机柜、电源及加速器相关规范,如服务器规范DC-MHS、加速器规范OAI-OAM等。
但目前,HBF标准还在推进中,正式发布时间尚未确定——这也意味着,HBF在短期内还不会马上改变AI服务器市场。
它更像是一个提前浮出水面的信号:AI推理正在逼着存储和内存体系重新分工。
过去,大模型硬件的关注点集中在GPU、HBM和互联。
但当模型越来越大、推理请求越来越多,瓶颈就会从“算得快不快”,扩展到“装不装得下”“读不读得动”以及“电费扛不扛得住”。
HBF切入的,正是这个缝隙。
AI内存战争,可能不只属于HBM
有意思的是,SK海力士本身就是HBM最大赢家之一。
HBM正在给它带来创纪录收入,按理说,推出一种更便宜的替代性技术,似乎不太符合商业直觉。
但从系统角度看,HBF并不一定会抢HBM的饭碗。
AI服务器未来需要的不是单一内存,而是分层内存。
让HBM负责极致性能,HBF负责大容量高带宽读取,SSD负责更低成本的大规模存储。
这套组合如果跑通,反而会让AI推理系统变得更可扩展。
简单说就是:不是每一份模型数据,都值得住进HBM的“豪宅”。 有些数据,只需要一个容量够大、读取够快、成本更低的位置。
HBF想做的,就是这个位置。
从U盘、SD卡里的NAND Flash,到AI服务器里的高带宽模型权重池,听起来跨度很大,但大模型的问题已经很清楚:参数越来越多,推理越来越贵,HBM越来越紧。
而解决方案,未必只来自更贵的内存,也可能来自把熟悉的老技术,重新封装一遍。
参考链接:
[1]https://spectrum.ieee.org/high-bandwidth-flash?itm_source=homepage&itm_medium=hero&itm_campaign=hero-2026-07-15&itm_content=hero6
本文来自微信公众号“量子位”,作者:葛文婷
