大模型内存焦虑，办法被想到了U盘上
大模型推理面临内存容量与成本压力，传统HBM高速但昂贵且容量有限。SanDisk与SK海力士提出新方案：利用U盘同款的NAND Flash技术，通过先进封装堆叠多颗芯片，打造高带宽闪存（HBF）。HBF专注于读取，目标实现单堆栈512GB容量和最高1.6TB/s带宽，虽速度不及HBM，但成本更低、容量更大。
其核心定位是补充而非取代HBM。在AI推理阶段，模型权重等大量静态数据只需频繁读取，无需频繁写入，这正好匹配Flash读取相对较快、写入较慢的特性。HBF可作为“大容量只读内存池”，存放海量模型参数，从而释放昂贵的HBM专用于处理热数据。这种分层设计有望缓解HBM容量瓶颈，降低部署大模型所需的加速卡数量和整体系统成本与能耗。
目前HBF标准仍在制定中，距离量产尚需时日，但它预示了AI内存架构正走向更精细的分工。未来，HBM、HBF与SSD可能形成协同的分层存储体系，让不同类型的数据驻留在性价比最合适的层级，以更经济的方式支撑持续增长的模型规模。
marsbit07/20 00:18
