Погодите, разве Flash-память не очень медленная? Как же SanDisk и SK Hynix предлагают использовать её для больших языковых моделей???
В свежем выпуске IEEE Spectrum представлен довольно неожиданный подход: проблему нехватки памяти в больших языковых моделях можно смягчить с помощью той же технологии, что и в USB-флешках.
Да, речь именно о NAND Flash.
В представлении многих главные черты Flash-памяти — дешевизна, большой объём и сохранение данных без питания. Но что касается скорости, особенно для задач вывода больших моделей (инференса), она кажется не самым подходящим решением.
Но сейчас SanDisk и SK Hynix продвигают нечто новое: High Bandwidth Flash (высокоскоростная флеш-память), сокращённо HBF.
Идея проста: применить к NAND Flash передовые методы упаковки и чипового стекирования, как в HBM (High Bandwidth Memory).
Другими словами, заставить флеш-память, изначально предназначенную для хранения, участвовать в высокоскоростной поставке данных для AI-инференса.
Согласно открытым материалам SanDisk, в HBF можно уложить до 16 чипов NAND Flash, целевой максимальный объём одного стека — до 512 ГБ, а целевая максимальная пропускная способность чтения — до 1,6 ТБ/с.
В дорожной карте для второго и третьего поколений пропускная способность чтения вырастет до 2 ТБ/с и 3,2 ТБ/с соответственно.
Хотя эти цифры ещё не догоняют топовые HBM, это уже не та «медлительная память», что была у традиционной флешки.
За этим технологическим прорывом, возможно, стоит глобальная проблема дефицита поставок в индустрии памяти.
Недавно (11 июля по пекинскому времени) генеральный директор южнокорейского гиганта памяти SK Hynix, Го Лу Чжэн, публично заявил в день дебюта на Nasdaq, что ожидает самого серьёзного дефицита поставок в истории мировой индустрии памяти к 2027 году. Это заявление быстро вызвало реакцию на рынках капитала и в отраслевых СМИ.
На этом фоне запуск HBF совместно с SanDisk, возможно, и является их технологическим ответом на попытку смягчить напряжённость с поставками памяти.
Давайте разберёмся.
Разве Flash не медленная? Как её можно использовать для AI?
Возникает вопрос: разве Flash не печально известна медленной записью? Как её вдруг можно применять для AI?
В интервью IEEE Spectrum директор по исследованиям полупроводникового рынка Objective Analysis, Джим Хэнди, отметил: «У многих первая реакция именно такая: как это может работать? Flash ведь невероятно медленная».
Но ключевой момент в том, что Flash медленна в основном при записи.
NAND Flash хранит данные с помощью заряда в плавающем затворе транзистора, организуясь в блоки и страницы. Этот механизм позволяет сохранять данные без питания, в отличие от DRAM, которую нужно постоянно обновлять. Поэтому она естественным образом подходит для долгосрочного хранения, сочетая высокую плотность и низкую стоимость.
Однако расплата в том, что для записи данных нужно проталкивать или удалять заряд через изолирующий затвор, и этот процесс значительно медленнее, чем зарядка/разрядка конденсатора.
Поэтому в традиционных вычислениях Flash трудно сравнивать с высокоскоростной памятью вроде DRAM или HBM.
Но если смотреть только на чтение, картина меняется.
Согласно последнему стандарту интерфейса флеш-памяти ONFI 6.0, теоретическая максимальная пропускная способность одного кристалла (die) может достигать 4,8 ГБ/с.
Само по себе это число не кажется впечатляющим.
Но максимальная пропускная способность одного модуля DDR5 DIMM составляет до 70,4 ГБ/с, а одного стека HBM4E — до 3,6 ТБ/с. По сравнению с одним чипом NAND Flash разница составляет примерно 750 раз.
HBF как раз и нацелена на то, чтобы с помощью 3D-упаковки и вертикального стекирования объединить несколько кристаллов NAND Flash, значительно повысив общую пропускную способность чтения.
Старший вице-президент по исследованиям систем памяти SK Hynix, Хошик Ким, отметил: «Применяя передовые технологии 3D-упаковки и вертикального стекирования к NAND-флеш-памяти, HBF позволяет достичь пропускной способности, значительно превышающей стандартное хранилище NVMe».
Подобно тому, как HBM складывает чипы DRAM, HBF складывает кристаллы NAND Flash, создавая чипы с высокой плотностью хранения.
Их цель — не внезапно ускорить один чип Flash, а с помощью стекирования и упаковки увеличить количество каналов чтения.
HBF не стремится заменить HBM, она находит свою нишу
По-настоящему интересно в HBF не то, что она собирается заменить HBM.
А то, что она находит идеальную для Flash область применения: AI-инференс.
Требования к памяти для обучения и вывода (инференса) разные.
При обучении больших моделей системе постоянно нужно считывать веса, вычислять ошибки, а затем обновлять веса через обратное распространение.
Этот процесс требует как интенсивного чтения, так и интенсивной записи, что очень неудобно для Flash.
Потому что Flash медленно записывает, а частые записи также связаны с проблемами долговечности и управления стиранием.
Но на этапе инференса всё иначе.
На этом этапе модель уже обучена, веса в основном зафиксированы. Чаще всего системе нужно быстро считывать эти огромные веса модели, а не часто их перезаписывать.
Это как раз попадает в сильную сторону Flash.
Старший вице-президент по исследованиям систем памяти SK Hynix Ким заявил: «В среде инференса такие большие, интенсивно считываемые данные, как статические веса моделей с миллиардами параметров или предвычисленный KV-кеш (precomputed KV cache), могут надёжно храниться на уровне HBF».
Таким образом, дорогую и ограниченную по объёму HBM можно освободить для использования в качестве высокоскоростного буфера.
Эта архитектура похожа на добавление к AI «пула памяти только для чтения сверхбольшой ёмкости».
HBM по-прежнему отвечает за самый срочный и частый обмен данными для высокоскоростных вычислений.
HBF же отвечает за хранение тех огромных по объёму, но редко изменяемых параметров модели.
Для текущего инференса больших моделей этот подход имеет большое практическое значение.
Потому что трудности инференса больших моделей уже давно не ограничиваются нехваткой вычислительной мощности. Нехватка памяти, недостаточная пропускная способность, высокое энергопотребление, дороговизна развёртывания — все эти факторы накладываются друг на друга.
Особенно на фоне продолжающегося роста масштабов моделей, нехватка видеопамяти на одной карте и высокая стоимость HBM становятся значительными ограничивающими факторами.
Часто проблема не в том, что GPU не справляется с вычислениями, а в том, что модель не помещается или данные не успевают подаваться.
И если HBF сможет найти баланс между ёмкостью, пропускной способностью и стоимостью, она может позволить запускать более крупные модели с меньшими затратами.
512 ГБ в одном стеке: AI-серверы, возможно, будут использовать меньше карт
Целевые параметры HBF первого поколения от SanDisk — максимум 512 ГБ ёмкости и 1,6 ТБ/с пропускной способности чтения.
Это сочетание очень важно: преимущество HBM — чрезвычайно высокая скорость, но она дорога и ограничена по объёму; HBF, хотя и немного медленнее, может обеспечить большую ёмкость и более низкую удельную стоимость.
Это означает, что в будущем при развёртывании инференса больших моделей AI-серверам, возможно, не придётся загружать все веса в HBM.
Часть менее востребованных, статических данных, где чтения больше, чем записи, можно разместить в HBF.
△
Потенциальные выгоды от такого подхода:
Во-первых, смягчение ограничений по объёму HBM.
Во-вторых, снижение потребности в наращивании количества ускорительных карт для размещения модели.
В-третьих, снижение общей стоимости и энергопотребления системы инференса.
Судя по словам Кима: «HBF и HBM не конкуренты, а взаимодополняющие инструменты».
Он отмечает: «HBF может эффективно смягчить серьёзные ограничения по объёму, с которыми сталкивается HBM, не жертвуя скоростью подачи данных, что, как ожидается, позволит сократить количество ускорителей, необходимых для работы крупномасштабных моделей».
На этой основе он прогнозирует, что это решение также повысит энергоэффективность и снизит затраты, тем самым способствуя дальнейшему расширению масштабов аппаратного обеспечения AI-инференса в дата-центрах.
Это и есть самая важная для отрасли логика HBF: она нужна не для того, чтобы превратить Flash в HBM, а для того, чтобы разные данные в AI-системах находились в наиболее подходящих для них местах.
Горячие данные остаются в HBM; большие объёмы статических данных с интенсивным чтением — в HBF; более медленные и дешёвые данные — на SSD или другом хранилище.
Если такая иерархия установится, архитектура памяти аппаратного обеспечения AI-инференса может получить новый уровень.
До широкого внедрения ещё далеко, но в системе памяти больших моделей уже видны новые сигналы разделения труда
Конечно, HBF пока не является зрелым продуктом.
Согласно сообщению IEEE Spectrum, до возможных поставок HBF пройдёт как минимум год, а до массового развёртывания, возможно, несколько лет.
25 февраля этого года SanDisk и SK Hynix провели совместное стартовое мероприятие, объявив о продвижении работ по стандартизации HBF в рамках проекта Open Compute Project (OCP).
Как важная отраслевая организация в области аппаратного обеспечения дата-центров, OCP разработала множество спецификаций для серверов, стоек, источников питания и ускорителей, таких как спецификация серверов DC-MHS, спецификация ускорителей OAI-OAM и др.
Но на данный момент стандарт HBF всё ещё разрабатывается, официальная дата выпуска ещё не определена — это также означает, что в краткосрочной перспективе HBF не сразу изменит рынок AI-серверов.
Это больше похоже на преждевременно проявившийся сигнал: AI-инференс заставляет систему памяти и хранения пересматривать разделение труда.
Раньше внимание в аппаратном обеспечении больших моделей было сосредоточено на GPU, HBM и межсоединениях.
Но по мере роста моделей и увеличения количества запросов на инференс узкие места смещаются с «быстроты вычислений» на «помещается ли модель», «хватает ли скорости чтения» и «позволяют ли счета за электричество».
HBF нацелена именно на эту нишу.
Война за память для AI, возможно, не ограничится HBM
Интересно, что сама SK Hynix является одним из крупнейших бенефициаров HBM.
HBM приносит ей рекордные доходы, и, казалось бы, продвижение более дешёвой альтернативной технологии противоречит коммерческой логике.
Но с системной точки зрения, HBF не обязательно отберёт хлеб у HBM.
AI-серверам будущего нужна не единая память, а иерархическая память.
Пусть HBM отвечает за максимальную производительность, HBF — за большой объём и высокую пропускную способность чтения, а SSD — за более дешёвое массовое хранение.
Если эта комбинация заработает, AI-системы инференса станут более масштабируемыми.
Проще говоря: не каждому параметру модели нужно «жить в роскошных апартаментах» HBM. Некоторым данным достаточно места с достаточным объёмом, быстрым чтением и более низкой стоимостью.
Именно на это место и претендует HBF.
От NAND Flash в USB-флешках и SD-картах до высокоскоростного пула весов моделей в AI-серверах — скачок кажется большим, но проблема больших моделей уже ясна: параметров всё больше, инференс всё дороже, HBM всё дефицитнее.
И решение может прийти не только от более дорогой памяти, но и от переупаковки старой, знакомой технологии.
Ссылки:
[1]https://spectrum.ieee.org/high-bandwidth-flash?itm_source=homepage&itm_medium=hero&itm_campaign=hero-2026-07-15&itm_content=hero6
Статья из официального аккаунта WeChat «Квантовый бит», автор: Гэ Вэнтин
