Проблема нехватки памяти в больших языковых моделях: решение нашли в технологии USB-флешек
В статье обсуждается новый подход к решению проблемы нехватки памяти для крупных языковых модеей (ИИ) с помощью технологии NAND Flash, аналогичной используемой в USB-накопителях. Компании SanDisk и SK Hynix разрабатывают High Bandwidth Flash (HBF) — высокопропускную флэш-память, которая применяет методы упаковки и чипового стекирования, как в HBM (высокоскоростной памяти), к чипам NAND Flash.
Ключевая идея в том, что Flash-память медленна преимущественно при записи, но чтение может быть значительно ускорено. Путем стекирования до 16 чипов NAND Flash в один модуль HBF целевые показатели для первого поколения составляют до 512 ГБ емкости и пропускной способности чтения до 1.6 ТБ/с.
HBF позиционируется не как замена HBM, а как дополнение для этапа *инференса (вывода) ИИ-моделей*. В этом сценарии веса уже обученной модели в основном статичны и требуют интенсивного чтения, что хорошо подходит для Flash. Это позволяет разгрузить дорогую и ограниченную по объему HBM, освободив ее для самых горячих данных, и потенциально снизить количество необходимых ускорителей, общую стоимость и энергопотребление серверов.
Хотя до коммерческого внедрения HBF могут пройти годы, эта разработка сигнализирует о переосмыслении иерархии памяти в системах ИИ, где различные типы данных могут оптимально размещаться на разных уровнях: HBM для максимальной скорости, HBF для емкого и достаточно быстрого доступа только для чтения, а SSD — для массового хранения.
marsbit07/20 00:20
