IOSG: От горячего хранилища к холодной памяти — децентрализованное хранение в эпоху бума хранения ИИ

Автор: 0xjacobzhao, IOSG

Недавно "первая в Китае компания по производству памяти" ChangXin Memory Technologies (CXMT) официально вышла на рынок Growth Enterprise Market (аналог Chinext), вызвав ажиотаж с потрясающим ростом на 500%. Хотя в последнее время сектор хранения данных в целом все еще испытывает остаточные колебания корректировки, хранение для ИИ по-прежнему безумно переоценивается капиталом на фоне текущей волны технологических нарративов. В то же время децентрализованное хранение в сфере Web3 погрузилось в длительный период затишья и забвения. Почему, нося одно и то же имя "хранение", их рыночные показатели столь кардинально расходятся? Коренная причина кроется в фундаментальном расхождении их базовых ценностных функций.

Переоценка хранения в эпоху ИИ по своей сути — это вакханалия, посвященная «эффективности горячих данных», она служит предельной максимизации использования вычислительной мощности и коммерческой монетизации; а децентрализованное хранение отстаивает ценностное предложение «доверия к холодным данным», защищая справедливость данных, устойчивость к цензуре и долгосрочную память человеческой цивилизации. Первое — это система эффективности для горячих данных, второе — система доверия для холодных данных. Текущий рынок капитала, несомненно, твердо стоит на стороне «эффективности», но человеческой цивилизации в конечном счете все равно необходим не поддающийся изменению фундамент памяти. Долгосрочная ценность надежного холодного хранения никогда не исчезала, она просто таится в темной стороне цикла, ожидая, когда эпоха переоценит ее.

Почему хранение снова стало фокусом цепочки поставок ИИ

В эпоху традиционных ИТ хранение было «бизнесом на объемах». Корпоративные ИТ-директора (CIO) уделяли внимание стоимости единицы объема, надежности жестких дисков, решениям для аварийного восстановления, стратегиям архивации и циклам обновления оборудования в 3–5 лет. Хранение рассматривалось как сопутствующий продукт, следующий за закупкой серверов.

Нынешний бум хранения — не традиционное восстановление цикла, а новая оценка способности данных к перемещению, вызванная ИИ. В эпоху больших языковых моделей логика хранения качественно изменилась с «приоритета объема» на «верховенство эффективности», с упором на предельные показатели, такие как коэффициент загрузки GPU, запись контрольных точек (Checkpoint) и сверхнизкую задержку поиска с использованием RAG. Это означает, что ценность хранения переходит от «конечного места стоянки данных» к «высокоскоростному каналу передачи данных в вычисления».

Эволюция узких мест в инфраструктуре ИИ по сути является борьбой за устранение «эффекта бутылочного горлышка». Фактический коэффициент использования вычислительной мощности — не линейная сумма отдельных активов, а строгий мультипликативный эффект: фактический коэффициент использования вычислительной мощности = GPU × HBM × DRAM × SSD × сеть × файловая система. Слабое звено в любом из этих элементов приведет к краху общей утилизации вычислительной мощности. В эпоху ИИ хранение впервые превратилось из «центра затрат» в «двигатель эффективности». Это и есть основная логика переоценки хранения.

Полная картина архитектуры хранения для ИИ: от HBM — органа пропускной способности — к фундаменту Data Lake

Хранение для ИИ — это не просто нагромождение отдельных аппаратных компонентов, а сложная, тесно связанная, многоуровневая система управления. В этой системе промышленная ценность и внимание капитала в высокой степени сконцентрированы на HBM, корпоративных SSD, контроллерах SSD, протоколах NVMe/CXL и высокопроизводительных системах хранения. Для четкого разбора направлений потока стоимости мы разделяем архитектуру хранения для ИИ на четыре основных уровня сверху вниз:

• Слой памяти ближнего действия (ядро пропускной способности): Абсолютно доминирует HBM, дополненный DRAM и технологиями пулинга памяти CXL. Этот слой непосредственно прилегает к корпусу GPU/CPU или шине, его цель — преодолеть «стену памяти», это первый критически важный рубеж, определяющий, может ли вычислительная мощность быть полностью раскрыта.

• Слой высокоскоростного постоянного хранения (концентратор ввода-вывода): Основная логика: корпоративный SSD = ячейки NAND + контроллер SSD + путь передачи данных NVMe/PCIe. Этот слой обслуживает запись частых контрольных точек (Checkpoint), загрузку огромных обучающих наборов и кэширование горячих данных для RAG, это самый очевидный источник роста объемов постоянного хранения в дата-центрах ИИ.

• Слой хранения большой емкости с низкой стоимостью (емкостной фундамент): Состоит из HDD, систем холодного хранения и архивных систем Data Lake. Перед лицом экспоненциально растущих мультимодальных исходных данных, исторических логов и резервных копий для соответствия требованиям, этот слой по-прежнему обеспечивает незаменимые преимущества с точки зрения TCO (общей стоимости владения).

• Системы хранения для ИИ и программное обеспечение для данных (мозг управления): Включают высокопроизводительные параллельные файловые системы, распределенное объектное хранилище, векторные базы данных и уровень управления данными RAG. ИИ по-настоящему потребляет не «голое» оборудование, а доступность данных, эффективно организованную, проиндексированную и управляемую с точки зрения прав программным стеком.

В качестве расширения экосистемы, децентрализованное хранение не участвует напрямую в миллисекундной гонке за горячими данными ИИ, вместо этого оно закрепляет свою уникальную нишу в экосистеме как «надежный холодный слой», ориентируясь на сертификацию публичных наборов данных, отслеживание происхождения (Provenance) обучающих данных для ИИ и долгосрочную архивную холодную память.

HBM: «Орган пропускной способности» в цепочке хранения ИИ, ближайший к вычислениям

Память с высокой пропускной способностью (High Bandwidth Memory) — это не традиционное хранилище, а слой высокопроизводительной памяти рядом с GPU. Ее основная миссия — не хранение данных, а постоянная «подача» данных вычислительным мощностям с чрезвычайно высокой пропускной способностью. HBM — это звено в цепочке хранения ИИ, наиболее близкое к вычислениям и с самой высокой определенностью, которое напрямую определяет, можно ли «накормить» GPU, и является в настоящее время основным узким местом в цепочке поставок.

Ключевая архитектура HBM — «3D-стек DRAM + 2.5D-передовая упаковка»: с помощью вертикального соединения TSV и гетерогенной интеграции CoWoS предельно сокращается расстояние между хранением и вычислениями, что приводит к скачкообразному росту пропускной способности на уровне поколений. Его промышленные барьеры — это не только проектирование DRAM, но и системная инженерия, включающая технологический процесс DRAM, TSV, сверхтонкое наслаивание, упаковку, теплоотвод, тестирование и сертификацию клиентов. Любой дефект в одном из этих звеньев приведет к браку всего стека HBM.

В настоящее время только три гиганта — SK hynix, Samsung и Micron — могут стабильно производить HBM в больших объемах, создав тройную защиту: передовой технологический процесс DRAM, возможности упаковки и сертификация клиентов NVIDIA/AMD.

DRAM и CXL:Фундамент системной памяти и механизм пулинга памяти

HBM решает проблему предельной пропускной способности вблизи GPU, DRAM обеспечивает фундамент системной памяти серверов, а CXL пытается преодолеть физические границы, перестроив организацию ресурсов памяти в дата-центрах.

• DRAM: В основном обслуживает кэширование на стороне CPU, предварительную обработку данных, временное хранение промежуточных состояний и работу системы, это самый базовый уровень системной памяти сервера. Мировой рынок DRAM высоко концентрирован вокруг трех гигантов: SK hynix, Samsung, Micron; ChangXin Memory (CXMT) является ключевой переменной для замены импортных DRAM в Китае.

• CXL (Compute Express Link): Это новое поколение протокола связи с обеспечением когерентности кэша для дата-центров, цель которого — преодолеть ограничения традиционных слотов DIMM, локальной емкости памяти и изолированности ресурсов памяти серверов, способствуя эволюции архитектуры памяти в сторону расширения, пулинга и совместного использования. В настоящее время CXL все еще находится на ранней стадии перехода от поддержки платформы к широкому развертыванию, его архитектурная ценность в среднесрочной и долгосрочной перспективе высока; ключевые компании включают Astera Labs и Montage Technology (Ланьци Кэцзи).

Корпоративные SSD: Концентратор данных, состоящий из NAND, контроллеров и NVMe

Корпоративные SSD — это самый важный источник прироста высокопроизводительного постоянного хранения в дата-центрах ИИ, которые с чрезвычайно высокой пропускной способностью, сверхнизкой задержкой и стабильным QoS постоянно «подают» данные GPU на протяжении всего жизненного цикла: загрузка обучающих данных, запись контрольных точек (Checkpoint), поиск RAG, кэширование выводов и запись логов.

В архитектуре хранения для ИИ SSD — не изолированное оборудование, а высоко интегрированная система, которую можно выразить в виде промышленной формулы: корпоративный SSD = ячейки NAND + контроллер SSD + путь передачи данных NVMe/PCIe. Эти три уровня представляют собой независимые звенья производственной цепочки:

• Ячейки NAND (уровень сырья): Определяют плотность хранения и удельную стоимость. Контроллер управляет производительностью и сроком службы. Представители: Samsung, SK hynix (Solidigm), Micron, Kioxia, Western Digital, Yangtze Memory Technologies (YMTC).

• Контроллер SSD (уровень производительности): Определяет раскрытие производительности, коррекцию ошибок данных, стабильность QoS и выравнивание износа. Представители: Phison, Silicon Motion, Marvell, Maxio (Union Memory).

• NVMe/PCIe (уровень пути передачи данных): Определяет эффективность передачи данных от хранилища к вычислениям. В сочетании с технологией GPUDirect Storage уменьшает использование промежуточного буфера в памяти CPU и участие CPU, что значительно смягчает узкое место ввода-вывода. Представители: Broadcom, Marvell, Astera Labs.

HDD / Холодное хранение / Архивация: Фундамент Data Lake для ИИ с низкой стоимостью

ИИ не уничтожит HDD. С ростом потребности мультимодальных больших моделей в видео- и графических данных, а также экспоненциальным ростом корпоративных логов соответствия требованиям и исторических наборов данных, спрос на хранение холодных данных с низкой стоимостью также резко возрастает. В архитектуре хранения для ИИ SSD и HDD работают согласованно, распределяя задачи по уровням в зависимости от ценности данных: SSD отвечает за горячие данные и высокую пропускную способность, HDD — за низкую стоимость и долгосрочное сохранение. Представители: Seagate, Western Digital, Toshiba.

Программный стек хранения для ИИ: Центр управления доступностью данных

ИИ по-настоящему потребляет никогда не «голые» диски, а «сервисы данных», тщательно организованные программным стеком. Эта архитектура преобразует базовое оборудование в активы знаний, которые могут напрямую использоваться ИИ верхнего уровня, и конкретно делится на четыре уровня:

• Высокопроизводительные системы хранения (система подачи): Основное внимание уделяется параллельной пропускной способности и низкой задержке, решают проблему «голода данных» в кластерах GPU с помощью параллельных файловых систем, обеспечивая сверхбыстрый поток данных для обучения и вывода. Представители: VAST Data, WEKA, Pure Storage.

• Объектное хранилище (исходное озеро данных): Основное внимание уделяется управлению объектами (Object), ключами (Key) и метаданными (Metadata), обслуживает огромные объемы неструктурированных данных. Не стремится к сверхнизкой задержке, а создает емкостной фундамент с низкой стоимостью и облачно-ориентированными характеристиками. Представитель: AWS S3.

• Векторные базы данных (семантический индексный уровень): Векторные базы данных отвечают за хранение, индексацию и поиск векторов, сгенерированных моделями эмбеддингов (embedding), позволяя ИИ точно находить релевантный контент в огромных массивах знаний. Представители: Pinecone, Milvus.

• Слой данных RAG (уровень вызова знаний): Выходит за рамки простого поиска, включает нарезку данных, очистку, контроль доступа и отслеживание источников, обеспечивая безопасный, точный и отслеживаемый вызов корпоративных данных большими моделями. Представитель: Databricks.

От горячего хранения ИИ к децентрализованной холодной памяти: Максимизация эффективности против максимизации доверия

Хранение для ИИ — это система, движимая предельной эффективностью, ее ценностная функция сосредоточена на максимизации вычислительной производительности. Пропускная способность HBM определяет, можно ли «накормить» GPU, пропускная способность SSD определяет эффективность чтения/записи наборов данных и контрольных точек (Checkpoint), низкая задержка влияет на восприятие реального времени при использовании RAG и выводе. Эти показатели в конечном итоге сводятся к использованию GPU и стоимости единицы токена (Token), напрямую определяя коммерческую прибыльность или убыточность приложений ИИ. Конечная цель хранения для ИИ — не сохранение, а ускорение, обслуживаемый объект — производительность.

А ценностная функция децентрализованного хранения кардинально иная. Оно задается вопросом: будут ли данные по-прежнему существовать через десять лет, были ли они изменены, могут ли они противостоять точечной цензуре. С помощью криптографических доказательств и распределенных сетей оно создает открытую и постоянно сохраняемую общедоступную основу данных. Его конечная цель — защитить абсолютную достоверность и независимый суверенитет данных, служа справедливости, потребностям в устойчивости к цензуре и цивилизационной памяти.

Хранение для ИИ — это «горячее хранилище», предоставляющее топливо для будущей производительности, а децентрализованное хранение — «холодная память», сохраняющая для человеческой цивилизации исторические записи, которые нельзя удалить. Первое служит эффективности, стремясь к предельной скорости; второе служит доверию, защищая молчаливую память. Первое определяет, насколько быстро работает модель, второе определяет, будут ли воспоминания удалены. В настоящее время рыночный механизм вознаграждает эффективность производительности, хранение для ИИ находится на передовой, в то время как децентрализованное хранение, кажется, переживает период тишины, сопровождающийся крахом оценки и обескровливанием нарратива.

Видение и реальность децентрализованного хранения

Проектов децентрализованного хранения много, но по влиянию на сознание отрасли и накоплению в экосистеме ключевыми представителями остаются Filecoin и Arweave. Хотя оба относятся к «децентрализованному хранению», их фундаментальные архитектурные философии представляют собой почти две совершенно разные траектории — первое с помощью рыночных контрактов стремится приблизиться к гибкости AWS, второе с помощью разового общественного договора стремится к вечности библиотеки.

• Filecoin: Через PoRep и PoSt построил наиболее полную экономическую систему с возможностью проверки. Ему следует не продолжать в лобовую конкуренцию с AWS в области потребительских облачных дисков, а переключиться на отслеживание происхождения данных ИИ (Provenance), размещение публичных наборов данных и архивную запись для соответствия требованиям, предоставляя проверяемую цепочку для аудита моделей и доказательства авторских прав. Неизбежный путь — инкапсулирование в API, совместимый с S3, и поддержка оплаты в фиатных валютах, переход от «дешевого рынка хранения» к «инфраструктуре для проверяемых вычислений».

• Arweave: С нарративом «одноразовая оплата, постоянное хранение» через механизмы Blockweave и SPoRA заставляет майнеров сохранять и быстро получать доступ к как можно большему количеству данных, особенно редких исторических. Его наилучшее место — фундамент общечеловеческой памяти — сохранение записей о правах человека, военных преступлениях, культурных памятниках, архивирование юридической и финансовой истории, предоставление постоянной долгосрочной памяти для AI Agent. Ценность Arweave не в скорости, а в способности нести цивилизационную память через циклы.

Затруднительное положение проектов децентрализованного хранения, таких как Filecoin и Arweave, заключается не в ошибочности их ценностного предложения, а в долгосрочном несоответствии между продуктивностью, опытом извлечения, реальным спросом и стимулами Token. Это раскрывает огромную пропасть между идеалами гиков и мейнстримным коммерческим применением:

• Несоответствие стимулов спроса и предложения: Такие ранние сети, как Filecoin, быстро наращивали объемы с помощью Token, но не создавали достаточно сильного платящего спроса, что привело к огромной емкости, но недостаточной утилизации и конверсии в оплату. Вознаграждается «я могу хранить», а не «мне нужно хранить».

• Отсутствие возможностей корпоративного уровня обслуживания: Барьер AWS — не жесткие диски, а «операционная система данных», состоящая из API, SLA (соглашений об уровне обслуживания), управления правами доступа, аудита соответствия и технической поддержки. Предприятия покупают «спокойствие», а не экспериментальную инфраструктуру, где нужно самостоятельно разбираться с ключами и выбором узлов.

• Недостатки в опыте извлечения: «Загрузить» не означает «стабильно и с низкой задержкой извлечь». Распределенность узлов, сложная топология, отсутствие единого SLA делают их малопригодными для рабочих процессов с горячими данными ИИ, они больше подходят для надежной холодной архивной записи и отслеживания происхождения данных.

• Недостаточность приватности и соответствия требованиям: Частные корпоративные данные нельзя просто загружать в публичную постоянную сеть; право на удаление и постоянная неизменяемость по своей природе конфликтуют. Децентрализованное хранение больше подходит для публичных данных и долгосрочных архивов, а не для безразличного принятия на хранение ключевых частных данных.

• Token-экономика усиливает циклы: Финансиализация на бычьем рынке маскирует недостаток спроса, на медвежьем — снижение ROI у майнеров обнажает слабые стороны коммерциализации. Token может запустить предложение «на холодную», но не может автоматически создать спрос и устойчивый доход.

Другие проекты децентрализованного хранения в основном сосредоточены на конкретных экосистемах или нишевых сегментах: Storj/Sia имеют более слабое влияние на сознание отрасли в долгосрочной перспективе и нарратив Web3, чем Filecoin/Arweave; BNB Greenfield/Walrus привязаны к конкретным экосистемам публичных блокчейнов, таким как BNB или SUI; Celestia/EigenDA и другие относятся к уровню доступности данных (Data Availability, DA), служат для подтверждения транзакций Rollup, а не для долгосрочной архивной записи; проекты со смешанным нарративом ИИ / DA, такие как 0G, пытаются интегрировать хранение, доступность данных, вычисления и расчеты для AI agent в единую модульную инфраструктуру, ориентированную на ИИ (AI-native), но их реальный спрос, внедрение разработчиками и коммерческая замкнутость еще требуют проверки.

Будущие возможности децентрализованного хранения: Долгосрочный маятник между эффективностью и доверием

В период взрывного роста технологических дивидендов капитал бешено гонится за эффективностью, таким активам, как GPU и HBM, присваивается чрезвычайно высокая премия, а отстаивающее «доверие и справедливость» децентрализованное хранение естественным образом маргинализируется. Однако маятник истории не может вечно оставаться на стороне эффективности. Необоснованные блокировки и удаления контента суперплатформами, всплеск судебных исков об авторских правах в сфере ИИ, заставляющий доказывать происхождение данных, борьба за суверенитет данных, вызванная геополитическими конфликтами, исчезновение общественных архивов из-за монополии на данные, а также давление регулирующих органов на аудит соответствия данных для обучения моделей — все эти события потенциально могут подготовить почву для переоценки «надежного хранения». И будущие возможности децентрализованного хранения все еще могут проявить свою уникальную ценность в следующих направлениях:

• Отслеживание происхождения данных ИИ (Provenance): Создание «доказательства происхождения данных» с помощью криптографических доказательств для противодействия регулирующему и аудиторскому давлению.

• Публичные наборы данных и цивилизационные архивы: Закрепление подвергающихся цензуре архивов и культурного наследия, создание незаменимой, не поддающейся удалению памяти.

• Надежная архивная запись и сертификация соответствия: Достижение надежного самоудостоверения через сохранение хешей (Hash), предоставление цифрового нотариата высокого уровня.

• Интеграция с технологиями ZK/TEE/DID: Снятие напряжения между приватностью и хранением, переход от простого «протокола хранения» к «инфраструктуре доверенных данных».

• Стратегия невидимой продуктовой линии: Предоставление API, совместимого с S3, и расчетов в фиатных валютах, позволяя пользователям напрямую покупать услугу «надежной архивной записи».

Хранение для ИИ и децентрализованное хранение — одно стремится к предельной эффективности, предоставляя нам топливо для движения в будущее; другое защищает молчаливую память, сохраняя наше право оглядываться назад. В настоящее время рынок безоговорочно вознаграждает эффективность, поэтому децентрализованное хранение кажется тихим и даже рушащимся; но когда эпоха ИИ еще больше усилит монополию на данные, споры об авторских правах и хрупкость исторической памяти, децентрализованное хранение может получить переоценку своей ценности в качестве «надежного холодного слоя». Та память, которую нельзя легко стереть платформой, компанией или любой единоличной властью, возможно, превратится из романтики идеализма, из веры окраин в необходимую инфраструктуру.