Оригинальный заголовок: DeepSeek's 10 trillion USD grand strategy
Оригинальный автор: @bookwormengr
Оригинальный перевод: Peggy, BlockBeats
Примечание редактора: За последний год обсуждения, касающиеся DeepSeek, в основном сосредотачивались на производительности моделей, стратегиях открытого кода и ценовых войнах. Но если понимать DeepSeek только через призму «продает ли она подписки», «есть ли у нее многомодальность», «может ли она быть coding agent», то это, возможно, недооценивает то, что она на самом деле стремится изменить.
Эта статья предлагает более радикальное суждение: цель DeepSeek, возможно, не заключается в краткосрочной монетизации на уровне приложений, а в серии инноваций в базовой архитектуре, пересмотре структуры затрат на обучение и вывод AI и косвенном содействии формированию новой аппаратной экосистемы. От MoE, MLA до DSA, CSA, mHC, Engram, а затем Dual Path и TileLang, технический путь DeepSeek всегда вращался вокруг одного ключевого вопроса: при ограниченных возможностях HBM, передовых техпроцессов, упаковки и экосистемы CUDA, как добиться более мощной модели, используя меньше высокопроизводительных вычислительных ресурсов.
Самое важное в статье — не «сможет ли DeepSeek заработать несколько миллиардов долларов на API или подписках», а то, стремится ли она объединить возможности модели, архитектуру памяти и локальную аппаратную экосистему. Сжатие KV Cache снижает зависимость от HBM, NAND и SSD могут брать на себя длительное кэширование, LPDDR можно использовать для потоковой загрузки весов и хранения Engram, а TileLang пытается ослабить ров с CUDA. Если эти инновации продолжат распространяться, выгоду получат не только сам DeepSeek, но и производители устройств хранения данных, ASIC, GPU, сетевых чипов и вся цепочка инфраструктуры AI.
Конечно, суждения в статье об «индустриальной экосистеме в 10 триллионов долларов» и «капитализации в 1 триллион долларов» все еще носят сильный спекулятивный характер. Но она предлагает важный путь для понимания DeepSeek: открытый исходный код не обязательно означает отказ от коммерциализации, а низкие цены — не просто субсидирование рынка. Для DeepSeek настоящий бизнес, возможно, находится не на уровне приложений, а в помощи сделать больше аппаратного обеспечения пригодным к использованию и сделать возможным предложение AI с более низкой себестоимостью. Другими словами, она продает, возможно, не саму модель, а осуществимость инфраструктуры AI следующего поколения.
Далее следует оригинальный текст:
Вы когда-нибудь задумывались, как именно DeepSeek собирается зарабатывать деньги, и причем большие?
Она не выпустила конкурентоспособных платных подписок для программирования, как GLM, MoonShot и MiniMax; у нее нет многомодальных, аудио- или видео-моделей. До сих пор у нее даже нет собственного harness, то есть внешней среды исполнения для вызова моделей, подключения инструментов и выполнения задач — хотя они недавно уже начали набирать сотрудников на соответствующие позиции, готовясь построить эту систему.
При этом DeepSeek, кажется, долгое время твердо стоит на стороне открытого кода и даже с удовольствием делится своими «секретами». Разве это не безумие? Не все ли это сжигание денег? Разве инвесторы, готовые вложить в нее 100 миллиардов долларов, просто выбрасывают деньги на ветер?
Лично я думаю, что ответ как раз противоположный.
Далее я, основываясь на том, что DeepSeek уже сделала на сегодняшний день, предложу некоторые наблюдения и проанализирую стратегию, которой она, судя по всему, следует. Цель генерального директора DeepSeek Лян Вэньфэна, возможно, гораздо шире, чем просто соревнование моделей. Он, возможно, нацелен на более крупный приз: у DeepSeek есть шанс достичь капитализации в 1 триллион долларов и одновременно способствовать формированию новой индустрии объемом в 10 триллионов долларов.
Отчет TechInAsia о последнем раунде финансирования DeepSeek
Переосмысление «Пути героя» DeepSeek
DeepSeek всегда шла против течения. Она не стала постоянно выпускать чуть более сильные модели и спешно упаковывать их в приложения для прямой монетизации, например, в платные подписки для программистов. 27 января 2025 года я опубликовал широко разошедшийся твит о том, как я вижу «Путь героя» DeepSeek. Сегодня эта история стала еще интереснее.
Когда другие еще пытались строить плотные модели, DeepSeek выбрала более сложную для обучения смесь экспертов (Mixture of Experts, MoE).
Они использовали подход «первых принципов», изобрели новый алгоритм GRPO, чтобы заменить тогдашний основной, но более дорогой в реализации алгоритм обучения с подкреплением PPO.
Они обнаружили, что обучение с подкреплением на основе верифицируемых наград (Reinforcement Learning from Verified Rewards, RLVR) — это ключевая стратегия для улучшения способностей модели к рассуждению.
Они также предложили простую стратегию спекулятивного декодирования через «прогнозирование нескольких токенов» (Multi Token Prediction), одновременно сделав обучающий сигнал более плотным.
Они усовершенствовали конвейер «нулевого пузыря» (ZERO bubble), чтобы повысить эффективность использования ограниченных ресурсов GPU.
Они выпустили балансировщик нагрузки экспертов, позволяющий всем легче развертывать модели MoE. Особенно благодаря стратегии «широкого параллелизма экспертов» (Wide Expert Parallel), модель может обслуживаться с большим размером пакета, что значительно снижает стоимость вывода.
Они изобрели механизмы MLA, DSA, CSA, HCA для уменьшения потребности в KV Cache и для того, чтобы вычислительные потребности, растущие с увеличением длины контекста, оставались как можно ближе к постоянным.
Они изобрели Engram, жертвуя памятью ради вычислительной эффективности.
Они также изобрели mHC, позволяющий стабильно обучаться при увеличении масштаба модели. И таких примеров много.
В самой распространенной нарративной структуре «Пути героя», герой никогда с самого начала не знает, куда ведет его путь. Он учится по ходу дела, постепенно обнаруживая свое истинное великое предназначение и выполняя его, несмотря на множество препятствий. У него много скептиков, но он игнорирует их. Есть и много злонамеренных деятелей. У него есть явные недостатки, но в итоге он их преодолевает и выполняет свою миссию. Он сталкивается с кажущимися непреодолимыми вызовами, но находит способ объединиться с другими и учится мудро использовать ограниченные и ценные ресурсы. Именно это заставляет зрителей болеть за героя. Это также причина, по которой DeepSeek завоевывает последователей, мировое уважение и противников.
Как я подробно объясню далее, DeepSeek уже давно идет по этому пути и постепенно обнаруживает свою конечную судьбу: ее цель — не продавать платные подписки для программистов, а стимулировать формирование китайской аппаратной экосистемы AI объемом в 10 триллионов долларов и достичь собственной капитализации в 1 триллион долларов. В этом процессе она также создаст возможности для многих новичков в западной аппаратной экосистеме.
Начнем с некоторых интересных вычислений KV Cache
Посмотрите на этот очень своевременный твит от @SemiAnalysis_:
DeepSeek уже лучше всех решила эту проблему!
Давайте немного посчитаем с KV Cache. Не волнуйтесь, даже если вы не любите математику. Мы воспользуемся недавно выпущенным калькулятором KV Cache, чтобы увидеть, сколько экономии он дает для DeepSeek V4 Pro, и сравним его с последними моделями GLM и Qwen.
Я произведу расчет для контекста в 1 миллион токенов, предположив, что точность KV составляет 8 бит, а индексатора — 16 бит. Вы можете сами открыть калькулятор и попробовать: https://kvcache.ai/tools/kv-cache-calculator/
Вы можете сами открыть калькулятор и попробовать!
При длине контекста в 1 миллион токенов:
· DeepSeek V4 требуется всего 5.48 ГБ HBM;
· GLM-5 требуется 60 ГБ HBM;
· Qwen3-235B-A22B требуется до 89 ГБ HBM.
Обратите внимание:
· DeepSeek — это модель с 1,6 триллиона параметров;
· GLM-5 — примерно 700 миллиардов параметров, и она уже использует MLA и DSA от DeepSeek, но еще не использует последний механизм сжатого внимания;
· Qwen3-235B-A22B — примерно 235 миллиардов параметров и использует механизм внимания GQA.
DeepSeek внесла фундаментальный вклад в снижение нагрузки на память. Если такие инновации получат широкое распространение, они значительно снизят стоимость выполнения долгосрочных агентов и откроют следующую партию новых сценариев применения.
Сравнение занимаемого места KV Cache при контексте в 1 миллион токенов и различных масштабах моделей
Методология за «безумием»
То, что объем KV Cache может быть таким маленьким без потери качества модели, как раз и является причиной, по которой DeepSeek может предлагать длительное кэширование по крайне низкой цене — даже менее 3% от цены кэширования Sonnet 4.6, причем DeepSeek может хранить кэш в течение нескольких часов.
Для долгосрочных задач небольшой KV Cache означает, что его можно более экономично выгружать на SSD и перезагружать по мере необходимости. Таким образом снижается зависимость от HBM. С точки зрения китайской индустрии аппаратного обеспечения AI, HBM не только ограничена в поставках, но и является одним из самых сложных в производстве типов памяти.
Кроме того, DeepSeek разработала технологию более быстрой загрузки KV Cache с SSD, что описано в ее статье о Dual Path.
Сжатие KV Cache в DeepSeek V4 настолько велико, что этот шаг, возможно, даже больше не нужен.
Так кто же является самым непосредственным бенефициаром сжатия KV Cache?
Кто поставляет SSD в больших объемах? Не забывайте, YMTC (Yangtze Memory Technologies Co.) становится гигантом в области 3D NAND. NAND может помочь DeepSeek избежать повторных вычислений KV. В свою очередь, DeepSeek создает огромный рынок для NAND и SSD — это принесет пользу не только YMTC, но и другим связанным производителям.
Однако дело не только в NAND и SSD.
Память LPDDR также обладает огромным потенциалом. Она может служить местом хранения весов модели и потоково передавать эти веса в HBM по мере необходимости, снижая нагрузку на HBM. Команда SGLang выпустила хороший блог на эту тему. На диаграмме ниже показано, как работает эта схема.
Хотя DeepSeek не делала специальных разработок именно для этой схемы, ее архитектура MoE, наличие множества экспертных моделей и 4-битные веса облегчают реализацию этой схемы.
На этой схеме показано, как может использоваться память и как веса модели могут потоково передаваться из LPDDR в HBM. Настоятельно рекомендую прочитать тот блог от SGLang.
Если объединить эту инновацию с чрезвычайно компактным и без потерь KV Cache, это значительно снизит потребность в HBM.
Так кто же в Китае производит LPDDR? Ответ — CXMT, то есть ChangXin Memory Technologies. Они отстают примерно на полпоколения по скорости LPDDR и на одно поколение по плотности — разрыв не такой уж большой.
Помимо достаточного количества NAND, китайская экосистема AI в ближайшем будущем также будет иметь достаточные поставки LPDDR. Сможет ли это снизить давление на вычислительные ресурсы? Ответ: да. Читайте дальше.
Интеллектуальное использование памяти также может снизить нагрузку на GPU/ASIC
Роль использования NAND для хранения KV Cache довольно проста для понимания: оно позволяет хранить KV Cache дольше, снижает нагрузку на HBM и, избегая повторных вычислений KV Cache, снижает вычислительную нагрузку на GPU и ASIC.
Может ли LPDDR работать аналогичным образом? Помимо того, что она служит хранилищем для потоковой передачи весов в HBM «по требованию и мгновенно», может ли она еще больше снизить вычислительную нагрузку?
Ответ: да.
LPDDR можно использовать для хранения большого количества контента, называемого Engram. В статье DeepSeek об Engram они отмечают, что MoE может расширить емкость модели с помощью условных вычислений, но сам Transformer не имеет встроенного механизма «поиска знаний». Поэтому Transformer часто вынужден неэффективно имитировать процесс поиска с помощью вычислений.
Чтобы решить эту проблему, DeepSeek предложила модуль Engram. Она модернизировала классическое N-gram embedding, превратив его в механизм поиска на основе хеширования со сложностью O(1), создавая тем самым дополнительный путь разреживания, который они называют условной памятью (conditional memory).
Этот подход может сэкономить вычисления, но также требует памяти для размещения таблицы embedding, которая сама по себе может быть очень большой.
По сути, это классическая схема «память в обмен на вычисления». Но ключевое понимание заключается в том, что с точки зрения стоимости чтения на бит данных, сторона «памяти» намного дешевле — один поиск в LPDDR гораздо дешевле, чем выполнить одно прямое вычисление через многослойный Transformer. Поэтому в больших масштабах это очень выгодный обмен.
Вот как DeepSeek жертвует частью памяти ради экономии вычислений.
Это стоящий компромисс
Из-за отсутствия сопоставимой плотности транзисторов на чипе и EUV, китайские GPU и ASIC, вероятно, будут отставать от западных GPU по исходной вычислительной мощности FLOPs в долгосрочной перспективе. У них также все еще есть заметный разрыв в области передовой упаковки. Поэтому такой компромисс очень оправдан, особенно учитывая, что Китай может производить память NAND и LPDDR в больших объемах.
Взгляд на долгосрочную стратегию DeepSeek
Судя по этим инновациям, цель DeepSeek, похоже, не в том, чтобы заработать несколько миллиардов долларов прибыли прямо сейчас. Многие ее прошлые решения говорят об этом: до сих пор нет многомодальности, нет речевых моделей, не говоря уже о видео-моделях.
На самом деле она участвует в долгой игре, масштаб которой может достичь 10 триллионов долларов: стимулирование формирования альтернативной аппаратной экосистемы AI.
Это делается не только для того, чтобы китайские производители памяти стали ключевыми игроками на китайском и мировом рынках аппаратного обеспечения AI, но и для фундаментального снижения потребности в ресурсах, чтобы обучение и обслуживание моделей AI стали более рентабельными. Таким образом, многие производители GPU, ASIC и сетевых чипов получат шанс стать жизнеспособными вариантами.
В то же время эти инновации также принесут пользу западной экосистеме открытого кода и новому поколению производителей аппаратного обеспечения.
На самом деле все признаки уже налицо. Давайте подробно рассмотрим инновации, предложенные DeepSeek на сегодняшний день:
1. Смесь экспертов (MoE) и MLA, представленные в DeepSeek V2
DeepSeek представила MoE и MLA в V2. MoE уменьшила требуемый объем вычислений для обучения высокоинтеллектуальных моделей примерно на 40-50%; MLA уменьшила KV Cache на 90%.
Это сделало выгрузку KV Cache на SSD довольно эффективной.
Эти идеи впервые появились в статье DeepSeek V2, опубликованной DeepSeek в мае 2024 года. Позже они легли в основу обучения DeepSeek V3. В то время DeepSeek использовала всего 2048 ослабленных по производительности GPU H800 для обучения системы, близкой по уровню к закрытым моделям.
2. DSA: представлена в DeepSeek V3.2 Exp для снижения вычислительных затрат в сценариях длинного контекста и снижения нагрузки на пропускную способность HBM.
Основная роль DSA заключается в том, чтобы количество вычислений не продолжало расти с увеличением длины контекста. Посмотрите на график ниже: с увеличением длины контекста время обработки DeepSeek-V3.2 остается практически неизменным.
3. mHC: предложена DeepSeek в статье «mHC: Manifold-Constrained Hyper-Connections» в декабре 2025 года.
mHC — это инновация DeepSeek на уровне макроархитектуры, которая перепроектирует поток информации между слоями Transformer.
Со времен ResNet модели обычно использовали стандартное остаточное соединение, то есть x + F(x). mHC расширяет остаточный поток до нескольких параллельных информационных каналов и позволяет модели обучаемо смешиваться между этими каналами. Ключевой момент заключается в том, что она ограничивает матрицу смешивания как дважды стохастическую матрицу, то есть ограничивает ее многогранником Биркгофа с помощью проекции Синкхорна-Кноппа. Это математически гарантирует, что амплитуда сигнала останется стабильной, независимо от глубины модели.
Это решает проблему катастрофической нестабильности, с которой сталкивались неограниченные Hyper-Connections. Hyper-Connections были первоначально предложены ByteDance, но без ограничений усиление сигнала на масштабе 27 миллиардов параметров взрывалось до 3000 раз, что в конечном итоге приводило к полному сбою обучения.
mHC имеет низкую вычислительную стоимость: она добавляет только около 6,7% фактического времени обучения, поскольку не меняет FLOPs слоев внимания или FFN, а лишь меняет способ маршрутизации выхода этих слоев между слоями.
Но выигрыш в производительности довольно заметен: на масштабе 27 миллиардов параметров mHC дает улучшение на 7,2 балла в задачах рассуждения BIG-Bench Hard, на 3,2 балла в DROP, на 2,8 балла в математических задачах GSM8K и на 1,4 балла в общих знаниях MMLU. И эти улучшения достигаются при том же масштабе модели и практически том же вычислительном бюджете.
По сути, mHC, предоставляя сети более богатую и выразительную топологию маршрутизации информации между слоями, достигает более высокого интеллекта на параметр при почти нулевом увеличении FLOPs.
mHC — это сложный архитектурный дизайн, но он обеспечивает более стабильный процесс обучения и более высокий интеллект на параметр.
4. CSA, HSA: представлены DeepSeek в V4 в апреле 2026 года.
Цель CSA и HSA — уменьшить потребность в KV Cache еще на 90% за счет сжатия KV-токенов, одновременно значительно сократив требуемые FLOPs, тем самым снизив нагрузку как на HBM, так и на GPU/ASIC.
5. Engram: представлена DeepSeek в первом квартале 2026 года, по сути, это обмен памяти, то есть памяти LPDDR, на вычислительную эффективность.
Как показано на подробной диаграмме ниже, при одинаковом общем бюджете параметров Engram дает заметное улучшение производительности.
6. Engram: представлена DeepSeek в первом квартале 2026 года, по сути, это обмен памяти, то есть памяти LPDDR, на вычислительную эффективность.
Как показано на подробной диаграмме ниже, при одинаковом общем бюджете параметров Engram дает заметное улучшение производительности.
Это рекомендации, которыми DeepSeek поделилась с производителями аппаратного обеспечения в статье V4. Я уверен, что в частных обсуждениях их обратная связь была бы еще более обширной.
7. Инвестиции в TileLang также указывают в том же направлении: DeepSeek не просто решает свои собственные узкие места в вычислениях, а способствует тому, чтобы китайская аппаратная экосистема приобрела конкурентоспособность с западной.
С помощью TileLang разработчики могут написать ядро (kernel), то есть низкоуровневый код для вычислений, всего один раз, а затем успешно запустить его на нескольких аппаратных платформах при условии, что для этих платформ уже есть соответствующая бэкенд-поддержка TileLang.
Я ожидаю, что другие китайские AI-лаборатории также постепенно присоединятся. Это поможет китайским производителям аппаратного обеспечения косвенно справиться с так называемым «рвом CUDA». Кроме того, это раскроет потенциал большего количества западных аппаратных решений, таких как AMD.
Следует отметить, что многие китайские платформы аппаратного обеспечения AI уже обеспечивают совместимость с CUDA или уровень трансляции CUDA. Например, Moore Threads, MetaX, Biren и Iluvatar Core — это китайские производители чипов с высокой степенью совместимости с CUDA через уровни трансляции. Поэтому теоретически им не обязательно нужен TileLang.
Обучение с подкреплением в больших масштабах и RSI
По мере того как DeepSeek получает доступ к большему количеству источников вычислительных ресурсов, то есть появляется больше вариантов аппаратного обеспечения, и при этом потребность самой модели в вычислительных ресурсах снижается, она сможет продвигать более амбициозные проекты обучения, особенно последующее обучение с подкреплением.
Обучение с подкреплением требует генерации большого количества траекторий, то есть генерации триллионов токенов. Этот процесс быстро становится чрезвычайно дорогим. Более того, если нужно обучить модель с контекстом в 1 миллион токенов, необходимо генерировать траектории такой же длины. Только обучая модель на таких сверхдлинных траекториях, можно по-настоящему поддерживать долгосрочные задачи.
Кроме того, благодаря увеличению вариантов аппаратного обеспечения, у DeepSeek будет больше доступных аппаратных ресурсов, что будет стимулировать автоматизацию исследований, то есть RSI (Research in the Service of Intelligence). RSI означает, что AI сама проектирует и выполняет эксперименты. Этот метод связан с большим количеством проб и ошибок, и затраты быстро растут. Но RSI имеет решающее значение для исследования всего пространства проектирования моделей. Прежде чем двигаться к AGI, а затем к ASI, DeepSeek должна обладать возможностями RSI.
То, что делает DeepSeek сегодня, завтра будет делать вся индустрия
Инновации DeepSeek в области MoE, MLA, DSA и других направлений уже постепенно внедряются другими AI-лабораториями по всему миру и в Китае.
Например, ZAI, разработчик серии моделей GLM, использует MLA и DSA. Kimi, то есть Moonshot, также использует MLA и открыто заявляет, что ее архитектура основана на дизайне архитектуры DeepSeek. В свою очередь, DeepSeek использует оптимизатор Muon, который изначально был принят для крупномасштабного обучения Kimi (Moonshot).
Следует пояснить:
MoE была впервые предложена Google в 2017 году, ключевым автором был Ноам Шазер. Вклад DeepSeek заключается в крупномасштабном применении MoE и изобретении собственных вспомогательных приемов.
Muon, то есть оптимизатор MomentUm Orthogonalized by Newton-Schulz, был предложен исследователем машинного обучения Келлером Джорданом в конце 2024 года. Команда Kimi (Moonshot) была первой, кто использовала его для крупномасштабного обучения.
А как же вопрос заработка денег?
Мы можем посмотреть на интересный пример OpenAI.
OpenAI получила варранты/опционы на покупку акций AMD и Cerebras по низкой цене, эти права привязаны к вехам потребления вычислительных ресурсов. Для AMD и Cerebras это очень выгодная сделка. Потому что, как только OpenAI обязуется использовать их аппаратное обеспечение, вероятность их долгосрочного успеха значительно возрастает.
В заявлении AMD есть такой абзац:
«В рамках соглашения, для дальнейшего согласования стратегических интересов сторон, AMD выпустила для OpenAI варранты на покупку до 160 миллионов обыкновенных акций AMD, которые будут постепенно становиться доступными по мере достижения определенных вех. Первая партия станет доступной после завершения первоначального развертывания мощностью 1 гигаватт, последующие партии будут постепенно становиться доступными по мере увеличения объемов закупок до 6 гигаватт. Условия предоставления также привязаны к достижению AMD определенных целевых показателей цен на акции, а также к достижению OpenAI технических и коммерческих вех, необходимых для крупномасштабного развертывания AMD.»
Я ожидаю, что DeepSeek также заключит аналогичные соглашения с несколькими китайскими производителями памяти, ASIC, CPU и сетевых технологий и будет тесно сотрудничать с ними, чтобы их аппаратные стеки могли справляться с ведущими рабочими нагрузками AI.
Учитывая, что общая рыночная капитализация всех западных, включая восточноазиатских союзников, AI-акций уже намного превышает 10 триллионов долларов, такой подход «получения долевого вознаграждения через сотрудничество» даст DeepSeek возможность помочь Китаю создать столь же огромную индустрию и получить в ней свою долю, достигнув в итоге собственной капитализации в 1 триллион долларов.
Это не только принесет DeepSeek гораздо больше денег, чем традиционный бизнес подписок на приложения, но и позволит достичь заявленной ею цели — «сделать AGI доступным для каждого». Лян Вэньфэн — большой поклонник Джима Саймонса и достаточно умный игрок на рынке капитала, он не может упустить такую возможность.
Если оглянуться на все, что DeepSeek сделала до сих пор, только такое объяснение имеет смысл.
Это ключевые AI-акции. На диаграмме еще не включены гиперскалеры (hyperscalers), то есть сверхкрупные облачные провайдеры, и многие другие связанные компании.
Ссылка на оригинал
