На конференции Hot Chips и Samsung, и SK Hynix согласились, что GPU, память, фаундри и упаковка должны проектироваться как единая система. С тех пор их решения начали расходиться.
Samsung превращает базовый чип в активную часть системы. Компания планирует переместить контроллер памяти с GPU на логический базовый чип, высвободив таким образом 5–10% площади GPU для дополнительных вычислений и потенциально повысив производительность на 10–20%. Избирательные AI-операции также могут выполняться на базовом чипе для уменьшения перемещения данных. В долгосрочной перспективе она продвигает технологию zHBM, которая предусматривает прямое вертикальное размещение GPU и DRAM, что, как ожидается, снизит энергопотребление DRAM примерно на 70% при одновременном увеличении пропускной способности более чем в два раза.
SK Hynix сосредотачивается на увеличении числа слоев и управлении возникающими в результате проблемами нагрева и коробления. Компания подтвердила, что 12-слойный стек HBM4 вышел в производство, а 16-слойная версия находится на стадии валидации у клиентов. Гибридная сборка (hybrid bonding) — это путь к 20 и более слоям, позволяющий использовать более толстые чипы и более плотный шаг. Ее метод iHBM добавляет внутри стека в наиболее горячих областях специальный теплопроводящий путь. Конкуренция больше не касается только пропускной способности и объема. Архитектура базового чипа и передовая упаковка становятся решающим полем битвы.
Собственные базовые чипы Samsung на логических узлах
В своем выступлении на Hot Chips 2026 года Samsung Electronics представила zHBM — концепцию конечной эволюции высокопропускной памяти. Эта концепция отказывается от 2.5D интерпозера, размещая DRAM вертикально поверх вычислительных чипов, таких как GPU, формируя настоящую 3D-интегрированную архитектуру. Цель — снизить энергопотребление DRAM на 70% и увеличить пропускную способность в 2.3 раза по сравнению с HBM4E.
Samsung представила трехэтапную дорожную карту, превращающую базовый чип из пассивного канала передачи данных в активного вычислительного партнера. Первый этап перемещает контроллер памяти с xPU на базовый чип для высвобождения площади кристалла; второй этап добавляет базовому чипу возможности расширения памяти и вычислений для внимания (attention compute); третий этап в конечном итоге реализует zHBM.
Давайте посмотрим на подход Samsung.
В презентации они предоставили диаграммы, показывающие тенденции развития характеристик HBM5. Хотя ничто еще не определено окончательно, интересно взглянуть и на диаграмму в правом верхнем углу.
HBM5 объемом 60 ГБ и пропускной способностью 6 ТБ/с выглядит впечатляюще. Давайте подсчитаем. Пропускная способность 6 ТБ/с при 2048 каналах означает скорость передачи на вывод 23.5 Гбит/с. Наш текущий передовой показатель — 16 Гбит/с, это огромный шаг вперед, и использование передовых логических узлов вполне может сделать это возможным. Если емкость одного чипа составляет 3 ГБ, а общая — 60 ГБ, то высота стека составит 20 слоев.
На другом слайде Samsung подтвердила, что скорость передачи на вывод для HBM4E составляет 16 Гбит/с. Наши предыдущие расчеты для HBM5 также подтверждаются на диаграмме ниже.
Очевидное преимущество Samsung заключается в наличии собственных логических чипов, тогда как Micron и SK Hynix должны сотрудничать с другими, чтобы их получить. Samsung подчеркивает это преимущество и важность кастомных чипов. Samsung использует свой 1C-процесс для памяти и 4-нм процесс для логических чипов, что значительно снижает энергопотребление чипа. Следующее изображение намекает на Micron, которая использует DRAM-процесс для изготовления логических чипов в своих стеках HBM4.
Еще лучше то, что, как упоминалось ранее, Samsung четко разделяет свою продуктовую дорожную карту на три этапа. Мы рассмотрим каждый из них.
Этап 1: Низко висящие плоды
Когда подложка содержит логические узлы, физическая площадь модуля PHY HBM уменьшается, а энергоэффективность повышается. Это означает, что межкристальные модули, соединяющие HBM и XPU, будут меньше по размеру. Это дает два преимущества:
Увеличение площади в XPU для большего количества вычислений;
Увеличение полезной площади базового чипа HBM для реализации более продвинутых функций.
Недостатком уменьшения размеров является более высокая тепловая плотность в этих областях. Интересно, что они предоставили фактические размеры модулей PHY в разных поколениях HBM.
Samsung также упомянула, что она не склонна использовать UCIe в соединениях D2D, поскольку UCIe имеет больший размер и более высокое энергопотребление на бит. Они утверждают, что их собственная реализация PHY работает лучше. При переходе к HBM5 они представили концепцию интегрированного теплопроводящего блока (HPB) для охлаждения области PHY D2D.
Еще одно ключевое преимущество — выгрузка контроллера памяти, который может быть перемещен с XPU на кастомизированный базовый чип. Это освобождает место на чипе XPU, которое можно использовать для размещения большего количества блоков FPU.
Новое преимущество интеграции логических узлов в подложку — возможность реализации SRAM. Если ячейка в стеке DRAM повреждена, информация из этой ячейки может временно храниться в SRAM, и контроллер памяти будет искать эту информацию в SRAM, а не в поврежденной ячейке DRAM. Можно представить SRAM как резервный блокнот — временный записной листок для хранения данных, которые не могут быть сохранены в поврежденной ячейке DRAM.
Этап 2: RAS, тестирование, расширение, обработка
Использование логического узла в качестве подложки означает, что если размеры транзисторов малы, то кремниевая площадь, используемая для многих таких функций, также будет меньше. Сэкономленное пространство может быть использовано для различных целей, таких как повышение ремонтопригодности, доступности и сервисопригодности (RAS), проведение тестирования и сбор телеметрии о состоянии/здоровье стека памяти HBM. Учитывая, что телеметрия HBM является второй по значимости причиной сбоев обучения, она будет чрезвычайно полезна.
Если после этого останется свободная площадь кристалла, можно добавить еще кое-что. Контроллер расширения памяти используется для подключения другого стека HBM позади первого или для вставки DRAM-чипов для расширения памяти.
Наконец, раз доступны логические транзисторы, почему бы не интегрировать и некоторые вычислительные возможности прямо в подложку? Преимущество в том, что вычисления, такие как сжатие матриц или кодирование, могут выполняться на логическом чипе, не покидая подложку. Это дает преимущества как в задержке, так и в эффективности.
Если все пойдет хорошо, теоретически можно будет построить изящный акселератор, показанный в правом нижнем углу. Нарисовать такую блок-схему легко, и концептуально это интересно, но вызывает сомнения, будет ли реальное повышение производительности значительным.
Этап 3: Вертикализация
Заключительный этап — использование кастомизированного базового чипа и HBM, размещенных поверх логического чипа. Расстояние между вычислительным чипом и чипом памяти очень мало, поэтому биты данных должны передаваться на меньшее расстояние, что повышает энергоэффективность и увеличивает пропускную способность памяти за счет возможности использования большего количества параллельных путей передачи данных по всей площади кристалла, а не только по его краю.
Все это непросто, но для компании крайне важно иметь дорожную карту технологических улучшений. Это показывает, что они уверены в выпуске лучших продуктов в будущем, что хорошо для компании. Вопрос о том, готов ли рынок к такому продукту, — это уже другой вопрос.
SK Hynix продвигает гибридную сборку для HBM5
Вице-президент по инжинирингу упаковки SK Hynix America Джейсик Ли (Jaesik Lee) в своем выступлении на Hot Chips 2026 23 августа заявил, что SK Hynix ожидает, что технология гибридной сборки не сможет удовлетворить требования HBM4E, что отодвинет самый ожидаемый переход в упаковке памяти как минимум до HBM5.
Как он описал, проблема заключается в том, что общая толщина куба HBM ограничена 775 микрометрами — стандартной толщиной для 300-миллиметровых логических пластин, — поэтому каждый дополнительный слой DRAM требует более тонких чипов и более узких зазоров. 16-слойный HBM4 высокой плотности, находящийся на стадии валидации у клиентов (емкость одного куба 48 ГБ, тогда как 12-слойный HBM4 уже находится в массовом производстве), уменьшает толщину своих основных чипов примерно до 50 микрометров и вдвое сокращает зазор между чипами. Презентация Ли также подробно описывает архитектуру охлаждения iHBM, представленную компанией через три месяца после ее анонса в мае. Ли объяснил, что существует ограничение: модуль рассеивания тепла не может быть применен к какому-либо уже спроектированному продукту HBM.
Стандарт JEDEC HBM4 повысил предельную толщину упаковки с 720 микрометров (унаследовано от HBM3E) до 775 микрометров, что смягчило давление для внедрения гибридной сборки. Ли заявил, что при установке холодной пластины на упаковку GPU как логический чип, так и стеки памяти стачиваются, обнажая голый кремний. Поскольку толщина логической пластины составляет 775 микрометров, если высота чипов памяти станет немного больше, они превысят высоту соседнего процессора. «Это наш текущий предел, потому что толщина логической пластины также составляет 775 микрометров», — сказал Ли.
Более тонкие чипы означают большую долю оксидных слоев в стеке, а оксиды являются гораздо худшими проводниками тепла, чем кремний. Кроме того, увеличение скорости передачи на вывод с 1 Гбит/с в ранних HBM до 8 Гбит/с в HBM4 требует большей мощности на той же площади. Собственные данные SK Hynix показывают, что в представленных поколениях HBM тепловая нагрузка в среднем в 2.2 раза выше, а количество слоев удваивается каждые два поколения.
Технология массовой формованной под давлением подложки с обратным заполнением (MR-MUF) компании, которая укладывает все чипы стека методом «поднять и разместить» и соединяет их за один цикл оплавления, уже жертвует маржой: по словам Ли, заполнение вдвое уменьшенных зазоров при одновременном контроле коробления чипов толщиной менее 50 микрометров является основной производственной проблемой для 16-Hi.
В прошлом мае Samsung публично пообещала использовать гибридную сборку для HBM4, в то время как SK Hynix рассматривала медно-медную сборку как альтернативу передовой технологии MR-MUF. Затем JEDEC ослабил ограничения по толщине, что сделало гибридную сборку менее срочной. Сейчас в отрасли обсуждается дальнейшее увеличение толщины для 20-слойных стеков до 825–900 микрометров, что снова отодвинет внедрение медной сборки.
Еще в марте инсайдеры заявляли, что SK Hynix разместила первый крупный заказ на производство с гибридной сборкой — однолинейную систему стоимостью около 200 миллиардов вон (1500 миллионов долларов), объединяющую инструменты Applied Materials и Besi. Counterpoint Research ожидает, что эта технология войдет в полномасштабное производство HBM примерно в 2029–2030 годах с появлением HBM5.
Согласно дорожной карте SK Hynix, гибридная сборка в настоящее время все еще находится на стадии НИОКР для стеков из 20 и более слоев, и SK Hynix все еще решает, какой продукт первым получит эту технологию. Г-н Ли не уточнил, какое именно поколение, но исключая HBM4E, HBM5, скорее всего, станет самым ранним кандидатом. Эта технология соединяет плоские медные контактные площадки и оксидные поверхности при комнатной температуре, а затем использует тепловое расширение меди в процессе отверждения для формирования соединения.
«Это простой на вид процесс, но он чрезвычайно сложен», — говорит Ли. «Нам нужно 16 или даже 20 слоев для гибридной сборки, и это совершенно отличается от однослойного стека». Полное удаление микрокаплевидных выступов (microbumps) позволяет увеличить толщину основных чипов на 24% при высоте стека в 20 слоев, что по сравнению с MR-MUF той же высоты снижает тепловое сопротивление примерно на 35%, а шаг выступов (согласно схеме слоев чипа) может быть менее 18 микрометров по сравнению с текущими 30 микрометрами у MR-MUF. При шаге выступов HBM4 традиционные микровыступы все еще применимы, и каждый раз, когда JEDEC повышает предел толщины, MR-MUF может оставаться жизнеспособным и переходить в следующее поколение.
Концепция iHBM внедряет теплопроводящие, изолирующие блоки в межкристальную область PHY базового чипа (интерфейсные горячие точки с пиковой плотностью мощности), что, как утверждается, снижает тепловое сопротивление более чем на 30%.
Слайд Ли напрямую сравнивает iHBM с решением Samsung — модулем теплопроводящего пути (Heat Path Block). Модуль теплопроводящего пути Samsung отводит тепло из стека чипов через специальные тепловые колонны, в то время как переназначение схем в базовом чипе от Micron заявляет о повышении энергоэффективности более чем на 20%. Все три утверждения исходят от производителей и измеряются по разным критериям. Конструкции как SK Hynix, так и Samsung планируются для HBM5, но массовое производство не ожидается до 2028 года. Ли заявил, что поскольку эти блоки расположены внутри упаковки вместе с чипами PHY D2D, они требуют оптимизации в соответствии с дизайном клиента и не могут быть применены к уже спроектированным поколениям чипов, что делает iHBM совместной работой по проектированию. «Это хороший вариант, который мы можем предложить, но мы не можем применить его к поколениям чипов, которые уже спроектировали».
Во время сессии вопросов и ответов Тандж Беннетт из SemiAnalysis указал, что увеличение высоты стека памяти снижает пропускную способность самого кремния. DRAM на уровне ячеек работает с пропускной способностью около 20 ТБ/с на квадратный сантиметр; в то время как 20-слойный стек обеспечивает максимальную пропускную способность около 4 ТБ/с, а производственные мощности, необходимые для HBM, значительно выше, чем для эквивалентного объема DDR5 или LPDDR. «При высоте стека в 20 слоев эта память в среднем медленнее, чем DDR5», — сказал Беннетт. «Почему бы не использовать высоту стека HBM разумно, разместив вокруг более дешевую память?»
Ли ответил, что рабочие нагрузки для обучения требуют как пропускной способности, так и емкости, а затем добавил, что процесс вывода (инференс) может использовать оба, сохраняя кэш ключ-значение в высокоскоростной памяти, в то время как часть работы выгружается в память LPDDR. Такое разделение уже реализовано в таких продуктах, как платформа NVIDIA Vera Rubin, которая объединяет LPDDR5X и HBM4 через протокол NVLink-C2C именно для этой цели. Кроме того, спецификация High Bandwidth Flash Memory, совместно разработанная SK Hynix и SanDisk, расширяет эту концепцию иерархии на память NAND.
Говоря об иерархических решениях, Ли сказал: «Это также то, о чем нам нужно подумать в будущем». Согласно отчету за январь, SK Hynix получила около 70% заказов на чипы HBM для поколения NVIDIA Vera Rubin, и все они будут использовать технологию MR-MUF. Ли заявил, что компания еще не решила, какой продукт первой получит гибридную сборку.
Micron считает, что «стена памяти» усугубляется
В своем выступлении Micron Technology рассмотрит эволюцию архитектур памяти в области искусственного интеллекта. Как сообщается, Micron подробно расскажет о том, как высокопропускная память и передовые технологии упаковки становятся центральными в проектировании AI-систем.
Выступление Micron начинается с теории эффективности вычислений OpenAI, объясняя, почему память критически важна для масштабирования языковых моделей. Micron указывает на степенной закон между размером модели, размером набора данных и объемом вычислений для обучения, утверждая, что все три фактора должны масштабироваться вместе для повышения производительности языковых моделей. Память — это ключевой ресурс, связывающий эти три фактора.
Теперь поговорим о узком месте памяти. Micron заявляет, что TFLOPS (производительность операций с плавающей запятой) AI-акселераторов растут примерно в 3 раза каждые два года, в то время как пропускная способность прикрепленной 2.5D памяти (например, HBM) растет менее чем в 2 раза каждые два года. Этот растущий разрыв — причина того, почему технология памяти становится ключевым ограничивающим фактором производительности AI-систем.
Micron позиционирует HBM как мост между вычислениями и памятью, отслеживая растущие емкость, пропускную способность и энергоэффективность от поколения к поколению, от HBM2e до HBM5. Нужно отдать должное этому выступлению на технической конференции без обозначенной оси Y.
Здесь Micron показывает типичный GPU с площадью упаковки более 12000 квадратных миллиметров, включая базовый чип и восемь экземпляров памяти HBM4. Это означает, что при использовании 12-слойной HBM4 площадь кристаллов памяти может более чем в 8 раз превышать площадь самого кристалла GPU. Это действительно наглядная иллюстрация.
HBM повышает потолок пропускной способности памяти, сдвигая границу ограничений памяти, позволяя AI-рабочим нагрузкам, интенсивно использующим память, работать быстрее, прежде чем они упрутся в ограничения памяти.
Выступление Micron теперь подробно рассказывает о том, что такое HBM и как развивалось каждое поколение. Таблица продуктов показывает эволюцию от HBM1 до HBM4. Каждое поколение повышало скорость передачи данных, количество псевдоканалов и высоту стека, обеспечивая большую пропускную способность и емкость.
HBM устанавливается иначе, чем стандартные модули JEDEC RDIMM. На рисунке ниже показано, как стек HBM интегрируется с GPU или акселератором в системе гетерогенной интеграции и упаковывается в виде системного уровня в корпусе (SiP), а не как отдельный модуль в разъеме. Думаю, многие на STH видели такой дизайн раньше.
Каждый чип DRAM содержит несколько независимых каналов, каждый из которых имеет два псевдоканала, HBM3E несет 128 банков на чип, а HBM4 удваивает это число до 256. Базовый чип находится между хостом и стеком DRAM, используя PHY с микровыступами со стороны хоста и PHY с 3D TSV со стороны стека, соединенные высокоплотными межсоединениями точка-точка через интерпозер, увеличиваясь с 1K IO в HBM3E до 2K IO в HBM4.
Micron теперь показывает компромисс между производительностью и емкостью. Но они не показывают здесь реальной разницы в площади PCB и энергопотреблении. Может быть, это будет на более поздних слайдах?
Micron теперь обращает внимание на стоимость кремния, связанную с этой скоростью. Совокупные затраты на архитектуру дизайна, сложность передовой упаковки и производственных процессов означают, что для достижения той же емкости, что и у DDR5, для HBM3E требуется примерно в три раза больше кремния.
Micron затем подвела итог параметрам памяти, поддерживающим инновации в области ИИ, включая производительность, емкость и энергопотребление.
Более быстрые каналы ввода-вывода и большие интерпозеры продолжают двигать вперед технологии SiP, включая более быстрые конструкции ввода-вывода, SERDES и межкристальные PHY, оптимизированные для памяти, а также сопакетированные оптические устройства на стороне межсоединений. SiP большего размера на основе таких технологий, как CoWoS-L и CoWoS-R, а также стеклянные подложки также являются частью пути развития упаковки.
Теперь поговорим о надежности, включая взаимодействие чипа и упаковки и проблемы RAS. В гетерогенно интегрированных устройствах HBM несоответствие коэффициентов теплового расширения между различными материалами создает термомеханические напряжения. Фактически, в более широком смысле, это была одна из самых больших проблем при реализации WSE от Cerebras. Покрытие ECC разделено на два уровня: первый — HBM3, на системном уровне, где каждое 256-битное обращение использует 16 мета-битов; второй — основанное на символах кодирование Рида-Соломона, реализованное на кристалле.
Для контроля нагрева увеличение активности чипов DRAM, увеличение высоты стека и более продвинутые функции базового чипа увеличивают тепловыделение. Micron отмечает, что жидкостное охлаждение, гибридная сборка, а также улучшения в припое и боковых компаундах являются инновациями в области теплоотвода, необходимыми для поддержания масштабирования пропускной способности и емкости.
Тенденции в упаковке, кажется, подходят к концу.
В целом, эти данные показывают, как Micron Technology реагирует на эволюцию архитектур памяти для искусственного интеллекта. Micron взвешивает преимущества увеличения пропускной способности и емкости HBM с затратами на упаковку, охлаждение и надежность, связанными с размещением такого большого объема памяти рядом с вычислительными блоками.
Как вы думаете, каково будет будущее HBM?
Эта статья взята из официального аккаунта WeChat «半导体行业观察» (ID: icbank), автор: редакция.
