Tại Hội nghị Hot Chips, cả Samsung và SK Hynix đều đồng ý rằng GPU, bộ nhớ, xưởng đúc wafer và đóng gói phải được thiết kế như một hệ thống. Từ đó, giải pháp của họ bắt đầu đi theo những hướng khác nhau.
Samsung đang biến chip đế (base die) từ một phần thụ động thành một phần tích cực trong hệ thống. Họ lên kế hoạch chuyển bộ điều khiển bộ nhớ từ GPU lên chip đế logic, giải phóng 5–10% diện tích GPU cho nhiều tính toán hơn, và có thể tăng hiệu suất lên 10–20%. Các hoạt động AI chọn lọc cũng có thể chạy trên chip đế để giảm việc di chuyển dữ liệu. Về lâu dài, họ đang thúc đẩy công nghệ zHBM, công nghệ xếp chồng trực tiếp GPU và DRAM, dự kiến giảm khoảng 70% công suất DRAM đồng thời tăng gấp đôi băng thông.
SK Hynix tập trung vào việc xếp chồng cao hơn và quản lý vấn đề nhiệt và biến dạng phát sinh. Họ xác nhận HBM4 12 lớp đã bước vào giai đoạn sản xuất, trong khi phiên bản 16 lớp đang ở giai đoạn thẩm định khách hàng. Liên kết lai (hybrid bonding) là con đường dẫn đến xếp chồng 20 lớp trở lên, cho phép sử dụng chip dày hơn và khoảng cách kết nối chặt chẽ hơn. Phương pháp iHBM của họ thêm một đường dẫn nhiệt chuyên dụng vào bên trong vùng nóng nhất của chồng chip. Cuộc cạnh tranh không chỉ còn là về băng thông và dung lượng. Kiến trúc chip đế và đóng gói tiên tiến đang trở thành chiến trường quyết định.
Chip đế tùy chỉnh dựa trên nút logic của Samsung
Tại bài phát biểu Hot Chips 2026, Samsung Electronics đã công bố zHBM, hình thái tiến hóa tối thượng của bộ nhớ băng thông cao. Khái niệm này loại bỏ interposer 2.5D, xếp chồng DRAM theo chiều dọc lên trên chip tính toán như GPU, tạo thành kiến trúc tích hợp 3D thực sự, với mục tiêu giảm 70% công suất DRAM và tăng băng thông lên 2.3 lần so với HBM4E.
Samsung đã xây dựng lộ trình ba giai đoạn, biến chip đế từ kênh truyền dữ liệu thụ động trở thành đối tác tính toán chủ động. Giai đoạn một di chuyển bộ điều khiển bộ nhớ từ xPU sang chip đế để thu hồi diện tích wafer; giai đoạn hai thêm khả năng mở rộng bộ nhớ và tính toán chú ý cho chip đế; giai đoạn ba cuối cùng thực hiện zHBM.
Tiếp theo, hãy xem xét giải pháp của Samsung.
Trong bài phát biểu, họ cung cấp một số biểu đồ cho thấy xu hướng phát triển về mặt thông số kỹ thuật của HBM5. Mặc dù mọi thứ chưa được quyết định, nhưng nhìn vào biểu đồ ở góc trên bên phải cũng khá thú vị.
HBM5 có dung lượng 60GB và băng thông 6TB/s nghe rất ổn. Hãy tính toán chi tiết. Băng thông 6 TB/s, 2048 kênh, có nghĩa là tốc độ truyền trên mỗi chân là 23.5 Gbps. Tốc độ tiên tiến nhất hiện tại của chúng tôi là 16 Gbps, đây là một bước tiến lớn và việc sử dụng nút logic tiên tiến rất có thể sẽ đạt được điều này. Nếu mỗi chip có dung lượng 3 GB và tổng dung lượng là 60 GB, thì độ cao xếp chồng sẽ là 20 lớp.
Trong một slide khác, Samsung xác nhận tốc độ truyền trên mỗi chân của HBM4E là 16 Gbps. Tính toán trước đó của chúng tôi về HBM5 cũng được minh chứng trong biểu đồ dưới đây.
Lợi thế rõ ràng của Samsung là họ có chip logic tự phát triển, trong khi Micron và SK Hynix cần hợp tác với người khác để có được chip này. Samsung nhấn mạnh lợi thế này và giải thích tầm quan trọng của việc tùy chỉnh chip. Samsung sử dụng quy trình 1C để sản xuất bộ nhớ và quy trình 4nm cho chip logic, từ đó giảm đáng kể công suất của chip. Hình dưới đây ám chỉ đến Micron, công ty đã sử dụng quy trình DRAM để sản xuất chip logic trong chip bộ nhớ HBM4.
Tốt hơn nữa, như đã đề cập trước đó, Samsung đã chia rõ ràng lộ trình sản phẩm thành ba giai đoạn. Chúng ta sẽ lần lượt đi qua từng giai đoạn.
Giai đoạn một: Quả ngọt dễ hái
Khi nút logic được tích hợp trong đế, diện tích vật lý của mô-đun PHY HBM giảm xuống và hiệu quả năng lượng được cải thiện. Điều này có nghĩa là kích thước mô-đun chip-to-chip kết nối HBM và XPU sẽ nhỏ hơn. Có hai lợi ích:
Tăng diện tích trong XPU để thực hiện nhiều tính toán hơn;
Tăng diện tích khả dụng trên đế HBM để thực hiện các chức năng cao cấp hơn.
Nhược điểm của việc thu nhỏ kích thước là mật độ nhiệt ở các khu vực này cao hơn. Thú vị là, họ cung cấp kích thước thực tế của mô-đun PHY trong các thế hệ HBM khác nhau.
Samsung cũng đề cập rằng họ không có xu hướng sử dụng UCIe trong liên kết D2D vì UCIe có kích thước lớn hơn và năng lượng trên mỗi bit cao hơn. Họ nói rằng giải pháp triển khai PHY tùy chỉnh của họ hoạt động tốt hơn. Trong quá trình chuyển đổi sang HBM5, họ đã trình bày khái niệm Khối đường dẫn nhiệt tích hợp (HPB) để làm mát khu vực D2D PHY.
Một lợi thế chính khác là việc dỡ tải bộ điều khiển bộ nhớ, có thể chuyển từ XPU sang chip đế tùy chỉnh. Điều này giải phóng không gian trên chip XPU, không gian này có thể được sử dụng để vận hành nhiều bộ xử lý dấu phẩy động hơn.
Một lợi thế mới của việc tích hợp nút logic vào đế là khả năng triển khai SRAM. Nếu một ô trong ngăn xếp DRAM bị hỏng, thông tin trong ô đó có thể được lưu trữ tạm thời trong SRAM, và bộ điều khiển bộ nhớ sẽ tìm kiếm thông tin này từ SRAM thay vì từ ô DRAM bị hỏng. Có thể tưởng tượng SRAM như một cuốn sổ dự phòng, nó hoạt động như một sổ ghi chép tạm thời để lưu những dữ liệu không thể lưu trong ô DRAM bị hỏng.
Giai đoạn hai: RAS, Kiểm tra, Mở rộng, Xử lý
Sử dụng nút logic làm đế có nghĩa là, nếu kích thước transistor nhỏ, thì diện tích silicon được sử dụng cho nhiều chức năng như vậy cũng sẽ nhỏ hơn. Không gian tiết kiệm được có thể được sử dụng cho nhiều mục đích, chẳng hạn như cải thiện khả năng sửa chữa, khả năng sử dụng và khả năng bảo trì (RAS), tiến hành kiểm tra và thu thập dữ liệu từ xa về tình trạng/trạng thái sức khỏe của ngăn xếp bộ nhớ HBM. Vì dữ liệu từ xa HBM là yếu tố lớn thứ hai gây ra thất bại trong quá trình huấn luyện, nên dữ liệu từ xa HBM sẽ rất hữu ích.
Nếu còn diện tích silicon dư thừa, thì có thể xây dựng thêm. Bộ điều khiển mở rộng bộ nhớ được sử dụng để kết nối một ngăn xếp HBM khác phía sau ngăn xếp HBM đầu tiên, hoặc chèn chip DRAM để mở rộng bộ nhớ.
Cuối cùng, vì transistor logic có sẵn, tại sao không tích hợp một số khả năng tính toán trên đế? Lợi ích của việc này là các tính toán như nén ma trận hoặc mã hóa có thể được thực hiện trên chip logic mà không cần rời khỏi đế. Điều này có lợi về cả độ trễ và hiệu quả.
Nếu mọi thứ suôn sẻ, về lý thuyết có thể xây dựng bộ gia tốc tinh vi ở góc dưới bên phải. Vẽ một sơ đồ khối như vậy rất dễ dàng và thú vị về mặt khái niệm, nhưng liệu nó có mang lại cải thiện hiệu suất đáng kể hay không vẫn còn đáng nghi ngờ.
Giai đoạn ba: Theo chiều dọc
Giai đoạn cuối cùng là sử dụng chip đế tùy chỉnh và HBM, và xếp chồng chúng lên trên chip logic. Khoảng cách giữa chip tính toán và chip bộ nhớ rất ngắn, vì vậy các bit dữ liệu chỉ cần di chuyển trên một khoảng cách ngắn hơn, điều này cải thiện hiệu quả năng lượng và tăng băng thông bộ nhớ do có thể sử dụng nhiều đường dẫn dữ liệu song song hơn trong khu vực chip (chứ không chỉ dọc theo rìa chip).
Tất cả điều này không dễ dàng, nhưng đối với một công ty, việc xây dựng lộ trình cải tiến công nghệ là rất quan trọng. Nó cho thấy họ tự tin sẽ ra mắt sản phẩm tốt hơn trong tương lai, và đó là một điều tốt cho công ty. Việc thị trường đã sẵn sàng cho sản phẩm này hay không lại là một vấn đề khác.
SK Hynix Thúc đẩy Công nghệ Hybrid Bonding cho HBM5
Jaesik Lee, Phó chủ tịch Kỹ thuật đóng gói tại SK hynix America, phát biểu tại Hot Chips 2026 vào ngày 23 tháng 8 rằng SK Hynix dự đoán công nghệ hybrid bonding sẽ không đáp ứng được yêu cầu của HBM4E, điều này sẽ khiến quá trình chuyển đổi đóng gói bộ nhớ được mong đợi nhất ngành phải đợi đến HBM5 sớm nhất.
Như ông mô tả, vấn đề nằm ở việc tổng độ dày của khối HBM bị giới hạn ở 775 micromet — đây là độ dày tiêu chuẩn của wafer logic 300 mm — do đó, mỗi lớp DRAM bổ sung phải sử dụng chip mỏng hơn và khoảng cách hẹp hơn. HBM4 16 lớp mật độ cao hiện đang được thẩm định khách hàng (trong khi HBM4 12 lớp mật độ cao đã sản xuất) đã giảm độ dày chip lõi xuống khoảng 50 micromet và giảm một nửa khoảng cách giữa các chip. Bài phát biểu của Lee cũng trình bày chi tiết về kiến trúc làm mát iHBM của công ty, được công bố ba tháng sau khi ra mắt vào tháng Năm. Lee giải thích rằng có một hạn chế là mô-đun tản nhiệt không thể áp dụng cho bất kỳ sản phẩm HBM nào đã được thiết kế.
Tiêu chuẩn HBM4 của JEDEC đã nâng giới hạn độ dày đóng gói từ 720 micromet (được HBM3E kế thừa) lên 775 micromet, giúp giảm bớt áp lực từ việc áp dụng công nghệ hybrid bonding. Lee nói rằng khi đóng gói GPU được gắn tấm làm mát, cả chip logic và các lớp xếp chồng bộ nhớ đều được mài một phần để lộ silicon trần. Vì độ dày wafer logic là 775 micromet, nếu chiều cao chip bộ nhớ tăng thêm một chút nữa, nó sẽ vượt quá chiều cao của bộ xử lý bên cạnh. "Đây là giới hạn chúng tôi có thể đẩy lên hiện tại, vì độ dày wafer logic cũng là 775 micromet," Lee nói.
Chip mỏng hơn có nghĩa là tỷ lệ lớp oxit trong ngăn xếp cao hơn, và oxit dẫn nhiệt kém hơn nhiều so với silicon. Ngoài ra, tốc độ chân từ 1 Gbps của HBM đời đầu tăng lên 8 Gbps ở HBM4, khiến cùng một diện tích tiêu thụ nhiều năng lượng hơn. Dữ liệu của chính SK Hynix cho thấy, trong các thế hệ HBM được trình bày, tải nhiệt trung bình cao hơn 2.2 lần, trong khi số lớp xếp chồng tăng gấp đôi sau mỗi hai thế hệ.
Quy trình đổ đầy đáy bằng vật liệu tạo khuôn phản lưu quy mô lớn (MR-MUF) của công ty, xếp chồng tất cả chip bằng cách nhặt và đặt, và kết nối chúng trong một lần phản lưu, đã phải hy sinh lợi nhuận: theo Lee, việc lấp đầy khoảng cách đã thu hẹp một nửa, đồng thời kiểm soát độ biến dạng của chip dưới 50 micromet, là thách thức sản xuất chính đối với 16-Hi.
Tháng Năm năm ngoái, Samsung cam kết công khai sẽ sử dụng công nghệ hybrid bonding cho HBM4, trong khi SK Hynix coi công nghệ liên kết đồng-đồng như một giải pháp thay thế cho công nghệ MR-MUF tiên tiến. Sau đó, JEDEC nới lỏng giới hạn độ dày, khiến công nghệ hybrid bonding không còn là ưu tiên cấp bách. Hiện tại, ngành công nghiệp đang thảo luận về việc tăng thêm độ dày cho xếp chồng 20 lớp lên 825 đến 900 micromet, điều này sẽ một lần nữa trì hoãn việc áp dụng rộng rãi công nghệ liên kết đồng.
Ngay từ tháng 3, các nguồn trong ngành đã tuyên bố SK Hynix đã đặt đơn hàng sản xuất hàng loạt hybrid bonding đầu tiên, một hệ thống dây chuyền đơn trị giá khoảng 200 tỷ won (15 triệu USD), kết hợp công cụ từ Applied Materials và Besi. Counterpoint Research dự đoán công nghệ này sẽ bước vào giai đoạn sản xuất HBM toàn diện vào khoảng năm 2029 đến 2030 với sự ra mắt của HBM5.
Theo lộ trình của SK Hynix, hybrid bonding hiện vẫn đang trong giai đoạn nghiên cứu và phát triển cho các cấu trúc xếp chồng từ 20 lớp trở lên, và SK Hynix vẫn đang quyết định sản phẩm nào sẽ áp dụng công nghệ này đầu tiên. Ông Lee không tiết lộ cụ thể thế hệ sản phẩm nào, nhưng loại trừ HBM4E, HBM5 có khả năng là mẫu sớm nhất áp dụng công nghệ này. Công nghệ này kết nối các miếng đệm đồng phẳng và bề mặt oxit ở nhiệt độ phòng, sau đó sử dụng sự giãn nở nhiệt của đồng trong quá trình đông cứng để tạo liên kết.
"Quy trình có vẻ đơn giản này thực sự rất thách thức," Lee nói. "Chúng tôi cần 16 hoặc thậm chí 20 lớp để thực hiện hybrid bonding, điều này khác biệt đáng kể so với xếp chồng một lớp." Việc loại bỏ hoàn toàn các vi điểm nổi (microbump) cho phép chip lõi dày hơn 24% ở độ cao 20 lớp, giảm điện trở nhiệt khoảng 35% so với MR-MUF cùng chiều cao, và khoảng cách điểm nổi (theo sơ đồ lớp chip) có thể xuống dưới 18 micromet, trong khi MR-MUF hiện có khoảng cách 30 micromet. Ở khoảng cách điểm nổi của HBM4, các vi điểm nổi truyền thống vẫn phù hợp, và mỗi khi JEDEC nâng giới hạn độ dày, MR-MUF có thể tiếp tục khả thi và kéo dài đến thế hệ tiếp theo.
Khái niệm iHBM nhúng các khối dẫn nhiệt, cách điện vào khu vực PHY chip-to-chip trên chip đế (điểm nóng giao diện nơi mật độ công suất đạt đỉnh), được cho là giảm hơn 30% điện trở nhiệt.
Slide của Lee trực tiếp so sánh iHBM với giải pháp Khối đường dẫn nhiệt (Heat Path Block) của Samsung. Khối đường dẫn nhiệt của Samsung dẫn nhiệt ra khỏi ngăn xếp chip thông qua các cột tản nhiệt chuyên dụng, trong khi thiết kế lại mạch đế chip của Micron tuyên bố cải thiện hiệu quả năng lượng hơn 20%. Cả ba đều là tuyên bố của nhà sản xuất và được đo lường bằng các thước đo khác nhau. Cả thiết kế của SK Hynix và Samsung đều dự kiến cho HBM5, nhưng không được mong đợi sẽ sản xuất hàng loạt trước năm 2028. Lee nói rằng vì các mô-đun này nằm bên trong gói cùng với chip PHY D2D, chúng cần được tối ưu hóa cho thiết kế của khách hàng và không thể áp dụng cho các thế hệ chip đã được thiết kế, biến iHBM thành một nỗ lực thiết kế hợp tác. "Đây là một lựa chọn chúng tôi có thể thực hiện khá tốt, nhưng chúng tôi không thể áp dụng nó cho các thế hệ chip mà chúng tôi đã thiết kế."
Trong phần hỏi đáp, Tanj Bennett từ SemiAnalysis chỉ ra rằng việc xếp chồng bộ nhớ cao hơn làm giảm thông lượng tự thân của wafer. DRAM hoạt động ở cấp độ ô, thông lượng mỗi cm vuông là khoảng 20 TB/s; trong khi ngăn xếp cao 20 lớp có thông lượng tối đa khoảng 4 TB/s, và công suất sản xuất cần thiết cho HBM cao hơn nhiều so với DDR5 hoặc LPDDR có thông số tương đương. "Khi độ cao xếp chồng đạt 20 lớp, bộ nhớ này trung bình thậm chí còn chậm hơn DDR5," Bennett nói, "Tại sao không khai thác chiều cao của ngăn xếp HBM, thay vì đặt bộ nhớ rẻ hơn một cách thông minh xung quanh nó?"
Lee trả lời rằng khối lượng công việc huấn luyện cần cả băng thông và dung lượng, sau đó bổ sung rằng quá trình suy luận có thể cân bằng cả hai, giữ bộ nhớ đệm khóa-giá trị trong bộ nhớ băng thông cao trong khi chuyển một phần công việc sang bộ nhớ LPDDR. Công nghệ tách biệt này đã được áp dụng trong các sản phẩm như nền tảng Vera Rubin của Nvidia, nền tảng này tập hợp LPDDR5X và HBM4 thông qua giao thức NVLink-C2C cho mục đích này. Ngoài ra, thông số kỹ thuật bộ nhớ flash băng thông cao do SK Hynix và SanDisk cùng phát triển mở rộng ý tưởng phân lớp này sang bộ nhớ flash NAND.
Lee nói về các giải pháp phân lớp: "Đây cũng là điều chúng tôi cần xem xét trong tương lai." Theo báo cáo tháng 1, SK Hynix đã giành được khoảng 70% đơn đặt hàng chip HBM cho thế hệ Vera Rubin của Nvidia, tất cả đều sử dụng công nghệ MR-MUF. Lee nói rằng công ty vẫn chưa quyết định sản phẩm nào sẽ áp dụng MR-MUF trước.
Micron Cho rằng "Bức tường Bộ nhớ" Đang Trở Nên Tồi Tệ Hơn
Trong bài phát biểu, Micron Technology sẽ thảo luận về kiến trúc bộ nhớ đang phát triển trong lĩnh vực AI. Được biết, Micron Technology sẽ trình bày chi tiết cách bộ nhớ băng thông cao và công nghệ đóng gói tiên tiến trở thành trung tâm của thiết kế hệ thống AI.
Micron mở đầu bài phát biểu bằng lý thuyết Biên giới Hiệu quả Tính toán của OpenAI, giải thích tại sao bộ nhớ rất quan trọng đối với việc mở rộng mô hình ngôn ngữ. Micron chỉ ra mối quan hệ luỹ thừa giữa quy mô mô hình, quy mô tập dữ liệu và lượng tính toán huấn luyện, và cho rằng cả ba phải được mở rộng đồng bộ để cải thiện hiệu suất mô hình ngôn ngữ. Bộ nhớ chính là nguồn lực then chốt kết nối ba yếu tố này.
Bây giờ hãy nói về nút cổ chai bộ nhớ. Micron cho biết, TFLOPS (hiệu suất hoạt động dấu phẩy động) của bộ gia tốc AI tăng khoảng 3 lần sau mỗi hai năm, trong khi băng thông của bộ nhớ gắn thêm 2.5D (ví dụ: HBM) tăng chưa đến 2 lần sau mỗi hai năm. Khoảng cách ngày càng mở rộng này là lý do tại sao công nghệ bộ nhớ trở thành yếu tố hạn chế hiệu suất chính của hệ thống AI.
Micron định vị HBM như một cầu nối giữa tính toán và bộ nhớ, và theo dõi sự gia tăng dung lượng, băng thông và hiệu quả năng lượng qua các thế hệ từ HBM2e đến HBM5. Bạn phải đánh giá cao hội nghị kỹ thuật này với trục Y không được ghi nhãn.
Ở đây, Micron trình bày một GPU điển hình với diện tích đóng gói hơn 12,000 mm vuông, bao gồm chip đế và tám thể hiện bộ nhớ HBM4. Điều này có nghĩa là, khi sử dụng HBM4 12 lớp, diện tích wafer bộ nhớ có thể vượt quá 8 lần diện tích chính chip GPU. Đây thực sự là một minh họa trực quan.
HBM nâng cao trần băng thông bộ nhớ, thay đổi ranh giới giới hạn bộ nhớ, cho phép khối lượng công việc AI chuyên sâu về bộ nhớ chạy nhanh hơn trước khi đạt đến giới hạn bộ nhớ.
Micron hiện đang trình bày chi tiết về HBM là gì và sự phát triển của từng thế hệ HBM. Bảng sản phẩm cho thấy quá trình tiến hóa từ HBM1 đến HBM4. Mỗi thế hệ HBM đều tăng tốc độ dữ liệu, số kênh giả và chiều cao xếp chồng, cung cấp băng thông cao hơn và dung lượng lớn hơn.
HBM được lắp đặt khác với RDIMM ECC tiêu chuẩn. Hình dưới đây cho thấy ngăn xếp HBM được tích hợp với GPU hoặc bộ gia tốc trong hệ thống tích hợp dị thể như thế nào và được đóng gói dưới dạng hệ thống trên gói (SiP), thay vì là mô-đun khe cắm độc lập. Tôi nghĩ nhiều người tại STH đã thấy thiết kế này trước đây.
Mỗi chip DRAM chứa nhiều kênh độc lập, mỗi kênh có hai kênh giả, HBM3E mang 128 bank trên mỗi chip, trong khi HBM4 tăng gấp đôi lên 256. Chip đế nằm giữa host và ngăn xếp DRAM, phía host sử dụng PHY vi điểm nổi, phía ngăn xếp sử dụng PHY TSV 3D, được kết nối thông qua interlayer mật độ cao điểm-điểm, tăng từ 1K IO của HBM3E lên 2K IO của HBM4.
Micron hiện đang trình bày sự đánh đổi giữa hiệu suất và dung lượng. Nhưng họ thực sự không thể hiện sự khác biệt giữa diện tích PCB và công suất ở đây. Có lẽ điều này sẽ được trình bày trong các slide sau?
Micron hiện lưu ý chi phí wafer do tốc độ này gây ra. Chi phí tổng hợp của kiến trúc thiết kế, độ phức tạp của quy trình đóng gói và sản xuất tiên tiến có nghĩa là, để đạt được dung lượng HBM3E tương đương với DDR5, lượng wafer cần thiết cao gấp khoảng ba lần so với DDR5.
Micron sau đó tóm tắt trong bài phát biểu các thông số bộ nhớ hỗ trợ đổi mới AI, bao gồm hiệu suất, dung lượng và công suất.
Liên kết I/O tốc độ cao hơn và interlayer lớn hơn liên tục thúc đẩy sự tiến bộ của công nghệ SiP, bao gồm thiết kế I/O nhanh hơn, SERDES và PHY chip-to-chip được tối ưu hóa cho bộ nhớ, cũng như thiết bị quang học đồng đóng gói ở phía kết nối. SiP kích thước lớn hơn dựa trên các công nghệ như CoWoS-L và CoWoS-R cùng với chất nền thủy tinh cũng là một phần của con đường phát triển công nghệ đóng gói.
Bây giờ hãy nói về độ tin cậy, bao gồm tương tác chip-đóng gói và thách thức RAS. Trong thiết bị HBM tích hợp dị thể, sự không phù hợp của hệ số giãn nở nhiệt giữa các vật liệu khác nhau tạo ra áp lực cơ nhiệt. Trên thực tế, ở cấp độ vĩ mô hơn, đây chính là một trong những thách thức lớn nhất trong quá trình triển khai WSE của Cerebras. Phạm vi ECC được chia thành hai lớp: Đầu tiên là HBM3, ở cấp độ hệ thống, mỗi lần truy cập 256 bit sử dụng 16 bit nguyên tố; thứ hai là Reed-Solomon dựa trên ký hiệu được triển khai trên chip.
Để kiểm soát nhiệt, hoạt động chip DRAM tăng, chiều cao xếp chồng tăng và chức năng đế chip tiên tiến hơn đều làm tăng nhiệt sinh ra. Micron lưu ý rằng làm mát bằng chất lỏng, hybrid bonding và cải tiến về chất hàn và vật liệu tạo khuôn cạnh là những công nghệ tản nhiệt đổi mới cần thiết để duy trì việc mở rộng băng thông và dung lượng.
Xu hướng đóng gói dường như sắp kết thúc.
Tổng hợp lại, những dữ liệu này cho thấy Micron Technology đang đối phó với sự tiến hóa của kiến trúc bộ nhớ trong lĩnh vực AI như thế nào. Micron Technology đang cân nhắc giữa việc tăng băng thông và dung lượng HBM với chi phí đóng gói, tản nhiệt và độ tin cậy khi đặt dung lượng bộ nhớ lớn như vậy bên cạnh đơn vị tính toán.
Mọi người nghĩ HBM sẽ diễn biến như thế nào?
Bài viết này từ tài khoản WeChat công khai "Quan sát Ngành Công nghiệp Bán dẫn" (ID: icbank), tác giả: Biên tập viên
