Công ty AMD đã đồng ý mua lại startup Taalas từ Toronto, công ty giải quyết vấn đề chính trong suy luận (inference) mạng nơ-ron – nhu cầu liên tục chuyển các trọng số của mô hình từ bộ nhớ sang bộ xử lý để tạo ra mỗi token. Chip của Taalas không cần thao tác này: trọng số mô hình thực sự được "hàn cứng" vào các bóng bán dẫn. Chính việc chuyển dữ liệu này đang giới hạn tốc độ suy luận hiện đại và biến bộ nhớ băng thông cao (HBM) thành mặt hàng khan hiếm nhất trong ngành công nghiệp bán dẫn.
Thương vụ này sẽ được nhìn nhận như một vòng cạnh tranh mới giữa AMD và Nvidia trong lĩnh vực suy luận, nhưng ở mặt trận này, nó không thay đổi nhiều. Điều thú vị hơn là việc mua lại này cho biết tình trạng của thị trường bộ nhớ – giao dịch nóng nhất trong ngành bán dẫn hiện nay.
Taalas đã tạo ra gì
Taalas được thành lập vào năm 2023 bởi Ljubisa Bajic, người trước đây đã sáng lập công ty chip Tenstorrent, và vợ ông là Lejla Bajic, cựu chiến binh của các bộ phận kỹ thuật ATI và AMD, hiện giữ chức Giám đốc Điều hành. Công ty đã huy động được 219 triệu USD từ Fidelity, Quiet Capital và nhà đầu tư bán dẫn Pierre Lamond – số tiền này được dùng để phát triển cái gọi là mạch tích hợp dành riêng cho mô hình (model-specific integrated circuits).
Con chip thử nghiệm đầu tiên, được sản xuất theo quy trình 6 nanomet của TSMC, phục vụ mô hình Llama 3.1 8B của Meta với tốc độ 16.960 token mỗi giây. Theo tuyên bố của công ty, điều này nhanh hơn 48 lần so với card đồ họa Nvidia và nhanh hơn 8,5 lần so với bộ tăng tốc Cerebras tại thời điểm so sánh. Chip thế hệ thứ hai, được thiết kế cho các mô hình với 20 tỷ tham số, dự kiến ra mắt trong năm nay.
Kiến trúc chia thành hai khu vực: khu vực mà trọng số mô hình được lập trình cứng dưới dạng bộ nhớ ROM mặt nạ, và SRAM thông thường cho bộ nhớ đệm và bộ điều chỉnh tinh chỉnh (fine-tuning adapters) vẫn có thể thay đổi. "Chính việc lập trình cứng này phần nào mang lại cho chúng tôi tốc độ," Bajic nói với ấn phẩm The Next Platform vào tháng Hai.
AMD dự định tích hợp chip Taalas vào các tủ Helios theo sơ đồ phân chia: bộ tăng tốc Instinct sẽ xử lý prompt, còn silicon của Taalas sẽ tạo token, tất cả được quản lý bởi chồng phần mềm ROCm. Công ty nhấn mạnh rằng đây là một thương vụ mua lại hoàn toàn, không chỉ là tuyển dụng nhóm – việc hoàn tất thương vụ dự kiến vào quý IV. Phó chủ tịch cấp cao phụ trách AI của AMD, Vamsi Boppana, mô tả việc mua lại này như một sự mở rộng nền tảng.
Sự đánh đổi mà Taalas chấp nhận
Việc "hàn cứng" trọng số vào silicon có một cái giá rõ ràng: mỗi con chip chỉ phục vụ đúng một mô hình – mãi mãi. Việc thay đổi mô hình yêu cầu tính toán lại một phần cấu trúc liên kết, và ngay cả với chu kỳ rút ngắn của Taalas, khi chỉ thay đổi hai lớp kim loại trên một wafer gần như đã hoàn thiện, vẫn mất khoảng hai tháng tại các cơ sở của TSMC. Các mô hình hàng đầu được cập nhật nhanh hơn. Sự đánh đổi này chỉ có lãi ở những nơi mô hình ổn định, được sử dụng rộng rãi và đủ giá trị để đóng băng nó.
Chính sự đánh đổi này cũng giải thích tại sao thương vụ không thay đổi thế trận trên thị trường suy luận. Nvidia đã trả 20 tỷ USD cho Groq vào tháng Mười Hai – thương vụ mua lại lớn nhất trong lịch sử của họ – để tích hợp phần cứng chuyên biệt cho việc tạo token vào đúng nền tảng mà toàn bộ ngành công nghiệp đã xây dựng xung quanh. Cuộc chiến cho suy luận diễn ra ở cấp độ hệ sinh thái và phần mềm đã được triển khai, và một con chip bị ràng buộc với một mô hình duy nhất không tham gia vào cả hai. Điều mà cách tiếp cận của Taalas thực sự chứng minh là một luận điểm hẹp hơn nhưng thú vị hơn: sự hạn chế về bộ nhớ, đang gây khó khăn cho suy luận, là một giải pháp kỹ thuật chứ không phải một định mệnh vật lý, và có thể vượt qua nó.
Vấn đề bộ nhớ
Thị trường hiện đang định giá dựa trên giả định rằng sự khan hiếm bộ nhớ này là vĩnh viễn. Giá DRAM thông thường đã tăng gần 90% trong quý I. Bộ nhớ băng thông cao (HBM) thực tế đã được bán hết cho đến hết năm 2026, và quy mô thị trường HBM năm nay dự kiến đạt 54,6 tỷ USD. SK hynix, công ty kiểm soát hơn một nửa nguồn cung HBM, đã vượt mức vốn hóa thị trường 1 nghìn tỷ USD và công bố kế hoạch xây dựng các nhà máy mới trị giá 38,1 tỷ USD. Đối với nhà đầu tư thông thường, toàn bộ cược vào bộ nhớ dựa trên một giả định: nhu cầu về AI sẽ giữ cho bộ nhớ khan hiếm trong nhiều năm nữa.
Giả định này đang bị tấn công từ nhiều phía. Taalas loại bỏ hoàn toàn bộ nhớ cho trọng số khỏi quá trình phục vụ mô hình, trong khi các kỹ sư của Nvidia đang nén và lượng tử hóa mô hình chính xác là để giảm lượng bộ nhớ mà một mô hình đã triển khai tiêu thụ.
Bản thân các nhà sản xuất bộ nhớ cũng đang làm việc theo cùng một hướng. Công nghệ zHBM của Samsung, được trình diễn tại hội nghị FMS tuần trước, đặt bộ nhớ trực tiếp lên bộ tăng tốc, nhân lên băng thông hiệu quả. SK hynix và Sandisk vừa công bố tiêu chuẩn đầu tiên cho bộ nhớ flash tốc độ cao nhằm thay thế NAND giá rẻ cho công việc mà HBM đang thực hiện ngày nay. Hầu như mọi công ty lớn trong ngành đang tài trợ cho cách riêng của họ để giảm nhu cầu về chính tài nguyên mà thị trường cho là sẽ khan hiếm mãi mãi.
AMD đã mua bằng chứng rằng suy luận có thể hoạt động mà không cần truy cập vào thành phần mà sự khan hiếm của nó đang xác định toàn bộ chu kỳ nhu cầu AI hiện tại – và sẽ bán bằng chứng này bên trong các tủ server, nơi GPU và HBM vẫn đang được sử dụng. Các nhà đầu tư, những người coi giá bộ nhớ hiện tại là một đặc điểm cố định của toàn bộ chu kỳ xây dựng cơ sở hạ tầng AI, đang đặt cược chống lại một phong trào kỹ thuật quy mô lớn và đang phát triển nhằm đạt được kết quả ngược lại.
Bộ nhớ luôn là một ngành kinh doanh theo chu kỳ. Những người trả giá hiện tại cho nó vừa mới tài trợ cho một lý do nữa tại sao điều này sẽ vẫn tiếp diễn.
Quan điểm của AI
Từ góc độ phân tích dữ liệu bằng máy, tiền lệ quan trọng cho chip Taalas có thể được tìm thấy không phải trong thế giới AI, mà trong ngành công nghiệp tiền điện tử. Các mạch tích hợp chuyên dụng (ASIC) để khai thác Bitcoin giải quyết một nhiệm vụ tương tự – lập trình cứng thuật toán vào silicon vì tốc độ – và nhận được tác dụng phụ tương tự: hoàn toàn không linh hoạt. Hash Telegraph đã mô tả cách chuyên môn hóa phần cứng, khi được đẩy đến giới hạn, tạo ra rủi ro lỗi thời về mặt đạo đức khi thuật toán cơ bản thay đổi hoặc một mô hình tính toán mới xuất hiện.
Các khía cạnh kỹ thuật mà bài báo không đề cập chi tiết liên quan đến kinh tế của thời gian chết: trong khi chip Taalas phục vụ một mô hình, các phòng thí nghiệm cạnh tranh phát hành các phiên bản mới sau mỗi vài tháng, và chu kỳ lập trình lại cấu trúc liên kết mất khoảng hai tháng tại các cơ sở của TSMC. Lịch sử của ASIC cho thấy chuyên môn hóa chỉ có lãi trên một thuật toán ổn định – câu hỏi là liệu kiến trúc của các mô hình ngôn ngữ lớn có đủ ổn định cho sự đánh đổi này hay không.
