【Bài Dẫn】Tốc độ suy luận của GPT-5.6, lại cao tới 750 tokens/giây! Chuyên gia lão làng tiết lộ tin nội bộ: Nó sẽ chạy trải dài trên 100 tấm wafer. AI từ suy nghĩ biến thành xuất hiện tức thời, thời đại thông minh thực sự đã đến rồi sao?
Theo các nguồn tin rò rỉ, GPT-5.6 sắp mở cửa cho toàn dân.
Gần đây, nhiều suy đoán khác nhau về mô hình này đã trở nên nóng hổi trên X.
Ngày 26 tháng 6, OpenAI đã chính thức công bố thế hệ GPT-5.6 hoàn toàn mới.
Và trong blog chính thức có câu này: OpenAI có kế hoạch ra mắt mô hình tiên phong hoàn toàn mới vào tháng này trên phần cứng tùy chỉnh của gã khổng lồ chip Cerebras - GPT-5.6 Sol, với tốc độ suy luận đạt tới 750 Token mỗi giây khiến người ta phải khiếp sợ!
Điều này có nghĩa là, những tác vụ Agent phức tạp trước đây cần đợi vài phút, thì bây giờ có thể hoàn thành ngay trong chớp mắt.
Rõ ràng, OpenAI đã tiên phong thực hiện một bước đột phá mang tính đột phá trong thiết kế phối hợp giữa phần cứng và mô hình.
Thêm vào đó, không lâu trước đây, con chip suy luận AI tự nghiên cứu đầu tiên trong lịch sử Jalapeño chính thức bị lộ, chúng ta có thể cảm nhận rằng OpenAI đã có tham vọng trở thành đế chế AI toàn diện.
Võ công thiên hạ, duy nhanh bất phá: Đòn đánh chiều không gian tốc độ 750 Tokens/s
'750 Token mỗi giây' là khái niệm gì?
Đối với con người, điều này tương đương với việc đọc và xuất ra khoảng 500 đến 600 chữ Hán trong một giây.
Đoạn văn bản trước mắt bạn, GPT-5.6 Sol chỉ cần chưa đầy vài phần mười giây là có thể tạo xong.
Trên X, nhà phát triển nổi tiếng Caleb Shepherd hào hứng bày tỏ: 'Đây là điều khiến tôi phấn khích nhất, GPT-5.6 Sol chạy trên Cerebras. Không chỉ vì tốc độ viết code trở nên nhanh hơn, mà hơn nữa vì tốc độ sử dụng máy tính đã có một sự thay đổi về chất. Chúng ta không còn phải đợi hai phút một cách khổ sở chỉ để chờ AI nhấp một nút nữa.'
Trong thời gian dài, mặc dù các mô hình lớn ngày càng trở nên thông minh hơn, nhưng 'độ trễ suy luận' luôn là nút thắt lớn nhất trong việc triển khai thực tế các tác vụ Agent nhiều bước tương tác thời gian thực.
Khi mô hình lớn đến mức có hàng nghìn tỷ tham số, các cụm GPU truyền thống thường gặp phải các nút thắt vật lý trong việc truyền thông giữa các nút (kết nối NVLink).
Và câu trả lời mà OpenAI đưa ra là: Đừng để mô hình phải thích nghi với phần cứng, hãy để phần cứng và mô hình hòa làm một.
Theo thông tin sơ bộ được tiết lộ chính thức, GPT-5.6 Sol sẽ được mở ra cho các khách hàng cụ thể với quy mô cực kỳ hạn chế vào tháng 7, và sẽ dần dần mở rộng khi sản lượng tăng dần.
Như mọi người suy đoán trên mạng, đây chắc chắn là một dịch vụ cực kỳ đắt đỏ, được thiết kế riêng cho những doanh nghiệp hàng đầu sẵn sàng trả giá cho tốc độ như một đặc quyền.
Làm thế nào để nhét con quái vật 3 nghìn tỷ tham số vào chip?
Khi tin tức về 750 Tokens/s được lan truyền, người phụ trách LLM Arena, Peter Gostev, đã đặt ra một câu hỏi khiến tất cả mọi người nghi hoặc:
Chuyện GPT-5.6 Sol trên Cerebras rốt cuộc là như thế nào? Theo tôi biết, điều này dường như là cùng một mô hình hoàn chỉnh (bao gồm cả khả năng đa phương thức như thị giác), chứ không phải là phiên bản bị cắt giảm thị giác và ngữ cảnh như GPT-5.3-Codex-Spark trước đây.
Nhưng hiểu biết của tôi là, một chip đơn lẻ của Cerebras chỉ có thể chứa nhiều nhất mô hình từ 7000 đến 9000 tỷ tham số. Vậy, là mô hình đã nhỏ hơn? Hay là có một loại chip mới mà tôi không biết? Hoặc là một công nghệ mới về sự phối hợp đa chip nào đó?
Thắc mắc này ngay lập tức kích thích nhiều cuộc thảo luận của cộng đồng mạng.
Ai đó hài hước nói rằng, mọi người đang 'tiến hành kiểm toán chip cấp độ pháp y vào lúc nửa đêm', và bày tỏ 'nếu đây thực sự là cùng một mô hình hoàn chỉnh, thì giống như ai đó đã nhét một siêu du thuyền vào một cái chai thủy tinh, mà còn không nói cho bạn biết làm thế nào.'
Nhanh chóng, chuyên gia công nghệ kỳ cựu Bleys Goodson đưa ra một diễn giải cực kỳ thuyết phục—
GPT-5.6 Sol không phải được nhét vào một con chip, mà là trải dài trên 70 đến 100 tấm chip cấp độ wafer của Cerebras!
Mỹ học triển khai cực đoan: 'Một wafer, một lớp mạng'
Chuyên gia trong ngành ước tính, quy cách của GPT-5.6 Sol cực kỳ đồ sộ:
- Tổng số tham số: Khoảng 3 nghìn tỷ
- Tham số kích hoạt: Khoảng 1500 tỷ
- Số lớp mạng: Khoảng 70 đến 90 lớp
Để đạt được đặc tính dịch vụ suy luận lành mạnh, OpenAI và Cerebras đã sử dụng một phương thức triển khai cực kỳ xa xỉ và chấn động — triển khai riêng biệt từng lớp mạng nơ-ron trên một tấm wafer Cerebras nguyên vẹn.
Như một người dùng mạng đã chỉ ra, bằng cách tăng số giai đoạn pipeline, miễn là bạn có đủ nhiều wafer để liên kết chúng lại, về lý thuyết bạn có thể mở rộng đến mô hình có kích thước bất kỳ, điều này sẽ không ảnh hưởng đến tốc độ tạo Token, chỉ có thể ảnh hưởng nhẹ đến thời gian Token đầu tiên TTFT.
Tái cấu trúc kiến trúc liều lĩnh — KV Cache nhẹ hóa bị buộc phải ra đời
Tuy nhiên, chỉ có lượng wafer khổng lồ là chưa đủ. Một đặc điểm lớn của kiến trúc chip Cerebras là có lượng SRAM (bộ nhớ truy cập ngẫu nhiên tĩnh) trên chip khổng lồ, tốc độ cực nhanh, nhưng dung lượng cực kỳ quý giá.
Nếu OpenAI giống như trước đây, sử dụng bộ đệm KV truyền thống nặng nề trong GPT-5.6 Sol, thì băng thông SRAM đắt đỏ này sẽ bị ăn sạch ngay lập tức.
Điều này dẫn đến sự chuyển hướng chiến lược cốt lõi nhất trong lần hợp tác này: tái cấu trúc mô hình xoay quanh phần cứng cụ thể.
Bleys Goodson chỉ ra, vì OpenAI đã tham gia sâu vào thiết kế phối hợp phần cứng, họ rất có khả năng đã từ bỏ phương án bộ đệm cơ chế chú ý truyền thống, chuyển sang sử dụng thiết kế nhẹ hóa tiên tiến hơn.
Phương án có khả năng nhất bao gồm:
Kiến trúc tương tự DeepSeekV4: Tối ưu hóa cực độ chiếm dụng bộ đệm.
Thiết kế SSM hỗn hợp: Kết hợp các mô hình có độ phức tạp thời gian tuyến tính như Mamba với Transformer, hoàn toàn loại bỏ gánh nặng lịch sử của KV Cache.
Ngoài ra, nhà phát triển nổi tiếng John Lam còn đưa ra một phỏng đoán đáng kinh ngạc — tách biệt sự chú ý và FFN.
Ông suy đoán rằng OpenAI có thể đang sử dụng GPU truyền thống để xử lý tính toán sự chú ý, trong khi sử dụng lượng wafer Cerebras khổng lồ để mạnh mẽ đẩy mạnh phần tính toán của mạng nơ-ron truyền thẳng.
Điều này không phải là không có căn cứ. Người dùng mạng nhanh chóng khai quật ra chi tiết triển khai của Cerebras trước đây trên blog về Kimi K2.6:
Cerebras lưu trữ trọng số gốc của Kimi K2.6 ở dạng 4-bit trên hệ thống CS-3, đồng thời tính toán ở dạng dấu phẩy động 16-bit để đảm bảo độ chính xác. Trọng số được phân phối trên nhiều wafer, giá trị kích hoạt được truyền streaming giữa các wafer. Giao tiếp liên kết hoàn toàn giữa các lớp hoàn toàn dựa vào cấu trúc mạng trên wafer, băng thông của nó cao hơn 200 lần so với NVLink trên Nvidia NVL72! Kết hợp với toán tử tùy chỉnh và giải mã suy đoán, họ có thể chạy mô hình MoE ngàn tỷ tham số với tốc độ gần 1000 tokens/s.
Thông số kỹ thuật chính thức cho thấy, hệ thống CS-3 mang tính cách mạng không chỉ vô địch về tốc độ, mà còn có thể dễ dàng mở rộng lên mô hình 24 nghìn tỷ tham số trên một thiết bị logic đơn lẻ!
Như ai đó đã kinh ngạc thốt lên: 'Nếu đây thực sự là phiên bản Sol hoàn chỉnh chạy trên Cerebras, thì trần kích thước mô hình mà tất cả mọi người đã giả định, đã bị đâm thủng ngay trong đêm nay.'
Lá bài tẩy thực sự — Chip tự nghiên cứu đầu tiên của OpenAI 'Jalapeño'
Và ngay trước đó, OpenAI đã chính thức phát hành con chip tự nghiên cứu đầu tiên trong lịch sử — Jalapeño.
Ra đời của con chip này trực tiếp giải thích logic sâu xa của sự hợp tác giữa OpenAI và Cerebras: thông qua việc khám phá trên phần cứng suy luận bên thứ ba đỉnh cao, OpenAI đã nắm bắt hoàn toàn then chốt và giá trị của kiến trúc suy luận chuyên dụng, và chuyển hóa nó thành nền tảng tầng dưới có thể kiểm soát được bởi chính mình.
Jalapeño là một trong những giống ớt Mexico có độ cay ôn hòa nhất. OpenAI lấy nó để đặt tên, rõ ràng là để thể hiện: đây chỉ là món khai vị.
Con chip này, là ASIC tùy chỉnh được thiết kế đặc biệt cho việc suy luận mô hình lớn. Ngay từ khi vẽ đường đầu tiên, mọi transistor của nó chỉ được tối ưu hóa cho một việc: chạy mô hình lớn.
Điều đáng ngạc nhiên là, Jalapeño không chỉ chạy mô hình của chính OpenAI, kiến trúc của nó còn tương thích với LLM của toàn ngành, thể hiện tham vọng nền tảng cực kỳ lớn.
Và hơn nữa, việc thiết kế và sản xuất con chip này chỉ mất vỏn vẹn 9 tháng.
Đằng sau đó, là một liên minh công nghiệp cực kỳ mạnh mẽ:
Dẫn dắt kiến trúc: OpenAI tự tay thiết kế kiến trúc tầng dưới.
Thực hiện chip và liên kết mạng: Gã khổng lồ chip Broadcom cung cấp khả năng thực hiện mạnh mẽ và hỗ trợ công nghệ liên kết mạng.
Tích hợp hệ thống: Celestica chịu trách nhiệm sản xuất bo mạch cuối cùng và tích hợp vật lý cấp độ giá.
Ăn cả chuỗi công nghiệp, tham vọng đế chế toàn diện của OpenAI
Mô hình tự huấn luyện, chip tự thiết kế, suy luận tự tối ưu hóa, triển khai tự kiểm soát.
Rõ ràng, mục tiêu của OpenAI là một đế chế AI toàn diện khổng lồ.
Nhưng tham vọng của OpenAI còn điên cuồng hơn cả Apple và Google, họ có một bánh xe đà siêu cấp chưa từng có: sử dụng AI để tăng tốc xây dựng cơ sở hạ tầng AI, sau đó sử dụng cơ sở hạ tầng mạnh hơn vừa xây dựng xong để chạy AI mạnh hơn nữa.
Theo lộ đồ hoành tráng mà OpenAI công bố, các trung tâm dữ liệu siêu cấp GW đầu tiên sẽ bắt đầu được triển khai từ cuối năm 2026, cùng với các đối tác cốt lõi như Microsoft.
Toàn bộ lượng điện tiêu thụ của một thành phố cỡ trung bình sẽ được sử dụng để vận hành các giá suy luận của Jalapeño và các chip ớt thế hệ tiếp theo.
Hãy chuẩn bị, sắp thôi, chúng ta sắp đón nhận GPT-5.6 Sol lao đi với tốc độ 750 Tokens/s trên wafer Cerebras, phá vỡ lời nguyền vật lý giữa tham số và tốc độ suy luận.
Tài liệu tham khảo: https://x.com/bleysg/status/2073937651150029084
Bài viết này đến từ tài khoản WeChat công chúng “New Zhiyuan”, tác giả: ASI Khải Thị Lục; Biên tập: Aeneas
