Trí Phổ Dựa Vào Đâu Để Tăng Gần 30% Trong Một Ngày?
Hôm nay, cổ phiếu của "cổ phiếu mô hình lớn toàn cầu đầu tiên" Zhipu AI (02513.HK) đã bùng nổ. Động lực chính đến từ một thông số kỹ thuật cụ thể: Tốc độ đầu ra API của phiên bản cao tốc GLM-5.1 (GLM-5.1-highspeed) đạt 400 token/giây, thiết lập kỷ lục mới về tốc độ API trong ngành công nghiệp mô hình lớn toàn cầu.
Tốc độ 400 token/giây này quan trọng như thế nào? Khi AI chuyển từ ChatBot sang thời đại Agent, mỗi tác vụ thường yêu cầu hàng chục hoặc thậm chí hàng trăm lần gọi mô hình. Độ trễ thấp ở đây trở thành yếu tố then chốt, trực tiếp ảnh hưởng đến trải nghiệm người dùng và hiệu quả công việc. Tốc độ này nhanh gấp khoảng 3-5 lần so với các mô hình hàng đầu hiện tại như GPT-4o hay Claude Sonnet.
Để đạt được bước đột phá này, Zhipu AI đã thực hiện những đổi mới đồng thời trên ba cấp độ:
1. **TileRT – Công cụ suy luận:** Biên dịch toàn bộ mô hình thành một động cơ chạy liên tục, loại bỏ chi phí khởi động và chờ đợi lặp đi lặp lại giữa các toán tử, cho phép GPU duy trì hoạt động ở tốc độ cao.
2. **Chiến lược song song:** Tối ưu hóa việc triển khai cơ chế chú ý MLA (Multi-head Latent Attention) của GLM-5.1 trên nhiều GPU. Họ áp dụng kiến trúc chạy không đồng nhất, trong đó GPU 0 chuyên xử lý chỉ mục thưa thớt và định tuyến, trong khi các GPU khác xử lý tính toán dày đặc, giảm thiểu đáng kể chi phí giao tiếp.
3. **Kiến trúc mạng ZCube:** Một thiết kế mạng mới thay thế cấu trúc ROFT (Fat-Tree) truyền thống. ZCube loại bỏ lớp Spine (xương sống), làm phẳng toàn bộ mạng và kết nối tất cả các bộ chuyển mạch Leaf (lá) theo một cấu trúc đặc biệt. Thiết kế này đảm bảo rằng giữa hai GPU bất kỳ chỉ có một đường dẫn tối ưu duy nhất, về cơ bản loại bỏ khả năng tắc nghẽn mạng do cân bằng tải không hiệu quả.
Những cải tiến này mang lại lợi ích rõ ràng: cụm sản xuất nâng cấp lên ZCube đạt được mức tăng 15% thông lượng, giảm 40.6% độ trễ đuôi và giảm khoảng một phần ba chi phí thiết bị mạng. Về lâu dài, công nghệ này không chỉ nâng cao hiệu quả sử dụng GPU mà còn có thể định hình lại cấu trúc hạ tầng AI, mở ra cơ hội cho các nhà cung cấp chip AI, thiết bị chuyển mạch và mô-đun quang trong nước.
marsbit2 ngày trước 01:25
