GPT-5.6 Sắp Ra Mắt, Tốc Độ Suy Luận Tăng Đột Biến 750 Tokens/s, Được Cho Là Trải Dài Trên 100 Tấm Wafer
**Tóm tắt tiếng Việt:**
OpenAI sắp mở rộng truy cập cho GPT-5.6, đặc biệt là phiên bản Sol đạt tốc độ suy luận cực cao 750 tokens/giây, dựa trên hợp tác với Cerebras. Để đạt được tốc độ này, thay vì nhồi mô hình ước tính ~3 nghìn tỷ tham số vào một chip, OpenAI được cho là đã triển khai GPT-5.6 Sol trên 70-100 tấm wafer (lát cắt silicon) của Cerebras, với mỗi tấm wafer chạy một lớp mạng thần kinh. Chiến lược "thiết kế đồng bộ phần cứng-mô hình" này yêu cầu tối ưu hóa kiến trúc sâu, có thể bao gồm việc sử dụng bộ nhớ cache KV nhẹ hơn hoặc kết hợp các mô hình như Mamba để giảm tải tính toán. Động thái này phù hợp với tham vọng xây dựng hệ sinh thái AI toàn diện của OpenAI, vừa công bố chip suy luận tự thiết kế đầu tiên là Jalapeño. GPT-5.6 Sol dự kiến ra mắt với quy mô hạn chế vào tháng 7, hướng tới khách hàng doanh nghiệp cao cấp, đánh dấu bước nhảy vọt về tốc độ xử lý thời gian thực cho các tác vụ AI phức tạp.
marsbit07/09 11:56
