# Bài viết Liên quan 120B

Google sắp công bố mô hình lớn mã nguồn mở Gemma 4: Số lượng tham số tăng gấp 4 lần

Trong bối cảnh thị trường mô hình lớn mã nguồn mở toàn cầu lâu nay bị chi phối bởi các công ty công nghệ Trung Quốc, Google sắp công bố mô hình Gemma 4 thế hệ mới với nhiều nâng cấp đáng chú ý. Thông tin được Giám đốc điều hành DeepMind Demis Hassabis ám chỉ thông qua biểu tượng "bốn viên kim cương". Gemma 4 dự kiến có quy mô tham số tăng gấp 4 lần, bao gồm một mô hình lớn 120B thử thách giới hạn chạy cục bộ. Mô hình này áp dụng kiến trúc MoE (hỗn hợp chuyên gia), chỉ kích hoạt 15B tham số, cho phép khả năng chạy offline trên card đồ họa dân dụng. Khả năng xử lý ngữ cảnh dự kiến tăng 1-2 lần, cùng kỹ năng suy luận logic và xử lý tác vụ phức tạp được cải thiện sâu. Về mặt chiến lược, Google duy trì lợi thế thương mại từ mô hình đóng trong khi vẫn kiểm soát ảnh hưởng trong cộng đồng mã nguồn mở. Gemma 4 tập trung vào trải nghiệm cục bộ hóa, tối ưu hiệu suất mô hình nhẹ để cạnh tranh trực tiếp với các mô hình nguồn mở Trung Quốc. Sự xuất hiện của Gemma 4 đẩy cao ngưỡng cạnh tranh, biến cuộc đua sang thời kỳ kết hợp cả tham số và hiệu suất.

marsbit04/02 06:47