Với cùng 1 megawatt điện, chiếc GB300 NVL72 mới nhất của NVIDIA có thể xử lý đồng thời 61.400 tác nhân thông minh, trong khi thế hệ trước H200 chỉ xử lý được khoảng 2.600.
Chênh lệch giữa chúng là tròn 20 lần.
Điểm số AA-AgentPerf được NVIDIA công bố: ở hai tiêu chuẩn dịch vụ 20 và 60 token mỗi giây, số lượng tác nhân thông minh đồng thời trên mỗi megawatt của GB300 NVL72 đều gấp khoảng 20 lần so với H200.
Khi NVIDIA công bố những con số này vào ngày 12/6, phản ứng ban đầu từ bên ngoài là một màn khoe hiệu năng khác.
Nhưng điều thực sự thay đổi, không phải là thế hệ chip này mạnh mẽ hơn bao nhiêu, mà là cái thước đo năng lực tính toán.
Đó chính là tiêu chuẩn mới do tổ chức đánh giá độc lập Artificial Analysis phát hành: AA-AgentPerf.
Trong blog chính thức của mình, Artificial Analysis gọi đây là chuẩn đánh giá suy luận đầu tiên trong ngành được thiết kế riêng cho "Tác nhân AI (AI agent)".
Chỉ số chính của nó cũng khác biệt so với trước đây: không phải là bao nhiêu token mỗi giây, mà là "Số lượng tác nhân đồng thời trên mỗi Megawatt (Agents per Megawatt)".
Nói một cách dễ hiểu, đó là số lượng tác nhân thông minh mà hệ thống có thể "nuôi sống" đồng thời khi được cung cấp 1 megawatt điện.
FLOPS đã được đo lường nhiều năm, token mỗi giây cũng được sử dụng tốt, vậy tại sao lại cần đưa ra tiêu chuẩn mới AA-AgentPerf này?
Thước đo cũ
Không còn đo nổi tác nhân thông minh
Để trả lời câu hỏi này, trước tiên cần hiểu rõ tải trọng thực sự của một tác nhân thông minh khi hoạt động.
Phán đoán của Artificial Analysis rất rõ ràng, vào năm 2026, tải trọng AI chủ đạo nhất đã không còn giống với thứ mà các chuẩn cũ nhắm đến khi được thiết kế: các chuẩn cũ đo lường các yêu cầu tổng hợp có độ dài cố định, và còn vô tình tắt đi các tối ưu hóa mà môi trường sản xuất thực tế sẽ bật.
Chính thức của NVIDIA cũng đưa ra một phép so sánh rất phù hợp:
Một cuộc hội thoại thông thường giống như chạy nước rút 100 mét, mô hình nhận một câu hỏi, đưa ra một câu trả lời, kết thúc; nhưng một tác nhân thông minh làm việc thì giống như chạy tiếp sức hơn.
Nó chia một mục tiêu thành hàng chục, thậm chí hàng trăm bước, đọc file, viết code, chạy lệnh, xem kết quả, rồi quyết định bước tiếp theo, một cây gậy chuyền tiếp cho cây gậy khác, cho đến khi nhiệm vụ thực sự hoàn thành.
Trong suốt quá trình này, hàng chục, thậm chí hàng trăm lần gọi mô hình lớn được nối tiếp với nhau, mỗi lần đều chuyển ngữ cảnh ngày càng dài hơn cho lần gọi tiếp theo, còn xen kẽ với các lệnh gọi công cụ như biên dịch, truy vấn cơ sở dữ liệu, chạy tìm kiếm.
Độ phức tạp không đơn giản là cộng dồn, mà là nhân lên từng tầng.
NVIDIA sử dụng phép ẩn dụ "tiếp sức" để ví với tải trọng của tác nhân thông minh. Một mục tiêu được chia thành hàng chục, hàng trăm bước, các lần gọi mô hình lớn và công cụ nối tiếp nhau, tạo thành một chuỗi dài không ngừng biến đổi.
Vấn đề chính xác nằm ở đây.
Các chuẩn đánh giá suy luận hiện có trên thị trường đều đo lường các lần gọi đơn lẻ, một yêu cầu mất bao lâu để trả về, một máy có thể xử lý đồng thời bao nhiêu yêu cầu.
Chúng vốn không được thiết kế cho tác nhân thông minh. Cách thức chuỗi lệnh gọi, chờ đợi công cụ, sự bùng nổ ngữ cảnh đè nén hệ thống hoàn toàn khác với một yêu cầu đơn lẻ.
Chỉ riêng một phiên dài đã ẩn chứa điểm mù của các chuẩn cũ: cùng một đoạn tiền tố dài sẽ xuất hiện lặp lại từng vòng, ai có thể cache nó lại, không phải tính toán lại mỗi lần, người đó sẽ tiết kiệm được một lượng lớn sức mạnh tính toán.
Cộng thêm kết quả công cụ dễ dàng làm bùng nổ ngữ cảnh, nhưng đầu ra thường chỉ vài trăm token, bộ lập lịch và phân cấp bộ nhớ có chịu được nhịp độ dài ngắn thất thường này hay không trực tiếp quyết định hệ thống chạy trơn tru hay sụp đổ ngay lập tức.
Đây chính xác là điều mà các bài kiểm tra tổng hợp có độ dài cố định không thể chạm tới.
Đối với những người bỏ tiền thật mua card, xây dựng trung tâm dữ liệu, điều họ thực sự quan tâm là hệ thống này cuối cùng có thể nuôi sống đồng thời bao nhiêu tác nhân thông minh đang làm việc, mỗi kilowatt giờ, mỗi GPU mang lại bao nhiêu sản lượng hữu ích.
Những câu hỏi này các chuẩn đánh giá cũ không trả lời được.
Cây thước đầu tiên được tạo ra cho tác nhân thông minh
Cách làm của AA-AgentPerf khác với các chuẩn cũ, không đưa vào các prompt tổng hợp có độ dài cố định, mà phát lại đường đi thực tế của các tác nhân thông minh lập trình.
Minh họa đường đi của tác nhân thông minh mà AA-AgentPerf phát lại. Xuất phát từ một yêu cầu, các lần gọi LLM và công cụ xen kẽ tiến triển, cho đến khi nhiệm vụ thực sự hoàn thành.
Những đường đi này được tích lũy từ việc để tác nhân thông minh giải quyết các vấn đề trong kho mã nguồn thực tế, bao phủ hơn 12 ngôn ngữ lập trình, một phiên dài nhất có thể chạy đến 200 vòng, ngữ cảnh dễ dàng vượt quá 100.000 token.
Độ dài đầu vào dao động từ 5 nghìn đến 130 nghìn token, trung bình khoảng 27 nghìn. Thứ thực sự làm tăng độ dài không phải là prompt, mà là đầu ra công cụ và lịch sử hội thoại tích lũy qua từng vòng.
Quan trọng hơn, là cách nó tính điểm.
Nó không cạnh tranh số lượng đồng thời cực đại. Một khi mức độ đồng thời được đẩy quá cao, mỗi tác nhân đều chậm như rùa bò, số lượng đồng thời dù lớn đến đâu cũng chỉ là hình thức, không hữu ích.
AA-AgentPerf làm ngược lại: trước tiên khóa chặt một tiêu chuẩn dịch vụ, tốc độ đầu ra, độ trễ từ ký tự đầu tiên (TTFT) của mỗi tác nhân đều phải đạt chuẩn, sau đó xem hệ thống giữ vững đường biên này, tối đa có thể chịu được bao nhiêu tác nhân.
Bộ ràng buộc này có một cái tên, gọi là Mục tiêu Cấp độ Dịch vụ (SLO).
Tiêu chuẩn này còn được chia thành nhiều mức, từ mức đủ dùng 20 token mỗi giây, đến mức cực nhanh 180 token mỗi giây, mỗi mức đo riêng số lượng đồng thời tối đa một lần, tương ứng với một số mức độ dịch vụ thực sự tồn tại trên thị trường.
Cách Mục tiêu Cấp độ Dịch vụ (SLO) xác định số lượng đồng thời tối đa. Điểm màu xanh lá là vùng đạt chuẩn, một khi số lượng đồng thời tăng lên, tốc độ giảm xuống dưới ngưỡng, thì số lượng đồng thời tối đa tương ứng chính là thành tích của hệ thống này.
Nó còn làm một việc mà các chuẩn đánh giá khác không dám làm, cho phép mở tất cả các tối ưu hóa mà các nhà sản xuất thực sự sẽ bật trong môi trường sản xuất.
Tái sử dụng bộ nhớ cache KV, giải mã suy đoán, tách biệt triển khai tiền điền và giải mã, những mẹo này trước đây thường bị các chuẩn đánh giá tắt ngay lập tức, lần này đều được cho phép.
Lý do rất đơn giản: việc đo lường sau khi tắt các tối ưu hóa này là vô nghĩa.
Đồng thời, nó cũng theo dõi chất lượng đầu ra, không cho phép một tối ưu hóa nào đánh đổi chất lượng trả lời để lấy số lượng đồng thời. Bằng cách này, mỗi cải tiến phần cứng và phần mềm mang lại đều có thể được nó đo lường chính xác.
Cuối cùng đưa về một chỉ số cốt lõi: Số lượng tác nhân đồng thời trên mỗi Megawatt. Trong một thế giới ngày càng thiếu điện, năng lượng chính là chi phí, chỉ số này mới là thứ người mua thực sự quan tâm: từ tokens mỗi giây, đến agents mỗi Megawatt.
Dẫn đầu 20 lần trên mỗi Megawatt
Dẫn đầu 40 lần trên mỗi GPU
Trong một bài kiểm tra mô hình Chuyên gia Hỗn hợp (MoE) tiên phong đại diện cho loại mạnh nhất hiện nay, GB300 NVL72 có thể hỗ trợ 61.400 tác nhân thông minh đồng thời trên mỗi Megawatt, trung bình mỗi GPU chịu được 57,5 tác nhân.
Nhóm đối chứng H200, khoảng 2.600 trên mỗi Megawatt, mỗi GPU chỉ có 1,4. Chênh lệch giữa hai bên là khoảng 20 lần trên mỗi Megawatt, và khoảng 40 lần trên mỗi GPU.
Hàm lượng của hai con số này cũng khác nhau.
Mỗi Megawatt đo lường sức sản xuất tác nhân thông minh mà cùng một kilowatt giờ điện có thể mua được, là bài toán hiệu suất năng lượng; còn mỗi GPU đo lường mật độ dịch vụ của một card đơn lẻ, là bài toán phần cứng.
Dựa trên hai con số này, có thể trực tiếp quy đổi ngân sách điện năng mà mình có, cuối cùng có thể chạy ứng dụng tác nhân thông minh ở quy mô nào.
Trên bảng xếp hạng không chỉ có GB300 của NVIDIA, mà còn có MI355X của AMD. Từ card đơn, toàn bộ máy đến toàn bộ kệ, đều được đưa ra để cạnh tranh cùng một sân khấu.
Trong kết quả đợt đầu, xuất hiện hai quy luật rất rõ ràng.
Quy luật 1: Hệ thống cấp kệ tự nhiên rẻ hơn, nó có thể chia nhỏ việc suy luận và trải đều lên nhiều card hơn một cách đầy đủ, dù là sức mạnh tính toán thuần túy hay hiệu suất năng lượng trên mỗi Megawatt, đều vượt xa các nút đơn;
Quy luật 2: Bước nhảy vọt từ thế hệ Hopper đến Blackwell, đã đưa số lượng đồng thời mà hệ thống có thể chịu được lên một tầm cao mới, không phải là sửa chữa nhỏ.
Từ card đơn đến kệ
Chiến thắng cấp hệ thống
Từ H200 đến GB300, trông có vẻ như là bước nhảy vọt về hiệu năng card đơn, nhưng thực tế là một chiến thắng cấp hệ thống.
Quan trọng hơn, GB300 NVL72 kết nối 72 GPU thành một tổng thể cấp kệ bằng NVLink.
Đối với mô hình Chuyên gia Hỗn hợp khổng lồ như vậy, đây mới là điểm mấu chốt: mô hình có thể được trải ra toàn bộ, các chuyên gia được phân bổ song song trên toàn bộ một dãy GPU để thực thi, thay vì chen chúc trong một card đơn và tiêu hao năng lượng.
Các lõi CUDA ở bên dưới đã được tối ưu hóa thêm, chồng chéo truyền thông và tính toán giữa các chuyên gia, để chi phí phối hợp các chuyên gia được sức mạnh tính toán âm thầm hấp thụ, thay vì chồng chất lên độ trễ.
TensorRT-LLM chịu trách nhiệm giữ hiệu quả khi số phiên đồng thời không ngừng tăng lên, ví dụ như tách biệt xử lý đầu vào và tạo đầu ra thành hai việc riêng biệt, mỗi việc được tối ưu hóa riêng.
Nói một cách đơn giản, kết quả kiểm tra này là kết quả của sự kết hợp giữa phần cứng, kết nối và chồng phần mềm.
Kệ GB300 NVL72. 72 GPU được kết nối bằng NVLink thành một tổng thể băng thông cao duy nhất, đây chính là nền tảng phần cứng để 60.000 tác nhân thông minh có thể vận hành phối hợp.
Hàn 72 card thành một tổng thể băng thông cao, mỗi GPU đều có thể chia sẻ nhanh chóng các tham số, bộ nhớ cache KV và kết quả trung gian, đây mới là sự tự tin để 60.000 tác nhân thông minh có thể chạy phối hợp.
Một số giới hạn không thể bỏ qua
Có một số điểm cần lưu ý, không thể đánh đồng bài kiểm tra chuẩn với thực tế sản xuất.
Thứ nhất, con số 60.000, không phải là một máy chạy đồng thời 60.000 mô hình lớn độc lập.
Nó là mô phỏng phiên đồng thời theo định nghĩa chuẩn, mỗi tác nhân thông minh đi theo một đường đi được ghi sẵn, ngay cả các lệnh gọi công cụ cũng không thực sự thực thi, mà được mô phỏng bằng một khoảng thời gian CPU cố định.
Thiết kế như vậy là để kết quả cuối cùng chỉ phản ánh sự khác biệt về sức mạnh tính toán, nhưng nó không thể đánh đồng trực tiếp với khả năng dịch vụ có thể cung cấp trong môi trường sản xuất thực tế.
Thứ hai, điểm số chuẩn không phải là thỏa thuận dịch vụ sản xuất.
Bản thân Artificial Analysis cũng nói, đây là một bức ảnh nhanh tiên phong đang thay đổi nhanh chóng, các hệ thống của mỗi nhà sản xuất đều còn dung lượng chưa được tận dụng hết, điểm số sẽ tăng lên cùng với sự tối ưu hóa phần mềm.
Thứ ba, AA-AgentPerf hiện vẫn là tiêu chuẩn do một tổ chức duy nhất đề xuất.
Liệu nó có phát triển thành một thước đo tiêu chuẩn được công nhận toàn ngành như MLPerf hay không, hiện tại còn quá sớm để kết luận.
Tài liệu tham khảo:
https://artificialanalysis.ai/articles/aa-agentperf
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
Bài viết từ tài khoản công chúng WeChat "Tân Trí Nguyên", tác giả: ASI Khải Thị Lục, biên tập: Nguyên Vũ
