Claude Code Thực Sự Tốn Bao Nhiêu Token? Thử Nghiệm So Sánh Đã Có: Ba Framework Chênh Lha Nhất Đến 30 Lần
Mọi người thường nói Claude Code tốn token, nhưng tốn cỡ nào? Một thí nghiệm so sánh gần đây từ đội ngũ Composio đã cung cấp con số. Họ sử dụng cùng một mô hình Kimi K3, chạy qua 3 framework agent (harness) khác nhau – Claude Code, Hermes và Kimi Code – cho 28 nhiệm vụ giống hệt nhau.
Kết quả, tỷ lệ thành công tương đương: Kimi Code 22/28, Hermes 21/28, Claude Code 20/28. Điểm khác biệt lớn nằm ở lượng token tiêu thụ. **Cùng một nhiệm vụ, token sử dụng giữa các harness chênh lệch tới 30 lần**. Xét trung vị, Kimi Code dùng ~61k token, Hermes ~67k token, còn Claude Code lên tới 340k token, gấp khoảng 6 lần Kimi Code.
Với giá Kimi K3 là 3 USD/triệu token input, chi phí trung bình mỗi nhiệm vụ là: **Kimi Code 0.22 USD, Hermes 0.28 USD, Claude Code 2 USD**. Về tốc độ, Hermes nhanh nhất (179 giây), tiếp đến là Kimi Code (297 giây) và Claude Code (348 giây).
Bài học rút ra: để giảm chi phí agent, việc lựa chọn harness quan trọng không kém, thậm chí hơn cả việc đổi mô hình. Dữ liệu cho thấy harness có thể tạo ra chênh lệch chi phí tới 9 lần, trong khi hiệu năng mô hình lại tương đồng.
Sebastian Raschka chỉ ra nguyên nhân có thể do Claude Code trong quá trình chạy đa bước (multi-step) có xu hướng đưa nhiều ngữ cảnh lịch sử hơn (tin nhắn cũ, lệnh, kết quả tool, nội dung file) vào prompt mỗi lượt, làm tăng token input chứ không phải token output.
Một nghiên cứu từ Writer càng khẳng định tầm quan trọng của harness. Thí nghiệm kiểm soát biến số cho thấy chỉ việc thay harness có thể giảm 41% chi phí, 44% độ trễ và 38% lượng token, trong khi chất lượng nhiệm vụ vẫn được duy trì.
Điều này cho thấy, khi mô hình dần trở thành "hàng hóa cơ bản", harness mới là yếu tố then chốt quyết định hiệu quả và chi phí. Có ý kiến đề xuất nên thêm chỉ số "harness tax" vào các benchmark để đánh giá toàn diện hơn. Cuộc đua agent trong tương lai sẽ không chỉ là "ai làm được" mà còn là "ai làm cùng việc với chi phí thấp hơn".
marsbit18 phút trước
