Claude 'đốt' nổ 500 triệu đô, tăng 60 lần chỉ trong một đêm: Hóa đơn Token của bạn còn chịu nổi không?
Một doanh nghiệp đã chi tới 500 triệu USD chỉ trong một tháng cho Claude do quên đặt giới hạn ngân sách, trong khi một cá nhân khác nhận hóa đơn 18.000 USD từ Google Cloud vì khóa API bị lạm dụng. Các sự cố này báo hiệu một thực tế: hóa đơn AI có thể "phát nổ" bất ngờ do các tác nhân tự động (AI agent) chạy không kiểm soát, khóa bảo mật bị rò rỉ hoặc thiếu giới hạn sử dụng.
Nguyên nhân sâu xa nằm ở việc các nền tảng như OpenAI và GitHub đang chuyển từ tính phí theo tháng sang tính phí theo lượng token tiêu thụ. Sự thay đổi này tác động mạnh tới người dùng nặng, đặc biệt là những người dùng AI agent cho các tác vụ dài, khiến chi phí tăng vọt – có trường hợp từ 28 USD lên 746 USD mỗi tháng.
Một vấn đề khác là việc lãng phí token có chủ đích. Tại Amazon, một bảng xếp hạng sử dụng AI nội bộ (KiroRank) đã vô tình khuyến khích nhân viên "token maxxing" – tăng lượng token sử dụng chỉ để nâng thứ hạng, dù không tạo ra giá trị thực.
Trong bối cảnh này, các giải pháp tối ưu chi phí đang nổi lên. Các công ty như Glean tập trung cung cấp ngữ cảnh tốt hơn cho AI để giảm lượt xử lý, trong khi các nền tảng định tuyến (như Factory AI) tự động phân công tác vụ cho mô hình phù hợp nhất về chi phí. Nghiên cứu cho thấy việc tiêu thụ token cao hơn không luôn đồng nghĩa với độ chính xác tốt hơn.
Đáng chú ý, chi phí AI trong doanh nghiệp đang bắt đầu so sánh được với chi phí nhân sự. Các CEO như Arvind Jain của Glean nhận định đây là lần đầu tiên chi phí công nghệ ngang bằng chi phí con người, buộc các công ty phải xem xét lại giá trị thực sự từ mỗi token được sử dụng. Tương lai sẽ thuộc về những người biết quản lý và tối ưu hóa ngân sách token một cách hiệu quả.
marsbit06/01 11:20
