Gần đây, một thuật ngữ mới đã gây ra nhiều cuộc thảo luận sôi nổi: "Tokenpocalypse" (Ngày Tàn Của Token).
Nguyên nhân bắt nguồn từ việc Microsoft thực hiện một đợt tái cấu trúc định giá cho GitHub Copilot. Bắt đầu từ ngày 1 tháng 6, Copilot chuyển hoàn toàn sang mô hình tính phí dựa trên token, với sự chênh lệch lớn về hệ số chi phí token giữa các mô hình khác nhau. Giá token của một số mô hình cao gấp 60 lần các mô hình khác.
Và những mô hình cao cấp được người dùng đánh giá là "thực sự tốt", lại chính là những mô hình tăng giá mạnh nhất.
Khi các công ty AI hàng đầu như Anthropic, OpenAI đang chuẩn bị lên sàn, áp lực tạo ra lợi nhuận sẽ trở nên khắc nghiệt hơn, có thể sẽ buộc nhiều nhà cung cấp khác phải tăng giá theo.
Chi phí sử dụng AI luôn là vấn đề không thể tránh khỏi khi doanh nghiệp mở rộng năng suất. Làn sóng "tokenmaxxing" nổi lên trước đây, với động lực thi đua về lượng token mà nhân viên sử dụng, sẽ đi đến hồi kết khi Ngày Tàn Của Token đến gần.
"Cả làn sóng tokenmaxxing, từ lúc nổi lên, đạt đỉnh cho đến khi bị ghét bỏ, tổng cộng chỉ vỏn vẹn sáu tháng."
Tình Thế Tiến Thoái Lưỡng Nan Của Doanh Nghiệp
Một nhà phát triển từ một doanh nghiệp lớn mô tả một tình thế nghịch lý: Công ty từ lâu đã bắt buộc nhân viên sử dụng công cụ AI, dùng ít token sẽ bị mời lên phòng nhân sự. Nhưng khi chính sách định giá mới áp dụng, dùng nhiều token cũng sẽ bị mời lên phòng nhân sự.
Tai hại hơn, cho đến nay, đội ngũ Copilot vẫn chưa thể triển khai tính năng "giới hạn token theo cấp độ nhân viên". Điều này có nghĩa là trong mô hình tính phí mới, một nhân viên có thể đốt sạch toàn bộ ngân sách token của cả công ty trong một ngày.
"Công việc của tôi bây giờ không còn là dùng phần mềm để giải quyết vấn đề nghiệp vụ nữa," nhà phát triển này viết, "Công việc của tôi đã biến thành giải quyết vấn đề sử dụng token."
Những bình luận trong phần bình luận còn thú vị hơn. Một người dùng tóm tắt: "Chính sách công ty đã trở thành: 'Dùng AI cho mọi việc, nhưng hãy cẩn thận đừng dùng quá nhiều, vì nếu LLM tiêu thụ quá nhiều token, bạn sẽ bị vô hiệu hóa tài khoản, rồi bạn sẽ bị khiển trách vì không dùng AI trong thời gian còn lại của tháng.'"
Việc doanh nghiệp quá coi trọng năng suất AI, cũng có thể là một con dao hai lưỡi.
Một giám đốc thông tin từ một hãng luật lớn thậm chí còn "khoe khoang" trong một hội thảo về AI: Sau khi hệ thống AI của họ bị sập, các luật sư gần như ngừng làm việc, vì họ đã không thể làm việc nếu thiếu AI.
"Một người được đào tạo chuyên nghiệp nhiều năm, lại tự do thừa nhận rằng mình không thể làm việc nếu thiếu khung chat AI? Tôi sẽ thấy xấu hổ đến mức bắt đầu suy ngẫm lại sự nghiệp của chính mình."
Sự Kiện Vượt Ngân Sách Của Uber: Hình Ảnh Thu Nhỏ Của Ngành
Hiện tại, hầu hết các mô hình AI đều có gói dung lượng, vấn đề kiểm soát ngân sách của doanh nghiệp ngày càng trầm trọng hơn khi Token dần được tính phí theo lượng sử dụng.
Uber đã trải qua một vòng cung hoàn chỉnh chỉ trong vòng một tháng rưỡi: Đầu tiên, phát hiện ra "Ngân sách AI bị đốt nhanh hơn nhiều so với dự kiến", sau đó khẩn cấp thiết lập giới hạn sử dụng và hạn chế cho nhân viên.
"Hãy tưởng tượng, một công ty sử dụng AI nhiều như Uber mà còn có thể chạm tường nhanh đến vậy," một podcast của TechCrunch bàn luận, "Vấn đề là: Các phòng thí nghiệm AI có thể giảm chi phí đến mức phù hợp với khả năng chi trả của khách hàng không?"
Một kiến thức thú vị: Khi ChatGPT Plus ban đầu được định giá 20 USD/tháng, không có bất kỳ cân nhắc chiến lược nào, "chỉ là ném ra một con số ngẫu nhiên". Toàn bộ ngành công nghiệp cho đến nay vẫn đang trả giá cho điểm khởi đầu này.
"Công Việc Của Bạn Sẽ Không Bị AI Thay Thế, Nhưng Ngân Sách Của Bạn Có Thể Sẽ Bị"
Trên Reddit còn có nhiều chi tiết đáng suy ngẫm hơn. Có người đã xây dựng một bảng điều khiển giám sát chi phí AWS Bedrock trong công ty, hiển thị chi phí thời gian thực cho từng mô hình, từng token (bao gồm cả token cache) lên CloudWatch, "để nhà phát triển và bộ phận tài chính cùng xem tiền bị đốt". Phản ứng trong phần bình luận là: "Chúc mừng, bạn vừa cung cấp cho họ một chỉ số KPI mới."
Một công ty lớn khác cũng đã gặp phải tình trạng thắt chặt tương tự: Sau khi hạn mức AI được sử dụng hết, tất cả mọi người bị buộc phải chuyển xuống dùng GPT-4.2, thậm chí mất cả tính năng tích hợp VSCode.
Một người ngoài cuộc không thuộc ngành công nghệ đã nói lên suy nghĩ của nhiều người: "Toàn bộ chuyện này tiêu hao năng lượng tinh thần và giờ làm việc thực tế đã nhiều đến mức ảnh hưởng đến việc giao nộp công việc thực sự có thể giúp công ty kiếm tiền."
Khi toàn bộ ngành công nghiệp vẫn đang đắm chìm trong câu chuyện "AI sẽ thay thế tất cả", một vấn đề thực tế hơn đã nổi lên: Hóa đơn cho sức mạnh tính toán, rốt cuộc cũng phải có người trả. Và "Ngày Tàn Của Token" có lẽ chỉ là sự khởi đầu của sự thanh toán này.
