Claude Code Ternyata Seberapa Boros Token? Percobaan Perbandingan Datang: Tiga Kerangka Kerja Beda Hingga 30 Kali Lipat
Semua orang bilang Claude Code boros token, tapi seberapa boros? Eksperimen dari Composio menjawabnya. Mereka membandingkan tiga framework agent (harness) — Claude Code, Hermes, dan Kimi Code — dengan model yang sama (Kimi K3) pada 28 tugas identik.
Hasilnya, tingkat keberhasilan tugas serupa: Kimi Code 22/28, Hermes 21/28, Claude Code 20/28. Namun, konsumsi token sangat berbeda. **Untuk tugas yang sama, penggunaan token antar harness bisa berbeda hingga 30 kali lipat.** Secara median, Kimi Code pakai ~61k token, Hermes ~67k token, sedangkan Claude Code melonjak ke ~340k token (sekitar 6x Kimi Code).
Dengan harga Kimi K3 $3 per juta token input, biaya rata-rata per tugas: Kimi Code $0.22, Hermes $0.28, Claude Code $2. Kecepatan median: Hermes tercepat (179 detik), diikuti Kimi Code (297 detik), dan Claude Code (348 detik). Kesimpulan utama: **Untuk mengurangi biaya agent, pilih harness yang efisien bisa lebih berdampak daripada mengganti model.**
Analisis Sebastian Raschka menunjukkan penyebabnya: Claude Code cenderung berulang kali memasukkan kembali lebih banyak konteks sejarah (pesan sebelumnya, panggilan alat, output) ke dalam prompt di setiap putaran interaksi, sehingga membengkakkan token input, bukan output.
Tren ini menggarisbawahi pentingnya harness. Sebuah penelitian dari Writer menunjukkan, hanya dengan mengganti harness (model tetap), biaya tugas turun 41%, latensi turun 44%, dan konsumsi token turun 38%, dengan kualitas hasil yang tetap. Era kompetisi agent bergeser: dari "bisa melakukan" ke "melakukannya dengan lebih efisien", dan rahasia efisiensi terletak pada harness, bukan model.
marsbit07/31 12:28