Semua orang bilang Claude Code boros Token, seberapa boros sih? Sekarang akhirnya ada yang menghitungnya.
Baru-baru ini ada percobaan perbandingan yang cukup menarik, dari tim Composio. Mereka menggunakan model yang sama Kimi K3, dimasukkan ke dalam tiga kerangka kerja (harness) agent yang berbeda — Claude Code, Hermes, dan Kimi Code — untuk menjalankan total 28 tugas yang persis sama.
Hasilnya, tingkat keberhasilan tugas ketiga harness itu hampir sama: Kimi Code berhasil 22 dari 28, Hermes 21, Claude Code 20. Gapnya tidak terlalu besar.
Yang benar-benar membedakan, adalah konsumsi token. Tugas yang sama, dijalankan dengan harness yang berbeda, penggunaan tokennya bisa berbeda hingga 30 kali lipat!
Dari mediannya, Kimi Code menggunakan sekitar 61 ribu token, Hermes sekitar 67 ribu, sedangkan Claude Code langsung melonjak ke 340 ribu, hampir 6 kali lipat Kimi Code.
Dengan harga Kimi K3 per juta token input 3 dolar (token input biasanya mencapai 95% dalam alur kerja agent), biaya rata-rata per tugas kira-kira: Kimi Code 0.22 dolar, Hermes 0.28 dolar, Claude Code mencapai 2 dolar. Perbedaannya jelas.
Kecepatan juga berbeda. Median waktu pengerjaan, Hermes tercepat, 179 detik; Kimi Code 297 detik; Claude Code 348 detik.
Jadi yang tercepat adalah Hermes, yang paling hemat token adalah Kimi Code, keduanya tidak bertepatan.
Tim Composio menyimpulkan secara langsung: Jika ingin menurunkan biaya agent, lihat dulu harness mana yang digunakan, bukan buru-buru ganti model. Dalam data mereka, harness itu sendiri bisa membuat biaya berbeda 9 kali lipat, sementara performa model sebenarnya hampir sama.
Setelah melihat hasil ini, Sebastian Raschka juga membuat postingan, mengatakan ini mirip dengan observasinya sebelumnya menggunakan Qwen3.6: Claude Code dengan tingkat keberhasilan yang serupa, penggunaan tokennya seringkali 2 sampai 3 kali lipat dari banyak harness lainnya.
Dia mengajukan beberapa kemungkinan penyebab: apakah kurang dioptimalkan? Ada bug? Atau sengaja dirancang seperti itu (karena mungkin membantu dalam tugas yang lebih sulit)? Dia mengatakan perlu waktu untuk menyelidikinya lebih lanjut.
Kemudian dia menambahkan observasinya saat menulis artikel tentang coding agent lokal bulan lalu. Saat itu dia menganalisis mengapa Claude Code menggunakan lebih banyak token, dan menemukan perbedaan utama ada di token input, bukan token output. Artinya, Claude tidak menulis konten dua kali lipat lebih banyak. Log menunjukkan, harness Claude dalam interaksi multi-ronde berulang kali memasukkan lebih banyak konteks kembali ke model, termasuk pesan sebelumnya, panggilan alat, output perintah, dan isi file. Misalnya, dalam satu proses Claude menggunakan sekitar 578 ribu token input, tetapi output hanya sekitar 4500 token, melewati 25 ronde. Jadi penjelasan yang lebih mungkin adalah, harness Claude saat runtime agent multi-langkah, mengakumulasi atau memperhitungkan riwayat prompt yang lebih besar.
Hasil pengujian ini tampaknya mengungkap tren yang tidak boleh diabaikan: Pentingnya harness sudah tidak kalah dengan model itu sendiri.
Sebuah makalah terbaru (dari Writer, sebuah perusahaan platform AI Agent tingkat perusahaan) secara sistematis mengungkap hal ini: Melalui eksperimen variabel terkontrol, terbukti bahwa mengganti lapisan harness lebih efektif memangkas biaya daripada mengganti model, dan semua model mendapat manfaat.
Secara spesifik, mereka melakukan eksperimen 'variabel terkontrol' yang ketat: Dengan 22 tugas perusahaan dan 6 model dasar (Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1, Palmyra X6) yang tetap tidak berubah, hanya mengganti lapisan orchestration — mengganti loop agent tingkat produksi tradisional dengan Harness milik Writer sendiri.
Hasil eksperimen menunjukkan: Biaya rata-rata per tugas turun 41% (0.21 dolar → 0.12 dolar), median latensi memendek 44% (48 detik → 27 detik), konsumsi Token berkurang 38% (14.2k → 8.8k), sementara kualitas penyelesaian tugas pada dasarnya tetap (0.78 → 0.81, karena ukuran sampel kecil dapat dianggap tidak ada perbedaan signifikan). Dalam hal efektivitas biaya, peningkatan kualitas yang diperoleh per dolar meningkat drastis hingga 82%, sementara jumlah tugas yang dapat diselesaikan per juta Token melonjak dari 54.9 menjadi 92.0.
Jadi, setelah model menjadi 'utilitas seperti listrik dan air', harnesskah yang menentukan tagihan listrik AC Anda? Dengan kata lain: Dulu ada yang bilang 'model adalah produk', sekarang 'harness adalah produk'?
Mengingat harness begitu penting, bukankah perhitungannya nanti juga harus lebih rinci?
Ada yang menyoroti, kita perlu menambahkan item 'pajak harness' ke dalam benchmark yang ada. Terutama mengingat begitu pemanggilan alat dan percobaan ulang masuk loop, pajak ini tidak tumbuh linear.
Dengan kata lain, kompetisi agent di masa depan, babak pertama memperebutkan 'bisa atau tidak', babak kedua akan memperebutkan 'siapa yang lebih hemat untuk melakukan hal yang sama' — dan rahasia penghematan, tidak ada pada model, tetapi pada harness.
Dalam proses menjalankan Agent, apakah Anda pernah mengalami hal serupa? Selamat berdiskusi di kolom komentar.
Artikel ini berasal dari akun WeChat publik "机器之心" (ID:almosthuman2014), penulis: 机器之心
