Baru saja (tanggal 15), Anthropic memposting sebuah blog.
Inti informasinya adalah: Semuanya, berhentilah membakar token dengan sia-sia, kami sudah tidak tahan melihatnya!
Untuk itu, pihak resmi merinci enam cara menghemat uang, berikut ini:
1. /clear setelah tugas selesai. Setelah memperbaiki satu bug, kosongkan percakapan saat ini. Jangan biarkan file yang dibaca dan output perintah dari tugas sebelumnya terbawa ke tugas berikutnya, memakan konteks tanpa perlu.
2. Tentukan model dan level upaya (effort level) di awal. Jika beralih di tengah jalan, cache prompt yang terakumulasi sebelumnya akan hangus seluruhnya, dan seluruh riwayat percakapan harus dihitung ulang dengan harga penuh.
3. Gunakan @ untuk mereferensikan file, jangan ketik path secara manual. Gunakan @ untuk melampirkan file langsung ke pesan, Claude tidak perlu menghabiskan panggilan tool lagi untuk membacanya. Jika Anda hanya mengetik nama file, Claude mungkin akan mencari dulu, lalu membuka beberapa file untuk mencoba, semua operasi ini akan masuk ke riwayat percakapan dan dibawa di setiap putaran selanjutnya.
4. Tambahkan parameter senyap (quiet flag) pada perintah dengan output banyak. Tulis konfigurasi seperti --reporter=dot di CLAUDE.md, sehingga output pengujian hanya mencetak beberapa baris ringkasan, bukan ratusan baris detail. Semakin pendek output, semakin sedikit konteks yang digunakan.
5. Lakukan /compact sebelum istirahat. Kompresi saat percakapan masih ada di cache, biayanya hanya sepersepuluh dari normal. Jika Anda melakukannya setelah cache kedaluwarsa saat kembali, harus membaca ulang dengan harga penuh baru kemudian mengompres.
6. Serahkan tugas dengan output besar ke Sub-Agent. Sub-Agent berjalan di jendela konteks yang terpisah, setelah selesai hanya kesimpulan yang dikirim kembali. File yang dibaca dan output perintah yang dijalankan selama proses tidak akan masuk ke percakapan utama Anda.
Kehidupan Sebelum dan Sesudah Satu Token
Bekerja dengan Claude Code, API dibayar berdasarkan penggunaan, biaya langganan bulanan dibagi menjadi tiga tingkat dari $20 hingga $200.
Menurut perkiraan resmi, pengembang rata-rata menghabiskan $13 token per hari, dengan pengeluaran bulanan antara $150 hingga $250.
Ini baru rata-rata. Memperbaiki bug yang sama, cara bertanya yang berbeda bisa menghasilkan biaya beberapa kali lipat.
Dan setiap putaran percakapan mengirim ulang semua konten dari semua putaran sebelumnya, semakin panjang sesi, semakin mahal setiap putaran.
Uang ini dihabiskan di mana? Mari kita mulai dari logika penetapan harga token.
Setiap kali Anda memasukkan instruksi di Claude Code, dua hal terjadi di balik layar.
Pertama disebut prefill, yaitu model membaca seluruh permintaan Anda sekaligus, termasuk prompt sistem, CLAUDE.md, pesan Anda, serta semua yang terakumulasi dalam percakapan sebelumnya. Ini adalah token input.
Kedua disebut decode, yaitu proses model menulis keluar kata demi kata, termasuk pemikirannya, panggilan tool, dan teks yang akhirnya Anda lihat. Ini adalah token output.
Perbedaan kuncinya di sini.
Prefill bersifat paralel, memproses semua token input melalui GPU sekaligus. Decode bersifat serial, setiap kali mengeluarkan satu token harus menjalankan model sekali. Balasan 200 token adalah 200 kali komputasi independen.
Jadi tidak sulit dipahami mengapa token output 5 kali lebih mahal daripada token input.
Atas dasar ini, tagihan akhir bergantung pada dua hal.
Pertama adalah model, menentukan harga per token.
Opus 5, input $5/juta token, output $25.
Sonnet 5, input $2, output $10.
Haiku 4.5, input $1, output $5.
Kedua adalah tingkat upaya (effort level), menentukan jumlah token.
Sebagian besar token output dalam satu sesi adalah token pemikiran, tingkat upaya mengontrol jumlah ini. Semakin tinggi tingkat upaya, model berpikir lebih lama, output token pemikiran lebih banyak. Antara max dan low bisa berbeda beberapa kali lipat.
Gunakan Sonnet untuk tugas sederhana, baru pakai Opus untuk yang sulit. Uang yang dihabiskan untuk membunuh lalat dengan kapak besar paling sia-sia.
Prompt Cache, Senjata Penghemat Terbesar
Ada variabel besar lain dalam penetapan harga token, yaitu cache.
Setiap permintaan Claude Code dimulai dari awalan yang sama, yaitu prompt sistem, definisi tool, CLAUDE.md, dan riwayat percakapan.
Jika awalan permintaan kali ini persis sama byte demi byte dengan yang terakhir, server tidak menghitung ulang, langsung memuat hasil komputasi terakhir.
Membaca cache hanya membutuhkan 0.1 kali harga input normal, langsung menghemat 90%.
Menulis cache sedikit lebih mahal, maksimal 2 kali. Tetapi penulisan hanya terjadi sekali, setiap putaran selanjutnya menikmati pembacaan 0.1 kali.
Sebagai contoh.
Misalkan riwayat percakapan Anda memiliki 50 ribu token. Tanpa cache, setiap putaran hanya untuk membaca ulang 50 ribu token ini harus membayar harga penuh. Tetapi jika mengenai cache, 50 ribu token yang sama hanya membutuhkan sepersepuluh biaya.
Satu sesi berjalan dua puluh tiga puluh putaran, diskon yang terkumpul dari hit cache adalah jumlah yang luar biasa.
Ini adalah leverage 'merumput' terbesar Anda.
Tetapi cache memiliki kelemahan fatal. Cache harus cocok secara berurutan dari byte pertama permintaan, perubahan di mana pun di tengah, semua setelahnya menjadi tidak berlaku.
Secara spesifik, ada enam situasi:
1. /model mengganti model: Cache setiap model independen. Beralih dari Sonnet ke Opus, seluruh riwayat percakapan di-prefill ulang dengan harga Opus, tanpa diskon.
2. /effort mengganti tingkat upaya: Tingkat upaya juga bagian dari kunci cache, setelah beralih seluruh riwayat percakapan harus dihitung ulang.
3. Menyalakan/mematikan Fast mode: Efeknya sama dengan dua jenis sebelumnya, cache langsung tidak berlaku.
4. /compact mengompresi percakapan: Percakapan ditulis ulang menjadi ringkasan, konten asli tidak cocok sama sekali, cache lama langsung tidak berlaku.
5. Waktu kedaluwarsa: Cache pengguna langganan bertahan 1 jam, pengguna API default 5 menit. Setelah waktu habis, putaran berikutnya dihitung ulang secara penuh.
6. Memulihkan sesi lama: Terlalu lama terpisah, cache sudah lama hilang, hampir 100% harus dihitung ulang dengan harga penuh.
Berita buruknya, sekali terkena berarti seluruh riwayat percakapan dari 0.1 kali kembali ke harga asli.
Berita baiknya, ketika Anda tahu apa yang membuat cache tidak berlaku, Anda bisa tahu cara menjaganya.
Misalnya, kunci model dan tingkat upaya di awal sesi, jangan beralih selama sesi. Jangan melakukan /compact saat cache masih panas, lakukan saat akan istirahat.
Di sini, ada jebakan tersembunyi.
Mode opusplan setiap kali masuk/keluar plan mengganti model. Masuk sekali, cache tidak berlaku sekali. Keluar, tidak berlaku lagi. Jika bolak-balik, setiap lompatan adalah satu prefill dengan harga penuh.
Sesi Anda, Diam-diam Menjadi Gemuk
Cache membantu Anda menekan biaya mengirim ulang riwayat menjadi sepersepuluh.
Tapi ada satu hal yang tidak bisa dibantunya. Riwayat Anda sendiri membesar putaran demi putaran.
Setiap kali Claude membaca sebuah file, konten file ditambahkan ke percakapan. Setiap kali Claude menjalankan perintah, output juga ditambahkan. Dari putaran penambahan itu, setiap putaran berikutnya membawanya.
Percakapan putaran ke-40 mengirim ulang semua konten terakumulasi dari putaran 1 hingga 39.
Pertumbuhan seperti ini mendekati tingkat O(n2) kuadrat.
Claude Code memiliki mekanisme cadangan.
Jika output perintah melebihi 30000 karakter, tidak dimasukkan ke percakapan, tetapi ditulis ke file sementara, percakapan hanya berisi satu kalimat ringkasan. Tapi output di bawah 30000 tidak diurus.
Misalnya, framework pengujian selesai dijalankan, mencetak 400 baris catatan lulus, setiap baris puluhan karakter, total kurang dari 3 ribu, tidak mencapai ambang batas ini.
Maka 400 baris ini tetap berada di riwayat percakapan, setiap putaran berikutnya dibawa mengirim ulang.
Untuk ini, blog Anthropic memberikan beberapa cara praktis untuk melangsingkan.
1. @ referensikan file.
Jangan masukkan path secara manual untuk Claude cari sendiri. Referensi @ akan melampirkan file langsung ke pesan, menghemat satu operasi membaca.
Jika Anda hanya menyebut nama file, Claude mungkin akan grep mencari dulu, membuka beberapa file untuk melihat mana yang benar. Kemudian semua percobaan ini akan masuk ke riwayat percakapan, hanya menambah biaya.
2. Tambahkan quiet flag pada perintah yang berisik (noisy).
Tulis di CLAUDE.md "jalankan tes dengan npx vitest run --reporter=dot", sehingga setiap kali menjalankan tes hanya mengeluarkan beberapa baris hasil titik, bukan ratusan baris detail. Konfigurasi satu menit, menghemat ratusan baris konteks setiap sesi nanti.
3. Isolasi tugas output besar dengan subagent.
Subagent berjalan di jendela konteksnya sendiri yang terpisah, setelah selesai hanya mengirimkan jawaban kembali, file yang dibaca dan output perintah selama proses semuanya dibuang. Cocok untuk tugas seperti "lihat log apa ada yang aneh" atau "bantu saya tinjau file besar ini". Anda hanya butuh kesimpulan, bukan prosesnya.
Dan yang paling penting satu lagi.
4. /clear untuk mengganti tugas.
Setelah memperbaiki satu bug, /clear, mulai hal berikutnya. File, output perintah, eksplorasi tengah dari bug sebelumnya, semua tidak relevan dengan tugas berikutnya, tetapi jika tidak dibersihkan, mereka akan menempati posisi dan memakan token di setiap putaran berikutnya.
Jika tidak ingin mengosongkan sepenuhnya, /compact bisa mengompresi percakapan menjadi ringkasan. Sepuluh hingga dua puluh ribu token bisa dikompres menjadi seribu hingga tiga ribu.
Selain itu, blog juga menyebutkan operasi yang tidak populer tetapi gratis, /rewind.
Jika beberapa putaran terakhir melenceng, /rewind langsung memotong putaran-putaran itu, cache sebelumnya tidak terganggu sama sekali.
Mengelola Token, Juga Merupakan Kecakapan Pengembang
Setelah mengurai semua operasi di atas, Anda akan menemukan suatu pola. Orang yang menulis kode sedang mengembangkan seperangkat keterampilan baru.
Tidak terkait dengan framework atau bahasa, tetapi mengetahui model apa yang harus dipilih, bagaimana mengelola konteks, bagaimana menjaga cache, tingkat upaya berapa yang sesuai.
Kemampuan ini tidak ada setahun yang lalu. Tetapi sekarang menentukan apakah Anda menghabiskan $3 atau $30 untuk tugas yang sama.
Anthropic sendiri adalah contoh terbaik.
80% kode mereka ditulis oleh AI, jumlah penggabungan kode meningkat 8 kali lipat dalam setahun, pengujian benchmark dipercepat 52 kali lipat. Menggunakan AI dengan intensitas seperti ini, jika tidak ada yang mengelola token, biaya inferensi saja bisa menghabiskan anggaran.
Dari sudut pandang ini, daripada mengatakan blog ini membahas trik menghemat uang, lebih tepat dikatakan sebagai naluri baru yang perlu dimiliki orang yang menulis kode di era AI —
Mengetahui setiap operasi Anda mengonsumsi apa, mengetahui bagaimana membuat anggaran yang sama melakukan lebih banyak pekerjaan.
Orang yang membacanya dengan paham, merumput bukan hanya beberapa dolar token.
Referensi:
https://claude.com/blog/maximizing-the-value-of-your-claude-code-sessions
Artikel ini berasal dari akun WeChat publik "Xin Zhi Yuan", penulis: Mosi
