Model yang lebih besar otomatis lebih pintar?
【Pengantar】Model yang lebih besar otomatis lebih pintar? Ini mungkin kesalahpahaman terdalam pengguna Claude Code. Banyak orang karena itu terus beralih ke Fable yang paling mahal. Baru-baru ini, Anthropic secara langsung meluruskan kesalahpahaman ini.
Pernahkah Anda mengalami momen seperti ini: Claude Code menulis kode yang berantakan, reaksi pertama adalah langsung ganti ke model yang lebih kuat.
Tapi trik ini, sering kali tidak efektif, bahkan hanya membuang-buang uang.
Baru-baru ini, Anthropic secara resmi menerbitkan sebuah artikel panjang khusus membahas hal ini.
Artikel panjang resmi Anthropic
Penyebabnya adalah terlalu banyak orang yang bingung dengan dua opsi di Claude Code:
Satu adalah pilihan Model (Model), yang satunya lagi adalah Tingkat Usaha (Effort).
Artikel panjang resmi Anthropic
Dulu, pemahaman tentang dua opsi ini sangat sederhana: ganti model yang lebih besar, AI jadi lebih pintar; tingkatkan Effort, intinya cuma membuat AI berpikir lebih lama.
Dan tepat bulan Maret lalu, kesalahpahaman ini menyebabkan kekacauan yang cukup besar.
Saat itu, banyak pengembang menemukan bahwa Claude Code tiba-tiba jadi "bodoh". File yang seharusnya dibaca tidak dibaca, tes yang harus dijalankan tidak dijalankan, tugas dikerjakan setengah jalan lalu berhenti, malah balik minta informasi lebih lanjut.
Maka, hujan kritikan bermunculan di GitHub.
Tusukan paling keras datang dari Kepala AI AMD, Stella Laurenzo.
Dia memeriksa log dari 6852 sesi di GitHub, menguji dan menemukan jumlah pemikiran Claude turun 67% dibanding sebelum Februari, lalu berkomentar:
Claude sudah tidak bisa dipercaya lagi untuk mengerjakan tugas-tugas rekayasa yang kompleks.
Claude sudah tidak bisa dipercaya
Awalnya, orang masih mengira prompt-nya yang kurang baik, atau ada konfigurasi yang salah. Setelah berusaha lama baru tersadar: masalahnya sama sekali bukan pada diri mereka, melainkan Anthropic diam-diam mengubah sebuah pengaturan.
Tanggal 4 Maret, untuk menekan latensi, mereka menurunkan pengaturan default opsi Effort di Claude Code dari high ke medium.
Catatan pembaruan resmi juga menuliskannya, tapi kebanyakan orang tidak memperhatikan, mereka hanya merasa, model yang mereka pegang tiba-tiba seperti jadi bodoh tanpa alasan.
Bertahan sebulan, Anthropic baru pada 7 April mengembalikan pengaturan default itu, dan mereset kuota penggunaan sekali untuk semua pelanggan berlangganan.
Dan kebanyakan orang baru saat itu tahu, tombol ini sebenarnya selalu ada di dekat mereka, yang diam-diam menentukan: apakah AI mau bekerja maksimal untuk Anda atau tidak.
Model mengganti otak, Effort mengganti sikap
Penjelasan resmi dari Anthropic bisa disimpulkan sederhana dengan satu kalimat:
Model mengganti otak, Effort mengganti sikap.
Pertama, Model, ini mengganti otak.
Setiap model di belakangnya adalah seperangkat "bobot beku", kemampuan dan pengetahuannya, sudah terkunci sejak saat pelatihan selesai: hanya baca, tidak bisa diubah.
Artinya, prompt yang Anda masukkan saat inferensi, CLAUDE.md, kode yang ditempelkan ke konteks, semuanya tidak bisa mengubah bobot ini: Anda bisa membimbingnya, tapi tidak bisa "melatih"nya.
Ganti model, pada dasarnya adalah mengganti seperangkat bobot baru untuk mengerjakan tugas Anda, jadi itu menyelesaikan masalah "bisa atau tidak".
Sebuah pustaka yang belum ada saat model dilatih, Anda berikan dokumentasi lengkap, dia bisa belajar langsung, tapi itu hanya berlaku untuk permintaan ini sekali saja, model itu sendiri tidak mengingat satu kata pun, langsung lupa.
Kadang dia dengan serius memanggil API yang tidak ada, juga prinsip yang sama. Itu bukan kurang riset, tapi bobot mengikuti pola lama dari pelatihan, memaksakan rangkaian sesuatu.
Melihat lebih ke lapisan bawah, lebih jelas lagi. Kode yang Anda tulis `const x = await fetch`, di mata model pertama dipotong menjadi token-token, masing-masing diganti menjadi angka di kamus kosakata.
Sumber: Blog resmi Anthropic
Satu baris kode yang Anda tulis, setelah dipotong token masing-masing sesuai dengan integer di kamus kosakata: `const` adalah 1078, `await` adalah 2597, kamus kosakata sekitar 100 ribu. Yang diterima model bukanlah teks, melainkan rangkaian angka ini.
Model tidak mengeluarkan seluruh jawaban sekaligus. Dia hanya memprediksi satu token dalam satu waktu, menambahkannya, lalu menghitung ulang seluruh rangkaian, memprediksi yang berikutnya. Sebuah balasan dua ratus token, adalah dua ratus kali perhitungan lengkap.
Waktu tunggu Anda, uang yang Anda bakar, sebagian besar berada di dalam lingkaran ini.
Kemudian Effort, yang diganti adalah "sikap".
Banyak orang mengira Effort tinggi berarti "berpikir beberapa detik lagi", salah.
Effort mengatur seberapa banyak kerja yang akan Claude lakukan dalam tugas ini: membaca berapa file, menjalankan tes atau tidak, perlu verifikasi tambahan atau tidak, apakah perlu menjalankan tugas multi-langkah hingga selesai baru kembali ke Anda.
Singkatnya: Claude dengan Effort rendah, cenderung membalas cepat, lalu balik bertanya minta konteks lebih, tidak bergerak jika bisa; Claude dengan Effort tinggi, cenderung mencari informasi sendiri, memanggil alat berkali-kali, menjalankan rantai tugas panjang sekaligus.
Effort di Claude Code dibagi menjadi beberapa tingkat, jangan menganggapnya sebagai batasan anggaran token yang kaku.
Itu adalah sinyal perilaku, memberi tahu Claude seberapa menyeluruh dan seberapa yakin pekerjaan ini harus diselesaikan, balasan teks, pemanggilan alat, pemikiran tambahan, semuanya berada dalam ruang lingkupnya.
Resmi juga merilis gambar ilustrasi: prompt yang sama, Effort tinggi bisa menghasilkan token sekitar 7 kali lebih banyak daripada Effort rendah. Tambahannya semuanya dihabiskan untuk membaca file, menjalankan verifikasi, konfirmasi berulang.
Sumber: Blog resmi Anthropic
Prompt yang sama, jalur Effort tinggi menghasilkan token sekitar 7 kali lipat dari Effort rendah, kelebihannya dihabiskan untuk membaca file, menjalankan verifikasi, konfirmasi berulang.
Di sini tersembunyi sebuah kesimpulan yang berlawanan dengan intuisi: model kecil dengan Effort tinggi, sepenuhnya mungkin mengalahkan model besar dengan Effort rendah.
Tidak bisa, atau tidak cukup berusaha
Mengetahui pembagian kerja, yang benar-benar berguna, adalah kerangka penilaian yang diberikan oleh pihak resmi.
Sumber: Blog resmi Anthropic
Kerangka penilaian resmi: Claude salah, tanya dulu apakah dia kurang pintar atau kurang berusaha, baru putuskan ganti model atau tambah Effort.
Claude gagal, jangan buru-buru ubah opsi model.
Langkah pertama selalu periksa kembali konteks: apakah prompt sudah jelas? Alat yang diperlukan sudah diberikan? CLAUDE.md sudah dipasangkan? Kebanyakan yang disebut "AI jadi bodoh", akarnya ada di sini, bukan di opsi model.
Konteks memang tidak ada masalah, dia tetap salah, tanya diri sendiri: dia tidak bisa, atau tidak cukup berusaha?
"Tidak cukup berusaha", mudah dinilai: file yang harus dibaca dilewati, tes tidak dijalankan, refaktor dikerjakan setengah lalu kembali bertanya: yang kurang bukan otaknya, tapi usaha.
Ini urusan Effort, bisa dinaikkan satu tingkat.
Jika "tidak bisa", ini adalah situasi lain: Anda sudah memberikan konteks yang cukup, dia juga jelas sudah berusaha maksimal, tapi tetap salah, dicoba dengan penjelasan berbeda tetap salah.
Saat ini seberapa tinggi Anda menambah Effort akan sia-sia, ini urusan model: harus diganti dengan yang lebih kuat.
Pihak resmi juga memberikan perumpamaan yang sangat mudah dipahami.
Sonnet, adalah pemain serba bisa yang punya waktu sepanjang sore.
Dia akan membaca kode Anda dari awal hingga akhir, menjalankannya, memverifikasinya lagi, akhirnya benar-benar memahami pekerjaan Anda ini.
Opus, adalah ahli yang hanya memberi Anda lima menit. Dia membawa pengalaman yang tidak ada di repositori kode Anda, rintangan yang pernah dilihat, jebakan yang harus dihindari, semuanya adalah intuisi yang dikumpulkan dari menyelesaikan banyak masalah serupa. Tapi lima menit hanya sebentar, hanya cukup untuk dia melihat sekilas, tidak bisa memindai semua file.
Fable, adalah spesialis yang baru bisa dipanggil saat semua orang mentok. Meski hanya diberi lima menit, dia bisa langsung menemukan kesalahan yang tidak dilihat orang lain.
Tentu, ahli ini setiap token-nya juga paling mahal, harus disisakan untuk masalah keras yang benar-benar tidak bisa ditangani orang lain.
Jadi ada kesimpulan yang berlawanan dengan akal sehat itu:
Sonnet dengan Effort tinggi, dalam banyak tugas benar-benar bisa mengalahkan Opus dengan Effort rendah. Model kecil dengan konteks yang cukup dan usaha tinggi, mampu menangani lebih banyak hal dari yang Anda bayangkan.
Sumber: Blog resmi Anthropic
Dalam tugas panjang, pekerjaan multi-langkah, Fable menunjukkan jarak terbesar, dalam pengujian resmi beberapa tugas Opus dan Sonnet bahkan dengan Effor tertinggi pun tidak bisa mencapainya.
Setelah persaingan peringkat model, menugaskan AI menjadi keterampilan keras
Penjelasan resmi ini, di permukaan mengajarkan Anda menyesuaikan parameter, di baliknya adalah pergeseran penting:
Persaingan pemrograman AI, sedang bergeser dari "model siapa yang lebih kuat", ke "siapa yang lebih pandai menjadwalkan agen".
Dulu sederhana, orang memilih model terkuat, sisanya serahkan padanya.
Sekarang tidak sama lagi. Anda harus seperti manajer proyek, memberikan peran berbeda ke model berbeda, menentukan tingkat usaha yang berbeda:
Perubahan sederhana serahkan ke Sonnet dengan tingkat rendah, balas cepat dan hemat uang; refaktor besar gunakan model kuat dengan tingkat tinggi; tugas agen yang perlu berjalan sendiri lama, model kuat dengan Effort penuh.
Operasi ini, tidak hanya bisa menyelesaikan pekerjaan dengan lebih baik, yang dihemat, adalah tagihan token yang bernilai uang sungguhan.
Tingkat ultracode tambahan di menu Effort Claude Code, adalah dengan memasukkan "penjadwalan" ini ke dalam produk.
Pilih itu, Claude mendapatkan kekuatan xhigh, ditambah satu otorisasi: saat menghadapi pekerjaan substantif, pertimbangkan sendiri apakah perlu membentuk tim agen, memecah tugas dan mengerjakannya secara paralel.
Melihat kembali keributan "jadi bodoh" bulan Maret itu.
Hal itu bisa mengguncang seluruh komunitas, justru karena kebanyakan orang masih terjebak dalam pola pikir lama "ganti model", tidak menyadari opsi Effort yang lebih penting di tangan mereka.
Era hanya melihat peringkat model sedang berlalu, penjadwalan model, sedang menjadi keterampilan inti.
Siapa yang pertama belajar menugaskan AI, dia bisa selangkah lebih dulu, menggunakan Claude yang benar-benar mau bekerja keras untuk Anda. Jika tidak, model termahal di tangan Anda, hanyalah kotak pencarian yang lebih mahal.
Dengan begitu, setiap token yang Anda bakar, baru benar-benar terpakai di tempat yang tepat.
Referensi:
https://claude.com/blog/claude-model-and-effort-level-in-claude-code
https://x.com/ClaudeDevs/status/2074900291062034618?s=20
https://platform.claude.com/docs/en/managed-agents/multi-agent
Editor: Yuan Yu
Artikel ini berasal dari akun WeChat "新智元", penulis: ASI启示录
