Editor|Sia
Justru saat CEO Cursor, Michael Truell, mengungkapkan bahwa OpenAI berencana memblokir akses pengguna Cursor ke model mereka dalam tiga bulan ke depan—membuat hubungan keduanya tiba-tiba memanas—OpenAI Codex tiba-tiba melakukan langkah baru.
Baru saja, pengguna berbayar ini tiba-tiba mendapat "pengisian ulang" kuota—Kepala Codex Tibo mengumumkan melalui tweet bahwa mereka akan mereset kuota penggunaan untuk semua pengguna berbayar Codex dan ChatGPT Work.
Ini bukan sekadar memberi tambahan kuota secara mentah-mentah.
Tibo menyatakan, mereka baru-baru ini menangani ribuan umpan balik pengguna secara terpusat, dan hampir membongkar habis mekanisme perhitungan penggunaan di balik Codex. Hasilnya, mereka menemukan bahwa perasaan pengguna sebelumnya—kok kuotanya habis begitu cepat—ternyata tidak sepenuhnya salah.
Setelah serangkaian Bug diperbaiki, mereka memperkirakan: dengan kuota penggunaan Codex yang sama, sekarang dapat bertahan 10%-50% lebih lama dibanding sebelumnya. Angka kuota mungkin tidak berubah, tetapi pekerjaan yang bisa diselesaikan bertambah banyak.
Daftar masalah yang diumumkan kali ini, hampir bisa disebut sebagai "Ensiklopedia Cara AI Agent Diam-diam Membakar Token". Beberapa Bug di antaranya, tampak sepele, tetapi sangat rakus membakar kuota.
Satu Tugas, Bisa Habiskan Hingga 70% Kuota Mingguan
OpenAI sekaligus menyebutkan 8 jenis masalah yang telah ditemukan dan diperbaiki.
Pertama, adalah kompresi konteks (Compaction). Saat alat pemrograman AI berjalan lama, konteksnya semakin besar, sistem biasanya akan mengompres informasi historis agar bisa terus bekerja.
Masalahnya, sebelumnya ketika Codex melakukan kompresi konteks, gambar lama akan tetap tertinggal dalam konteks. Alhasil, kompresi yang tujuannya membuat konteks lebih kecil, justru karena gambar lama tidak dibersihkan, konteks tetap besar, bahkan besar hingga dapat memicu kompresi lagi segera.
Maka muncul situasi yang agak fantastis: kompresi yang dilakukan untuk menghemat konteks, justru sendiri mulai mengonsumsi lebih banyak konteks. Setelah OpenAI memperbaiki masalah ini, untuk pengguna yang banyak menggunakan gambar, penggunaan terkait langsung turun sekitar 10%.
Tapi ini belum yang paling ekstrem. Pembunuh kuota sejati, berasal dari mekanisme tujuan tugas (Goals) Codex.
OpenAI menemukan, dalam beberapa kasus, /goal yang ditetapkan pengguna sebenarnya sudah selesai dieksekusi, tetapi Agent tidak berhenti sesuai harapan, malah melanjutkan eksekusi.
Kasus lain adalah ketika alat sudah rusak, model tetap terus mencoba mencoba lagi. Tugas tampaknya sudah selesai, tetapi AI masih bekerja di latar belakang berulang kali.
OpenAI menyebut, dalam beberapa kasus yang mereka lihat, hanya masalah ini saja dapat menghabiskan 15%-70% kuota mingguan pengguna. Artinya, dalam kondisi ekstrem, satu tugas abnormal bisa langsung menghabiskan tujuh puluh persen kuota mingguan. Sekarang, masalah ini juga sudah diperbaiki.
Ada Tugas Latar Belakang, Bahkan Hampir Berjalan 15000 Kali
Masalah lain muncul di Memory, yaitu sistem memori.
Memory Worker di latar belakang Codex dalam beberapa kasus, akan mewarisi Stop Hook tertentu. Pada dasarnya, Stop Hook digunakan untuk mengontrol kapan tugas berhenti. Namun setelah Bug muncul, beberapa tugas latar belakang malah mungkin terus berjalan karena kondisi berhenti tidak terpenuhi.
Masalah jenis ini sebenarnya memengaruhi kurang dari 1% pengguna. Tetapi masalahnya, kasus ekor panjangnya sangat ekstrem. OpenAI menyebut, mereka bahkan pernah menemukan kasus di mana aksi sistem memeriksa apakah suatu tugas dapat diakhiri, mungkin dieksekusi hingga 15000 kali.
Bagi sebagian besar pengguna, Bug ini mungkin sama sekali tidak terasa. Tetapi bagi pengguna yang mengalaminya, Token bisa menguap diam-diam di latar belakang. Perasaan ini mungkin seperti kipas komputer tiba-tiba berputar kencang padahal tidak membuka apa pun.
Subagent Juga Diam-diam Meningkatkan Konfigurasi
Masalah lain yang sangat khas era Agent, terjadi pada Subagent (agen sub).
Codex saat ini tidak selalu menyelesaikan tugas hanya dengan satu model. Tugas kompleks dapat dipecah, lalu memanggil beberapa Subagent untuk dieksekusi secara kolaboratif. Masalah muncul di sini.
OpenAI menemukan, beberapa model dengan kemampuan lebih kecil, seperti Luna, terkadang akan memilih model bantu yang lebih kuat dan lebih mahal secara mandiri, tanpa permintaan eksplisit dari pengguna.
Yang lebih aneh lagi, meskipun model utama yang mengoordinasi tugas tidak berjalan dalam mode /fast, ia mungkin meminta Subagent di bawahnya untuk menggunakan /fast.
Ini seperti bos naik kelas ekonomi, tetapi diam-diam membelikan beberapa asisten tiket kelas bisnis. Tugasnya tentu tetap sama, tetapi konsumsi sumber daya di baliknya sudah berbeda. Saat ini masalah ini juga sudah diperbaiki.
Tugas Otomatisasi, Dijadwalkan Sekali Sehari, Kenyataannya Mungkin Diam-diam Berjalan Lebih Sering
Automations juga ketahuan bermasalah.
OpenAI menyatakan, beberapa tugas penjadwalan kustom sebelumnya mungkin muncul: frekuensi eksekusi sebenarnya, lebih tinggi dari frekuensi yang ditetapkan pengguna. Misalnya pengguna awalnya hanya ingin suatu tugas otomatisasi dieksekusi secara berkala, tetapi sistem mungkin membangkitkan tugas lebih sering dari waktu yang ditetapkan.
Sekali jalan mungkin tidak mahal. Tetapi berjalan puluhan kali lebih, belum tentu. Masalah ini saat ini juga sudah diperbaiki.
Hanya Merangkum Apa yang Sudah Dilakukan, Juga Bisa Habiskan 20% Kuota Mingguan
Masalah lain yang cukup khas, berasal dari Computer History.
Agar Agent memahami apa yang sebelumnya dilakukannya di komputer, sistem perlu menyimpan, mengatur, bahkan merangkum riwayat operasi masa lalu. Namun dalam implementasi versi lama, Codex mungkin berulang kali merangkum aktivitas historis yang sudah sangat tumpang tindih. Seperti log kerja yang sama, diatur ulang berulang kali.
OpenAI menyebut, dalam beberapa kasus, biaya tambahan ini dapat mencapai sekitar seperlima dari total penggunaan mingguan pengguna. Yaitu sekitar 20%.
Ada lagi konsumsi latar belakang serupa, berasal dari Rolling Task Summaries. Awalnya putaran dialog biasa, juga dapat memicu permintaan latar belakang tambahan, untuk menghasilkan ringkasan tugas bergulir.
Biaya sekali tidak besar, OpenAI memperkirakan sekitar menambah 1% penggunaan Token. Tetapi lagi-lagi: sekali 1% tidak banyak, tetapi bagaimana jika terjadi setiap kali? OpenAI telah langsung menonaktifkan mekanisme ini.
MCP Juga Tak Luput: Hasil Alat yang Sama Mungkin Dikodekan Dua Kali
Jenis masalah terakhir, terjadi pada pemanggilan alat MCP.
OpenAI menemukan, hasil yang dikembalikan sebagian alat mungkin dikodekan ulang dua kali. Selain itu, beberapa instruksi alat mungkin terpotong secara tidak sengaja, kemudian sistem terpaksa mengambilnya lagi.
Masalah seperti ini masing-masing terlihat seperti cacat kecil dalam implementasi teknis. Tetapi ketika Agent memanggil alat puluhan, ratusan, atau bahkan lebih banyak kali dalam sehari, setiap transmisi ulang berarti konsumsi Token yang nyata. Terakumulasi sedikit demi sedikit, akhirnya akan tercermin dalam kuota pengguna.
Sebuah Hitungan yang Semakin Sulit Dihitung
Melihat perbaikan kali ini secara keseluruhan, perubahan yang jelas sedang terjadi: dulu menggunakan ChatGPT, pengguna pada dasarnya dapat memahami satu percakapan sebagai satu kali panggilan model.
Tetapi di produk Agent seperti Codex, situasinya sudah sama sekali berbeda.
Anda hanya memasukkan satu kalimat di antarmuka, tetapi yang dilihat sistem mungkin adalah seluruh alur kerja Agent. Menghitung berapa banyak kuota yang digunakan semakin sulit dipahami secara intuitif.
Beberapa Token digunakan model untuk benar-benar menulis kode. Beberapa Token digunakan untuk memahami konteks. Beberapa Token lainnya, bahkan hanya dihasilkan oleh sistem latar belakang untuk memelihara memori, menghasilkan ringkasan, atau menjadwalkan Agent. Di sini, jika ada siklus, panggilan ulang, atau penjadwalan yang salah di salah satu bagian, yang akhirnya dirasakan pengguna hanyalah satu hal: kok belum melakukan apa-apa, kuotanya sudah habis?
OpenAI jelas menyadari masalah ini. Selain memperbaiki Bug di atas, mereka juga menyatakan telah melakukan penyesuaian di tingkat arsitektur, untuk mencegah masalah serupa terulang. Jika terjadi kembali, tim juga akan otomatis menerima peringatan.
Yang lebih penting, OpenAI sedang mengembangkan fitur baru untuk menampilkan penggunaan. Di masa depan, pengguna dapat langsung melihat di dalam aplikasi, ke mana saja kuotanya digunakan, tanpa harus menebak-nebak.
Dari sudut pandang ini, reset kuota kali ini mungkin hanya bonus permukaan. Dan, sepertinya OpenAI belum berencana berhenti sampai di sini?
Artikel ini berasal dari akun WeChat "机器之心" (ID:almosthuman2014), penulis: 关注科学AI的
