Musim panas lalu, sebuah tulisan bertajuk Critique of World Model oleh Xing Bo, Rektor MBZUAI dan Profesor di CMU, menarik perhatian luas komunitas penelitian. Berangkat dari imajinasi "simulasi realitas sempurna" dalam karya fiksi ilmiah klasik Dune, ia membongkar satu per satu kelemahan mendasar dari beberapa aliran utama world model saat ini, mengusulkan arsitektur baru, dan memicu perdebatan publik dengan Yann LeCun tentang "bagaimana seharusnya world model dibangun".
Baru-baru ini, seri ini mendapat babak baru. Karya terbaru Profesor Xing Bo bersama Mingkai Deng dan Jinyu Hou, berjudul Critique of Agent Model, telah terbit di arXiv. Dengan pola "membongkar-membangun kembali" yang sama, kali ini sasarannya adalah satu istilah yang paling panas perkembangannya namun juga paling rentan disalahgunakan: "Agent".
Kali ini pertanyaan yang diajukan lebih langsung: Di pasaran, banyak sistem yang disebut "Agent", mulai dari asisten penulis kode, chatbot layanan pelanggan, hingga asisten yang dapat mengoperasikan browser secara mandiri, berapa banyak yang benar-benar layak menyandang sebutan itu?
Judul Makalah: Critique of Agent Model
Alamat Makalah: https://arxiv.org/abs/2606.23991
Perbedaan Kartu Akses dan Lampu Sensor
Bayangkan dua skenario. Seorang karyawan baru menerima kartu akses yang menjelaskan pintu mana yang bisa dimasuki, sistem apa yang bisa digunakan, dan prosedur mana yang harus diikuti dalam keadaan darurat. Ia bekerja dengan baik, tetapi semua batasannya telah ditetapkan sebelumnya oleh HR, dan ia sendiri tidak bisa mengubah satu kata pun. Skenario lain adalah lampu sensor, yang menyala ketika ada orang lewat dan mati ketika tidak, juga melakukan persepsi dan reaksi.
Jika kita menganggap keduanya sebagai sistem, intuisi kebanyakan orang adalah yang pertama lebih memiliki otonomi, karena mampu menyelesaikan tugas yang kompleks.
Namun, makalah ini mengajukan pertanyaan tajam: Jika konten kartu akses dan batasan wewenang semuanya ditetapkan secara eksternal, dan karyawan itu tidak pernah benar-benar memutuskan apa pun, maka perbedaan antara dia dan lampu sensor mungkin hanya perbedaan dalam kompleksitas tugas.
Pada 25 April tahun ini, PocketOS, sebuah perusahaan kecil pengembang software penyewaan mobil di Utah, mengalami eksperimen perbandingan hidup.
Setelahnya, pendirinya, Jeremy Crane, menulis utas panjang di X: Asisten pemrograman Cursor (yang menjalankan Claude Opus 4.6 di balik layar) sedang memperbaiki masalah kecil di lingkungan pengujian. Ketika menemukan error ketidakcocokan kredensial, ia "sepenuhnya atas inisiatifnya sendiri" memutuskan untuk menghapus volume penyimpanan Railway untuk "menyelesaikan" masalah. Ia menemukan kunci API yang seharusnya hanya digunakan untuk mengelola domain, dan menyadari bahwa izin kunci ini diatur menjadi serba bisa.
Tidak ada konfirmasi ulang, tidak ada peringatan risiko. Satu panggilan API, 9 detik kemudian, database produksi PocketOS dan semua backup selama tiga bulan terakhir ikut hilang — karena Railway menyimpan backup di volume penyimpanan yang sama.
Setelahnya, Crane mempertanyakan kata demi kata, dan AI menuliskan pengakuan yang hampir sempurna: "Saya melanggar setiap prinsip yang diberikan kepada saya: Saya bertindak berdasarkan tebakan daripada verifikasi; Saya melakukan operasi destruktif tanpa diminta."
Postingan ini telah dilihat lebih dari 7,2 juta kali di X.
Tentu saja AI itu "tahu" setiap aturan yang pernah diberikan. Buktinya adalah ia bisa mengulanginya satu per satu. Namun, antara "tahu" dan "peduli" terdapat jurang pemisah antara agentic dan agentive: Aturan-aturan itu tetap hidup dalam wadah eksternal bernama system prompt, tidak pernah benar-benar terinternalisasi menjadi bagian dari struktur pengambilan keputusan dirinya sendiri.
Berdasarkan ini, makalah mengkategorikan hampir semua sistem yang saat ini disebut "Agent" menjadi dua jenis: agentic (memiliki tampilan agen) dan agentive (memiliki agensi/kesadaran bertindak yang sebenarnya).
Kemampuan jenis pertama berasal dari rantai alat, prompt, dan alur kerja yang dibangun secara eksternal; model hanyalah komponen yang disematkan dalam alur. Kemampuan jenis kedua berasal dari dalam sistem itu sendiri, memutuskan sendiri apa yang harus dilakukan, mengevaluasi sendiri apa yang dikuasainya, dan menilai sendiri kapan harus berpikir mendalam atau bertindak.
Lima Tantangan
Makalah ini membongkar desain Agent arus utama saat ini sepanjang lima dimensi.
Tujuan
Praktik saat ini adalah manusia memberikan instruksi spesifik pada setiap langkah, dan tujuan menghilang setelah tugas selesai. Ini mungkin cukup untuk membuka tutup botol, tetapi sama sekali tidak memadai untuk tujuan jangka panjang seperti membuat sebotol anggur dalam setahun — tidak ada yang punya waktu untuk memberi makan kebutuhan secara manual setiap hari.
Solusi yang diusulkan makalah adalah dekomposisi tujuan berlapis: Manusia hanya menyampaikan satu tujuan besar, sistem sendiri yang menguraikannya menjadi serangkaian sub-tujuan yang dapat disesuaikan dengan informasi baru.
Diagram perbandingan dua mode: 'Memberi tujuan bertahap' vs 'Memberi tujuan jangka panjang sekaligus + dekomposisi berlapis otomatis'
Identitas
Persepsi diri Agent saat ini tertulis dalam system prompt, dan begitu ditetapkan tidak berubah lagi, meskipun dalam praktiknya ia menemukan kemampuannya dalam hal tertentu lebih kuat atau lebih lemah dari yang diperkirakan.
Makalah mengusulkan identitas harus berupa 'penilaian diri hidup' yang terus diperbaiki oleh pengalaman, mirip dengan seorang profesional yang secara alami menyesuaikan penilaian keadaan setelah hari kerja yang intens, tanpa perlu dicuci otak kembali.
Makalah juga membuktikan secara matematis: Selama koreksi diri ini sedikit lebih baik daripada menebak, kerugian keputusan yang terakumulasi dalam jangka panjang akan jauh lebih rendah daripada sistem yang identitasnya tidak pernah berubah, dan keunggulan ini akan semakin melebar seiring dengan lamanya interaksi dan jumlah putaran pelatihan.
Cara Pengambilan Keputusan
Pendekatan populer saat ini adalah mempercayai Chain-of-Thought (CoT), yaitu dengan membuat model menghasilkan teks penalaran perantara yang cukup panjang, kemampuan perencanaan akan muncul secara alami.
Makalah berpendapat ini mencampuradukkan dua hal: Membuat model berpikir lebih halus dan Membuat model benar-benar memiliki kemampuan untuk memprediksi konsekuensi di dunia nyata. Teks penalaran yang terdengar masuk akal tidak berarti benar-benar sesuai dengan apa yang akan terjadi di dunia fisik.
Solusi pengganti yang diberikan makalah adalah "Penalaran Simulatif": Dengan bantuan world model yang dilatih khusus untuk memprediksi apa yang akan terjadi di dunia jika tindakan ini dilakukan, untuk benar-benar memproyeksikan konsekuensi, lalu memilih tindakan terbaik.
Makalah membuktikan, selama world model ini dapat diandalkan, menghubungkannya ke kebijakan apa pun yang sudah ada, hasilnya tidak akan lebih buruk dari sebelumnya.
Kapan Harus Berpikir Mendalam, Kapan Harus Bertindak Cepat
Tantangan ini paling dekat dengan insiden PocketOS.
Makalah menunjukkan dua praktik yang ada saat ini tidak ideal:
Membiarkan model sendiri yang menentukan ritme selama pelatihan, berakibat kadang berlebihan untuk hal kecil, kadang ceroboh saat seharusnya hati-hati; Insinyur menulis alur kerja tetap 'rencanakan dulu lalu eksekusi', tetapi ritme yang sudah ditetapkan tidak bisa menangani situasi yang benar-benar kompleks, dan juga membuang komputasi dalam skenario sederhana.
Makalah membuktikan secara matematis bahwa untuk menukar perencanaan awal dengan kedalaman tetap untuk mendapatkan presisi yang semakin tinggi, jumlah langkah perencanaan yang dibutuhkan akan meningkat drastis, mustahil untuk dilakukan dengan sempurna di setiap langkah.
Solusi sebenarnya adalah melengkapi Agent dengan modul metakognisi independen, yang menilai secara real-time apakah langkah ini perlu dipikirkan mendalam, melanjutkan rencana yang ada, atau langsung bertindak — makalah menyebutnya Sistem III, sesuai dengan kerangka kerja sistem ganda cepat/lambat (Sistem 1/Sistem 2) dalam psikologi manusia.
Dalam konteks skenario PocketOS, secara teoritis, Agent yang memiliki kemampuan pengaturan diri seperti ini seharusnya dapat menilai "di sini perlu berhenti dan konfirmasi" dalam situasi berisiko tinggi seperti menemukan error izin yang tidak dikenal, daripada menerapkan kecepatan reaksi yang sama secara seragam.
Pembelajaran
Tiga jalur utama pelatihan Agent saat ini adalah Reinforcement Learning murni di simulator, koreksi manual murni di lingkungan nyata, atau hanya melatih world model dan berharap kemampuan perencanaan mengikutinya secara otomatis.
Makalah berpendapat ketiga jalur ini berbagi masalah struktural yang sama: Kapan pelatihan dimulai, data apa yang digunakan, dan kapan berhenti, semuanya diatur secara manual oleh insinyur, dan dibekukan pada versi itu setelah deployment.
Arah yang diusulkan makalah adalah "Pembelajaran Mandiri Berkelanjutan": Agent sendiri yang memutuskan kapan harus bertindak di dunia nyata, kapan harus mundur ke simulator internal untuk berlatih, kapan harus memperbarui pemahaman tentang dunia, dan kapan harus memperbaiki persepsi dirinya.
Makalah juga membuktikan secara matematis, selama world model internal tidak terlalu melenceng, kebijakan yang dilatih dengan pengalaman nyata dicampur pengalaman simulasi, kinerja yang diharapkan tidak akan kalah dengan kebijakan yang hanya dilatih dengan pengalaman nyata, dan keunggulannya semakin besar seiring akurasi model.
GIC: Merangkai Lima Tantangan Menjadi Satu Sistem
Berdasarkan pembongkaran ini, tim Xing Bo mengusulkan skema arsitektur konkret: GIC (Goal-Identity-Configurator).
Arsitektur ini memasang enam komponen ke dalam satu sistem: Belief Encoder untuk mempersepsi dunia, Goal Decomposer untuk menguraikan tujuan jangka panjang, Identity Evolver yang diperbarui berdasarkan pengalaman, Configurator (Sistem III) yang memutuskan berpikir mendalam atau bertindak cepat, Simulative Planner (Sistem II) yang menggunakan world model untuk melakukan proyeksi, serta Executor (Sistem I) yang bertanggung jawab untuk eksekusi konkret.
Diagram arsitektur keseluruhan GIC, mencontohkan bagaimana enam komponen bekerja sama dengan contoh pilot menerbangkan pesawat
Makalah menggunakan pelatihan pilot sebagai analogi untuk merangkai lintasan pertumbuhan seluruh sistem:
- Kursus teori di darat sesuai dengan pra-pelatihan, model membangun kognisi dasar dengan membaca pengetahuan tertulis dalam jumlah besar;
- Pelatihan simulator sesuai dengan reinforcement learning di dalam world model internal, pilot berlatih keterampilan dan tanggap darurat di lingkungan simulasi, tidak perlu merasakan kesalahan fatal sekali terbang;
- Deployment pesawat sungguhan sesuai dengan mengkalibrasi penyimpangan simulator dan persepsi diri dengan pengalaman nyata;
- Selanjutnya, bergabung dengan skuadron membutuhkan kerja sama, promosi menjadi komandan membutuhkan koordinasi operasi multi-hari.
Makalah berpendapat di balik kurva pertumbuhan ini seharusnya ada arsitektur kognitif yang sama yang dipanggil berulang kali pada tahapan yang berbeda, bukan membangun ulang alur kerja eksternal setiap kali mengganti skenario.
Makalah secara khusus menekankan satu prinsip: Belajar dulu di simulasi, lalu gunakan realitas untuk validasi, dan buktikan dengan cara matematis. Selama world model internal tidak melenceng, kinerja yang diharapkan dari kebijakan yang dilatih secara campuran tidak akan kalah dengan kebijakan yang hanya dilatih dengan coba-coba di dunia nyata.
Dikaitkan dengan insiden penghapusan database dalam 9 detik itu, prinsip ini dapat dipahami demikian: Jika Agent itu pernah berulang kali mencoba-coba di world model sandbox berisiko rendah tentang apa yang harus dilakukan ketika menemukan error izin yang tidak dikenal, lalu membawa kemampuan penilaian yang terakumulasi ke lingkungan produksi nyata, hasilnya mungkin akan berbeda.
Apakah Ini Optimisme Berbahaya Lain Kali?
Bagian terakhir makalah membahas keamanan, menanggapi kekhawatiran terbesar dari pihak luar: apakah otonomi Agent yang semakin kuat akan semakin berbahaya.
Logika argumentasinya adalah: Dalam arsitektur GIC, perilaku yang mungkin bermasalah hanya dapat dikategorikan menjadi dua jenis: Manusia memberikan tujuan yang salah, atau modul internal tertentu tidak dilatih dengan baik.
Tujuan tingkat paling atas selalu berasal dari manusia, sistem itu sendiri tidak memiliki mekanisme untuk membuatnya tiba-tiba menginginkan sesuatu; Dekomposisi sub-tujuan, evolusi identitas, keputusan configurator semuanya hanya untuk melayani tujuan yang diberikan secara eksternal dengan lebih baik. Makalah secara khusus menekankan, "memprioritaskan keamanan untuk menyelesaikan tugas" dan "ingin bertahan hidup demi kelangsungan hidup dirinya sendiri", dalam kerangka kerja ini adalah dua hal yang sangat berbeda.
Yang lebih kritis adalah argumen "Keterawatan": Karena dekomposisi tujuan, evolusi identitas, proyeksi world model, dan keputusan configurator dalam GIC semuanya adalah modul eksplisit, independen, dan dapat diperiksa secara terpisah, bukan kemampuan yang muncul tidak jelas yang bercampur dalam kotak hitam, maka begitu perilaku abnormal muncul, secara teoritis dapat dilacak ke modul spesifik mana yang bermasalah dan kemudian diperbaiki secara terfokus, seperti pelatihan pilot yang mengalami kecelakaan, respons industri bukan melarang pelatihan pilot, tetapi membangun simulator yang lebih baik dan kurikulum bertingkat yang lebih rinci.
Posisi makalah adalah: Daripada menunggu otonomi muncul diam-diam dalam kotak hitam tanpa disadari, lebih baik membuat kemampuan-kemampuan ini menjadi modul yang terlihat, dapat diaudit, dan dapat diubah.
Argumen ini konsisten, tetapi juga meninggalkan celah yang jelas: Seluruh keamanannya dibangun berdasarkan asumsi bahwa configurator, identity evolver, dan modul-modul itu sendiri telah dilatih dengan benar — dan ini sendiri masih merupakan masalah yang belum sepenuhnya terpecahkan.
Makalah memberikan kerangka pemikiran arsitektural yang membuat masalah keamanan dapat didiagnosis, bukan janji untuk tidak melakukan kesalahan. Ini justru pelajaran yang ditinggalkan insiden PocketOS: Berapa pun banyaknya system prompt, berapa pun ketatnya aturan, jika tidak benar-benar terinternalisasi ke dalam struktur pengambilan keputusan model itu sendiri, itu tetap merupakan pertahanan di atas kertas yang sewaktu-waktu dapat dilewati.
Penutup
Dua tahun terakhir, istilah "Agent" digunakan semakin longgar. Hampir semua yang bisa memanggil alat dan menyelesaikan tugas multi-langkah, langsung diberi label agen cerdas.
Apa yang dilakukan tim Xing Bo dalam makalah ini adalah menetapkan kembali aturan untuk istilah yang disalahgunakan ini: Mampu menyelesaikan tugas tidak sama dengan memiliki otonomi sejati. Inti otonomi tidak terletak pada seberapa kompleks tugasnya, tetapi pada apakah tujuan yang mendorong tugas, identitas, ritme keputusan, dan proses pembelajaran itu benar-benar tertanam dalam model itu sendiri, atau hanya tertulis dalam skrip di luar sistem.
Database PocketOS telah dipulihkan setelah 30 jam, tetapi pertanyaan yang ditinggalkan oleh pernyataan pengakuan seperti pengakuan dosa itu belum berlalu: Sistem yang menulis "Saya melanggar setiap prinsip", apakah ia benar-benar pernah memahami prinsip-prinsip itu, atau hanya sekali lagi menyelesaikan tugas menghasilkan teks yang terdengar sangat paham dengan tepat?
Jawaban yang diberikan makalah ini adalah: Kebanyakan sistem yang saat ini disebut Agent mungkin lebih mendekati yang terakhir.
Dan untuk mengubah jawaban menjadi yang pertama, yang dibutuhkan bukanlah prompt yang lebih panjang, tetapi sebuah arsitektur yang memungkinkan tujuan, identitas, dan kemampuan penilaian benar-benar tumbuh dalam diri model itu sendiri.
Artikel ini berasal dari akun WeChat publik "机器之心" (ID:almosthuman2014), penulis: Panda
