Oxford dan NUS Usulkan Arah Model Dunia Generasi Berikutnya: Model Dunia Mental (Mental World Model) Telah Hadir

Bayangkan sebuah skenario: sebuah cangkir dimasukkan ke dalam lemari oleh A, dan B tidak melihatnya.

Tanya: Kemana B akan mencari cangkir selanjutnya?

Jika model dunia hanya mengetahui fakta fisik, prediksinya mungkin salah: "Cangkir sekarang berada di lemari, seharusnya mencari di lemari." (Atas)

Tapi model yang juga memahami pikiran manusia dapat memprediksi dengan benar: "B tidak tahu cangkir telah dipindahkan, jadi ia mengira cangkir masih di atas meja, kemungkinan besar akan kembali ke sisi meja untuk mencarinya." (Bawah)

Kondisi dunia berikutnya juga ditentukan oleh variabel mental.

Ini mengungkapkan masalah kunci: Model dunia yang hanya melacak objek, lokasi, dan gerakan mungkin menghasilkan prediksi yang "secara fisik masuk akal, tetapi keliru dalam hal perilaku".

Baru-baru ini, tim peneliti dari Universitas Oxford dan Universitas Nasional Singapura dalam studi terbaru mereka "Mental World Modeling" mengusulkan kerangka kerja umum, Pemodelan Dunia Mental (Mental World Modeling, MWM). Karya ini memasukkan variabel-variabel mental itu sendiri ke dalam keadaan dunia (world state), bukan hanya menjadikannya sebagai penjelasan tambahan (post-hoc explanations).

• Judul Makalah: Mental World Modeling
• Link Makalah: https://arxiv.org/abs/2607.27201
• Halaman Proyek: https://mental-world.github.io/
• Kode Sumber Terbuka: https://github.com/mental-world/Mentis

Hingga saat ini, MWM telah menduduki peringkat pertama dalam Hugging Face Daily Papers.

Hugging Face Paper: https://huggingface.co/papers/2607.27201

Bagian Lain yang Hilang dari Model Dunia

Sebagian besar model dunia yang ada saat ini terutama berfokus pada aspek fisik dunia:

• Apa saja objek dan agen yang ada?
• Di mana mereka berada?
• Bagaimana adegan yang terlihat akan berevolusi?

Dalam model-model ini, manusia seringkali hanyalah objek yang bergerak dan melakukan tindakan, keadaan batinnya tidak benar-benar masuk ke dalam model dunia. Namun dalam dunia nyata, manusia bukan sekadar objek yang bergerak.

Untuk kecerdasan yang berpusat pada manusia (human-centered intelligence), ini masih jauh dari cukup.

Mengapa? Karena keputusan dan perilaku manusia tidak hanya ditentukan oleh lingkungan eksternal yang terdiri dari objek, struktur ruang, dan hukum fisika, tetapi dihasilkan dari interaksi antara lingkungan eksternal dan variabel mental-sosial internal.

Misalnya, robot layanan perlu menilai apakah pengguna merasa bingung, kehilangan kesabaran, atau mencari bantuan secara tidak langsung; asisten medis perlu mempertimbangkan kognisi, persepsi risiko, ketakutan, serta tingkat kepercayaan pasien; agen kolaboratif harus mengenali: beberapa perilaku mungkin secara fisik layak, tetapi karena pengaruh norma sosial, hubungan peran, atau konteks interaksi antarmanusia, mungkin tidak pantas.

Semua skenario ini membutuhkan sistem cerdas yang dapat terus melacak keadaan mental dan sosial agen, termasuk: apa yang mereka ketahui, yakini, perhatikan, inginkan, rencanakan, rasakan, serta perilaku mana yang dianggap sesuai secara norma sosial. Bahkan jika dua skenario secara fisik identik, selama keyakinan, tujuan, emosi, hubungan interpersonal, atau tanggung jawab sosial orang di dalamnya berbeda, dapat menghasilkan perilaku yang sangat berbeda.

Satu kalimat ringkasan: Sebuah model dunia, meskipun dapat merekonstruksi adegan fisik dengan akurat, tetap mungkin tidak dapat memprediksi perilaku manusia dengan benar.

Ilmu kognitif telah mempelajari kemampuan-kemampuan ini melalui teori-teori seperti model mental (mental models), teori pikiran (Theory of Mind, ToM), model agen BDI (Belief–Desire–Intention agency), dan kognisi terwujud (embodied cognition).

Namun, sebagian besar penelitian kecerdasan buatan saat ini baik membangun model dunia fisik yang kurang menyertakan keadaan mental, atau menyederhanakan penalaran psikologis menjadi tugas tanya jawab teori pikiran yang terisolasi (Theory-of-Mind question answering).

Kedua perspektif ini tidak cukup untuk menggambarkan dunia yang benar-benar lengkap — karena keadaan dunia berikutnya tidak hanya ditentukan oleh faktor fisik, tetapi dihasilkan dari evolusi bersama (jointly) keadaan fisik dan mental.

Bagaimana cara memasukkan variabel mental ke dalam ruang keadaan model dunia secara nyata?

Studi ini mencoba mengusulkan kerangka kerja formal Pemodelan Dunia Mental, untuk membangun model dunia yang dapat merepresentasikan dinamika fisik dan mental secara bersamaan.

Tujuan Pemodelan Dunia Mental bukanlah untuk mensimulasikan kesadaran dan pengalaman subjektif pribadi seseorang, melainkan untuk membangun sebuah simulator dunia eksternal, perkiraan, dan relevan dengan tugas (task-relevant world simulator). Keadaan global simulator ini secara bersamaan mencakup variabel fisik (physical variables) dan variabel mental (mental variables).

Dua entitas, tiga modul operasi, satu keadaan fisik-mental yang terkait. Model Dunia Mental berfungsi sebagai simulator global, pertama-tama menghasilkan informasi yang dapat dilihat dan disimpulkan oleh agen target, kemudian agen tersebut bertindak berdasarkan persepsi ini.

Pertama, Pemodelan Dunia Mental mempertahankan keadaan dunia fisik-mental yang terkait (coupled physical–mental world state), yaitu merepresentasikan lingkungan fisik dan keadaan mental laten agen secara bersamaan.

Kedua, sebuah agen target (target agent) hanya dapat mengamati representasi parsial dari sudut pandang orang pertama yang telah diubah dari keadaan global ini. Untuk setiap agen target, MWM menghasilkan perspektif pengamatan lokal untuk agen tersebut — yaitu informasi yang sebenarnya dapat dilihat, didengar, diketahui, dan disimpulkan oleh orang tersebut;

Kemudian, agen target mengambil tindakan berdasarkan hasil pengamatan ini, dan model dunia mensimulasikan bagaimana tindakan tersebut akan mengubah secara bersamaan:

1. Adegan objektif dalam dunia fisik;
2. Konfigurasi keadaan dalam dunia mental-sosial (mental-social configuration).

Bagaimana Memverifikasi Keefektifan MWM?

Agar kerangka kerja ini dapat diverifikasi, tim tersebut mengimplementasikan sistem referensi modular MENTIS, sebuah sistem acuan yang tidak memerlukan pelatihan dan sepenuhnya dapat diamati, yang memaksa sistem berbasis model bahasa besar (LLM) untuk bernalar dengan cara model dunia mental.

Alur kerja MENTIS.

Sistem pertama-tama mengubah adegan masukan menjadi keadaan terkini yang terstruktur

Mengamati pembangkitan untuk agen pseudotarget

, mengurai setiap opsi kandidat menjadi cabang perilaku, secara paralel mensimulasikan perubahan keadaan fisik dan mental selanjutnya, akhirnya mengevaluasi hasil masa depan yang berbeda dan memilih perilaku akhir.

Diberikan sebuah skenario kontekstual, sebuah agen target, dan serangkaian kandidat perilaku, MENTIS memecah proses prediksi keputusan menjadi serangkaian tahapan eksplisit: parsing keadaan → pembangkitan pengamatan target → dekomposisi perilaku → simulasi transfer keadaan fisik-mental terkait → evaluasi tingkat cabang → keputusan akhir.

• Pertama, skenario diurai menjadi keadaan fisik-mental dengan tipe terstruktur;
• Kemudian, dari keadaan tersebut dihasilkan pengamatan lokal yang dapat diperoleh agen target;
• Selanjutnya, setiap kandidat perilaku didekomposisi menjadi dampak tingkat fisik dan dampak tingkat mentalnya;
• Lalu, untuk setiap kemungkinan cabang perilaku, keadaan berikutnya fisik-mental yang terkait disimulasikan;
• Akhirnya, setiap cabang diberi skor berdasarkan tiga dimensi: kelayakan fisik, konsistensi mental, dan kesesuaian sosial, dan perilaku akhir dipilih melalui aturan deterministik.

Dengan kata lain, MENTIS tidak lagi membiarkan model melompat langsung dari skenario ke prediksi perilaku, tetapi memintanya untuk secara eksplisit memodelkan: dalam keadaan apa dunia saat ini, bagaimana agen target mempersepsikan dunia, bagaimana tindakan berbeda akan mengubah keadaan fisik dan mental, serta perilaku mana yang paling masuk akal secara fisik dan sosial.

MENTIS tidak memerlukan pelatihan, sehingga hasilnya mencerminkan kemampuan penalaran yang dibawa oleh struktur model itu sendiri, bukan bergantung pada parameter yang diperoleh dari fitting. Setiap tahap dalam sistem akan menghasilkan produk antara yang dapat diverifikasi secara mesin, sehingga keadaan, pengamatan, dan simulasi masa depan dapat dicatat, dibandingkan dengan anotasi manusia, atau langsung diganti dengan nilai anotasi asli untuk dianalisis.

Apakah MWM Benar-Benar Efektif, Apa Kendalanya?

Para peneliti merancang serangkaian kelompok eksperimen yang secara khusus menguji kemungkinan titik kegagalan kerangka kerja ini, dan hasil eksperimen menunjukkan pola yang konsisten.

Pertama, pemodelan dunia mental yang eksplisit diperlukan untuk memprediksi keputusan manusia.

Tangga Kebutuhan (F1 perilaku akhir, 448 rekaman). (a) Skor F1 dari delapan model dunia pada berbagai tahap tangga (garis tipis menunjukkan hasil model individu, garis tebal menunjukkan hasil rata-rata) (b) Hasil percobaan ablasi S6 pada delapan model (titik putih menunjukkan nilai masing-masing model).

Pada 8 model dunia berbasis LLM yang diuji, rata-rata F1 jawaban langsung adalah 63.3; konfigurasi MWM lengkap mencapai performa terbaik 87.9; menghapus saluran mental menyebabkan penurunan performa semua model sekitar 12.1 poin, menghapus saluran fisik menurunkan 16.5 poin, memisahkan prediksi transfer kedua keadaan juga menurunkan 6.4 poin.

Performa skor F1 dari empat pengaturan eksperimen pada berbagai kategori skenario.

Dan peningkatan performa terbesar justru terjadi pada skenario interaksi interpersonal, karena keputusan dalam skenario-skenario ini terutama bergantung pada variabel mental yang tersembunyi. Untuk gpt-5.6-sol, MWM lengkap meningkatkan F1 tindakan akhir dari 66.5 (jawaban langsung) menjadi 92.9, meningkat 26.4 poin. Hasil ini hanya dari pengujian terkontrol makalah, tetapi konsisten dengan motivasi penelitian: ketika keyakinan, peran, dan hubungan mendominasi langkah selanjutnya, variabel fisik tidak dapat menjelaskan tindakan sendiri.

Lalu, apa kendala sebenarnya?

Selain membuktikan kebutuhannya, makalah juga melakukan diagnosis yang lebih berarah: mengganti langkah perantara tertentu dengan informasi yang benar (intervensi Oracle), lalu melihat seberapa banyak prediksi akhir dapat ditingkatkan, lebih lanjut mengaitkan perbedaan antara model dan manusia.

Eksperimen Intervensi Oracle (gpt-5.6-sol). Skor F1 perilaku akhir setelah menggunakan informasi anotasi asli untuk menggantikan hasil prediksi model pada satu atau beberapa tahap; label diagram batang menunjukkan peningkatan performa yang diperoleh dibandingkan dengan versi prediksi lengkap S6.

Hasil eksperimen menunjukkan, untuk gpt-5.6-sol, MWM lengkap adalah 90.7, menggunakan transfer keadaan dengan anotasi asli dapat ditingkatkan menjadi 94.2, membawa peningkatan performa +3.5, merupakan peningkatan terbesar dalam intervensi tunggal, hanya melalui intervensi pada transfer keadaan, model mampu mengisi 45% dari kesenjangan performa manusia (7.8 poin).

Hasilnya menunjukkan, kendala terbesar yang tersisa saat ini adalah simulasi transfer keadaan, yaitu ketidakmampuan model dalam memprediksi bagaimana dunia fisik-mental yang terkait akan berubah. Ini memberikan arah yang jelas untuk perbaikan sistem MWM di masa depan.

Kapan Pemodelan Dunia Mental Paling Berperan

Nilai aplikatif MWM seharusnya tidak diukur dengan "dapat menyebutkan berapa banyak ranah sosial". Lagipula, hampir semua sistem yang ditujukan untuk manusia, dalam arti luas, memiliki semacam "sosialitas".

Kriteria penilaian yang lebih akurat dan bermakna adalah:

Ketika efektivitas suatu perilaku bergantung pada variabel-variabel yang tidak dapat disimpulkan hanya dari adegan fisik, tetapi akan menentukan bagaimana manusia mempersepsikan, memilih, menerima, menolak, atau belajar, barulah MWM memiliki nilai nyata.

Dari sudut pandang teori keputusan, nilai informasi keadaan mental dapat didefinisikan sebagai:

Kesenjangan utilitas yang diharapkan (expected utility gap) antara intervensi optimal yang dipilih ketika dapat memperoleh keadaan fisik-mental terkait, dengan intervensi optimal yang dipilih hanya berdasarkan keadaan fisik.

Ketika keyakinan, tujuan, perhatian, kepercayaan, kewajiban, keadaan emosi, atau norma sosial dapat mengubah "perilaku mana yang bermanfaat", kesenjangan ini akan sangat signifikan; sementara ketika perilaku selanjutnya hampir sepenuhnya ditentukan oleh kelayakan fisik, kesenjangan ini kecil.

Misalnya, pengendali penjepit mekanis tidak memerlukan MWM untuk melakukan aksi "mengulurkan tangan dan mengambil cangkir"; tetapi robot layanan rumah dalam memutuskan "apakah akan memberikan cangkir ini kepada pemilik rumah atau tidak" perlu memahami keadaan mental dan sosial di baliknya — apakah tindakan ini memberikan bantuan, mengganggu, terkesan tidak sopan, menimbulkan risiko, atau menyampaikan informasi yang salah.

Kesimpulan

Karya ini mengusulkan kerangka kerja formal Pemodelan Dunia Mental untuk membangun model dunia yang dapat merepresentasikan dinamika fisik dan mental secara bersamaan. Kontribusi utamanya dapat diringkas menjadi tiga poin:

Mengusulkan Pemodelan Dunia Mental: sebuah kerangka kerja matematis formal yang menyatukan dinamika fisik dan mental dalam perspektif pemodelan dunia yang terpadu, memungkinkan sistem AI tidak hanya dapat menalar bagaimana lingkungan berubah, tetapi juga memahami bagaimana agen mempersepsikan, menafsirkan, dan merespons perubahan-perubahan ini di tingkat mental.

Mengusulkan MENTIS: sebuah implementasi acuan yang tidak memerlukan pelatihan, melalui modul-modul seperti parsing keadaan, pembangkitan pengamatan, dekomposisi perilaku, transfer keadaan fisik-mental terkait, dan evaluasi nilai tingkat cabang, mewujudkan dan mengoperasionalkan kerangka kerja MWM.

Melakukan studi empiris sistematis, hasil eksperimen mengkristalkan dua kesimpulan inti:

Pemodelan dunia mental yang eksplisit diperlukan untuk memprediksi keputusan manusia, terutama dalam skenario interaksi sosial dan hubungan interpersonal;

Kendala kunci sistem MWM saat ini terletak pada kemampuan simulasi transfer keadaan yang masih kurang, dan ini juga menunjukkan arah perbaikan untuk penelitian di masa depan.

Artikel ini dari akun WeChat "机器之心"