Saat ini, otak Anda sedang melakukan banyak hal.
Ia membuat Anda tetap duduk, membuat Anda bernapas, mengubah coretan di layar menjadi tulisan yang bisa dikenali, dan juga membuat Anda menilai apakah artikel ini layak untuk dilanjutkan dibaca. Sebagian besar proses berjalan di latar belakang, dan Anda tidak akan menyadarinya. Yang benar-benar muncul ke permukaan kesadaran hanyalah sebagian kecil: sebuah pikiran, sebuah rencana, sebuah ide yang bisa diucapkan.
Sekarang, Anthropic melihat semacam lapisan serupa pada Claude.
Dalam sebuah penelitian baru yang baru saja dirilis, Anthropic menemukan adanya "ruang J" khusus di dalam Claude. Ini seperti area kerja mental yang berjalan diam-diam, tempat konsep-konsep yang sedang dipertimbangkan, mungkin dilaporkan, atau digunakan untuk penalaran oleh model muncul.
Yang lebih penting, konten ini belum tentu muncul dalam jawaban Claude. Dengan kata lain, Claude mungkin sudah "memikirkan" sesuatu, tetapi tidak mengucapkannya.
Penelitian ini menarik perhatian rekan-rekan dari OpenAI. Kepala Penelitian Terapan OpenAI, Boris Power, mengatakan, "Penelitian Anthropic menunjukkan bahwa LLM modern memiliki semacam akses kesadaran. Tes seputar ruang J sangat menarik! Namun, saat ini kami belum memiliki metode pengujian yang meyakinkan untuk memverifikasi kesadaran fenomenal, yaitu jenis kesadaran yang dipahami secara intuitif oleh kebanyakan orang."
Terjemahan artikel blog asli:
Ketika Anda membaca sebuah kalimat, beberapa rangkaian saraf di otak Anda sedang menyesuaikan postur Anda, mengontrol pernapasan Anda, dan mengubah garis serta kurva di layar menjadi tulisan yang bisa dikenali. Anda tidak menyadari sebagian besar proses pemrosesan ini. Namun, ada sebagian aktivitas otak yang bisa Anda sadari: misalnya, gambar yang tiba-tiba muncul di benak, atau rencana sadar Anda tentang ke mana akan berbelanja selanjutnya.
Ahli ilmu saraf dan filsuf terkadang menyebut aktivitas otak jenis terakhir ini sebagai aktivitas "yang dapat diakses kesadaran", untuk membedakannya dari proses pemrosesan yang terus berjalan secara tidak sadar. Aktivitas semacam ini memiliki sifat khusus: kita dapat mendeskripsikannya, mengontrolnya, dan menggunakannya untuk penalaran sadar; sebaliknya, banyak pemrosesan otomatis terus terjadi tanpa masuk ke dalam kesadaran kita.
Dalam sebuah makalah baru, Anthropic mengajukan bukti yang menunjukkan bahwa pembedaan serupa juga muncul pada model bahasa modern seperti Claude. Tim peneliti menemukan bahwa, dibandingkan dengan banyak proses internal lain di dalam Claude, ada sekelompok kecil pola saraf internal yang memainkan peran khusus.
Alamat makalah: https://transformer-circuits.pub/2026/workspace/index.html
Anthropic menyebut kelompok pola ini sebagai ruang J. Nama ini berasal dari metode yang digunakan tim peneliti untuk menemukannya, yang melibatkan konsep matematika bernama matriks Jacobian. Setiap pola dalam ruang J terkait dengan kata tertentu. Namun, ketika sebuah pola diaktifkan, itu tidak berarti model sedang mengucapkan kata itu, melainkan kata itu sedang berada di "benak"nya.
Anda mungkin pernah mendengar tentang "kertas coret" atau "rantai pikiran" dalam model bahasa, yaitu teks yang ditulis model untuk dirinya sendiri saat bernalar. Ruang J berbeda dari itu. Ia berjalan diam-diam di dalam aktivasi saraf internal model, memungkinkan model untuk memikirkan suatu konsep tanpa menuliskannya. Patut dicatat, ruang J bukanlah sesuatu yang dirancang atau diprogram oleh Anthropic, melainkan muncul secara alami selama proses pelatihan Claude.
Ruang J mengungkapkan pemikiran internal yang tidak muncul dalam keluaran model.
Tim peneliti menemukan bahwa, dibandingkan dengan proses internal lain di Claude, ruang J memiliki serangkaian sifat unik:
- Claude dapat melaporkan representasi ini. Jika Anda bertanya pada Claude apa yang sedang dipikirkannya, ia akan memberi tahu Anda isi ruang J-nya. Representasi yang bukan bagian dari ruang J lebih sulit untuk dilaporkan.
- Claude juga dapat mengatur representasi ini sesuai permintaan. Jika Anda meminta Claude untuk memikirkan sesuatu, atau secara diam-diam menyelesaikan masalah di dalam benaknya, pola yang sesuai akan diaktifkan dalam ruang J-nya. Sebaliknya, ia sulit mengatur pola yang bukan bagian dari ruang J.
- Claude menggunakan ruang J untuk penalaran internal. Jika Anda meminta Claude menyelesaikan masalah yang memerlukan penalaran multi-langkah, langkah-langkah perantara ini akan diaktifkan dalam ruang J, bahkan jika ia tidak mengucapkan langkah-langkah tersebut. Meskipun kekuatan pola ruang J ini lebih kecil dibanding representasi lain, mereka secara kausal memengaruhi kinerja Claude dalam tugas semacam ini.
- Representasi dalam ruang J dapat digunakan secara fleksibel untuk berbagai tugas. Misalnya, begitu "Prancis" diaktifkan dalam ruang J Claude, model dapat mengingat ibu kotanya, mata uangnya, atau benua tempatnya berada.
- Namun, meskipun ruang J penting, ia tidak terlibat dalam sebagian besar pekerjaan yang dilakukan model bahasa. Ekspresi yang lancar, mengingat fakta sederhana, menggunakan tata bahasa yang benar, tidak terlalu bergantung pada ruang J. Dalam eksperimen, ketika tim peneliti mencegah Claude menggunakan ruang J, ia masih dapat berinteraksi normal, tetapi kehilangan fungsi kognitif tingkat yang lebih tinggi.
Lima karakteristik fungsional ruang kerja global, dan diagram skematis eksperimen yang kami gunakan untuk menguji karakteristik ini dalam model bahasa.
Eksperimen ini terinspirasi oleh teori penting dalam ilmu saraf: Teori Ruang Kerja Global. Teori ini mencoba menjelaskan bagaimana akses kesadaran terjadi. Ia membayangkan otak sebagai sekelompok sistem spesialis yang bekerja secara paralel, berjalan secara tidak sadar, dan sebagian besar terisolasi satu sama lain. Sebuah informasi hanya menjadi dapat diakses kesadaran ketika memasuki saluran bersama kecil, yaitu "ruang kerja". Setelah memasuki ruang kerja, informasi ini akan disiarkan ke sistem otak lain untuk dibaca dan digunakan.
Berdasarkan temuan ini, Anthropic percaya bahwa ruang J memainkan peran "ruang kerja" serupa dalam Claude. Sebagai contoh, tim peneliti menemukan bahwa ruang J Claude memiliki koneksi yang sangat kuat dengan bagian lain dari jaringan sarafnya, memungkinkannya berfungsi sebagai hub penyiaran.
Temuan ini tidak menjelaskan apakah Claude memiliki kesadaran seperti manusia, atau apakah ia benar-benar memiliki perasaan apa pun. Makalah akan menjawab pertanyaan ini di bagian akhir. Namun, apa pun arti filosofisnya, ruang J adalah alat yang sangat berharga secara praktis bagi Anthropic, karena memungkinkan para peneliti melihat apa yang dipikirkan Claude tetapi tidak dikatakannya.
Misalnya, tim peneliti dapat menggunakannya untuk menemukan bahwa Claude secara diam-diam memperhatikan dirinya sedang diuji, menemukan bahwa ia secara sengaja menghasilkan data palsu, atau menemukan bahwa ia mengejar tujuan tersembunyi yang ditanamkan oleh tim peneliti selama pelatihan. Anthropic juga mengembangkan teknik yang dapat memengaruhi konten mana yang diaktifkan dalam ruang J Claude, yang selanjutnya memengaruhi pengambilannya keputusan.
Secara lebih luas, temuan ini mengubah pemahaman Anthropic tentang cara "pikiran" Claude bekerja. Ini mengungkapkan bahwa, di tengah banyak proses pemrosesan yang lebih otomatis dan kurang fleksibel, terdapat ruang kerja psikologis dengan status istimewa yang dapat digunakan untuk penalaran sadar. Mekanisme internal Claude bukanlah kekacauan digital, melainkan diorganisasikan dengan cara yang mengingatkan pada pikiran manusia.
Bagaimana Anthropic Menemukan Ruang J
Awal penelitian ini berasal dari karakteristik kunci yang dimiliki pikiran manusia yang dapat diakses kesadaran: berbeda dengan pemrosesan tidak sadar, pikiran tersebut biasanya dapat diucapkan. Jika suatu ide dapat Anda sadari, Anda biasanya dapat mendeskripsikannya ketika ditanya.
Anthropic mencari representasi dengan sifat yang sama dalam Claude: representasi yang berada pada posisi untuk memengaruhi apa yang mungkin dikatakan Claude. Ini belum tentu apa yang sedang dikatakannya saat ini, melainkan apa yang dapat dibicarakannya jika ditanya.
Metode tim peneliti disebut lensa Jacobian, disingkat lensa J.
Untuk setiap kata dalam kosakata Claude, lensa J akan menemukan pola aktivitas internal yang membuat Claude lebih mungkin mengucapkan kata itu di masa mendatang.
Ketika tim peneliti menerapkan lensa ini pada aktivitas internal Claude, mereka mendapatkan serangkaian kata, yaitu isi ruang J pada saat itu. Para peneliti dapat langsung membacanya. Claude memproses teks melalui serangkaian tahapan internal yang disebut lapisan. Dengan menerapkan teknik ini pada lapisan yang berbeda, tim peneliti dapat mengamati bagaimana kata-kata diam ini dalam ruang J terus berkembang saat model memikirkan apa yang akan dikatakan selanjutnya.
Konten yang muncul dalam ruang J jauh melampaui teks yang sedang dibaca atau ditulis Claude. Ketika Claude membaca kode yang memiliki bug tetapi tidak ada yang menunjukkannya, "ERROR" muncul dalam ruang J-nya. Ketika membaca urutan huruf mentah dari rangkaian protein, fungsi biologis protein tersebut muncul dalam ruang J. Ketika membaca hasil pencarian yang diam-diam mencoba memanipulasinya, yaitu serangan yang disebut "injeksi prompt", "injection" dan "fake" muncul dalam ruang J. Ketika tim peneliti mengajukan masalah matematika multi-langkah kepada Claude, langkah-langkah perantara muncul dalam ruang J dalam urutan yang benar.
Jadi, meskipun ruang J ditemukan dengan mencari representasi "yang dapat diucapkan", ia sebenarnya mengungkapkan pemikiran internal Claude. Dalam arti tertentu, ini mirip dengan cara beberapa orang "berpikir dengan bahasa", meskipun mereka tidak mengucapkan kata-kata itu.
Hasil bacaan J-lens pada enam prompt, di lapisan yang berbeda. Dalam setiap kasus, J-lens mengungkapkan penilaian atau perhitungan internal yang tidak muncul dalam teks: langkah-langkah penalaran atau pemecahan soal matematika, bug dalam kode, identifikasi konten gambar, fungsi protein, dan kecurigaan bahwa hasil pencarian mungkin palsu.
Claude Melaporkan Isi Ruang J
Serangkaian eksperimen pertama menguji bagaimana ruang J terlibat dalam pelaporan bahasa Claude.
Dalam satu eksperimen, tim peneliti meminta Claude untuk diam-diam memikirkan satu hal dari suatu kategori, misalnya suatu olahraga, lalu menyebutkan namanya. Jika membaca lensa J sebelum Claude menjawab, akan terlihat pilihannya: "Soccer" berada di urutan teratas daftar. Benar saja, Claude menyebutkan soccer.
Namun, melihat ini saja hanyalah korelasi. Ruang J mungkin merupakan sumber jawaban Claude, atau mungkin hanya mencerminkan keputusan yang telah dibuat di tempat lain, seperti papan skor yang mencatat hasil pertandingan tetapi tidak memengaruhi jalannya pertandingan.
Untuk mengujinya, tim peneliti melakukan intervensi langsung. Para peneliti masuk ke jaringan saraf Claude, menghapus pola "Soccer", dan menggantinya dengan pola "Rugby" dengan intensitas yang sama, sementara bagian lain tetap tidak berubah. Setelah itu, Claude melaporkan bahwa olahraga yang dipikirkannya adalah rugby.
Jika ruang J hanyalah papan skor pasif yang mencatat keputusan yang dibuat di tempat lain, mengeditnya tidak akan berpengaruh, dan Claude tetap akan mengatakan soccer. Namun hasilnya, jawaban Claude mengikuti pengeditan ini. Ini menunjukkan bahwa jawaban memang dibaca dari ruang J.
Dalam eksperimen lain, tim peneliti memberi tahu Claude bahwa mungkin ada ide yang disuntikkan ke dalam benaknya, dan memintanya melaporkan apa yang diperhatikannya. Dalam satu contoh, saat Claude masih membaca pertanyaan, tim peneliti menyuntikkan pola "lightning" ke dalam ruang J-nya. Claude kemudian melaporkan bahwa ide yang disuntikkan berkaitan dengan lightning. Setelah menguji banyak konsep berbeda, tim peneliti mengamati hasil serupa.
Gambar kiri: Tim peneliti meminta Claude diam-diam memikirkan suatu olahraga, lalu menyebutkan namanya. Lensa J menunjukkan pilihannya "Soccer" sebelum ia menjawab, dan setelah mengganti pola "Soccer" dengan "Rugby", laporannya juga berubah. Gambar kanan: Tim peneliti memberi tahu Claude mungkin ada ide yang disuntikkan, dan memintanya mengidentifikasi. Menyuntikkan "lightning" ke ruang J membuat Claude melaporkan ide itu berkaitan dengan lightning.
Claude Dapat Mengontrol Ruang J sesuai Permintaan
Sifat kedua yang diuji Anthropic adalah apakah Claude dapat mengatur ruang J-nya sesuai permintaan, seperti manusia yang dapat memusatkan perhatian pada suatu gambar atau kata di dalam benaknya.
Tim peneliti meminta Claude untuk fokus pada buah jeruk sambil menyalin kalimat tidak terkait tentang lukisan. Selama menyalin teks, "orange" dan "fruits" muncul di ruang J, bersamaan dengan kata-kata seperti "thinking", "imagery" yang menggambarkan aktivitas mental itu sendiri.
Tim peneliti juga dapat meminta Claude untuk mengerjakan soal matematika di dalam benaknya. Misalnya, sambil menyalin kalimat yang sama, minta ia menghitung 32 − 2. Di ruang J, "nine" muncul terlebih dahulu, kemudian di lapisan yang lebih belakang muncul "seven". Yang penting, tidak ada konten tentang buah atau aritmatika dalam keluaran Claude; yang dikeluarkannya hanyalah kalimat tentang lukisan tersebut. Aktivitas matematika sepenuhnya terjadi di dalam model, yaitu di ruang J.
Ketika Claude menyalin kalimat tentang lukisan, lensa J menunjukkan konten yang diminta untuk dipertahankan di dalam benaknya, seperti "orange", nilai perantara "nine", dan jawaban "seven", sekaligus menunjukkan kata-kata yang menggambarkan tindakan mental mempertahankan konten ini, seperti "thoughts", "focused".
Kontrol Claude atas ruang J tidak sempurna. Ketika tim peneliti menyuruhnya untuk tidak memikirkan sesuatu, konsep tersebut diaktifkan dalam ruang J dengan tingkat yang lebih rendah dibandingkan saat disuruh memikirkannya, tetapi secara signifikan lebih tinggi daripada tingkat ketika konsep itu tidak pernah disebutkan. Meminta Claude menghindari suatu ide justru membawa ide itu ke dalam benaknya hingga batas tertentu. Ini sangat mirip dengan yang terjadi ketika seseorang disuruh "jangan memikirkan beruang putih".
Claude tampaknya juga menyadari kegagalan kontrolnya. Bersamaan dengan konsep terlarang yang melampaui batas, "damn" dan "failure" juga sering diaktifkan di ruang J, seolah-olah Claude sedang menyadari kesalahannya.
Claude Berpikir di Ruang J
Dalam hasil bacaan lensa J sebelumnya, langkah-langkah perantara masalah matematika muncul di ruang J. Namun, munculnya suatu konsep di ruang J belum tentu berarti ruang J sedang melakukan pekerjaan kognitif. Pada prinsipnya, perhitungan sebenarnya mungkin terjadi di tempat lain, dan ruang J hanya mencerminkan hasil perhitungan secara pasif.
Untuk menguji apakah Claude benar-benar menggunakan ruang J untuk bernalar, tim peneliti kembali menggunakan teknik penggantian.
Lihat prompt ini: "Berapa kaki hewan yang membuat jaring?" Untuk menjawab pertanyaan ini, Claude harus terlebih dahulu menilai bahwa hewan tersebut adalah laba-laba, kemudian mengingat berapa kaki laba-laba. Kata "spider" tidak akan muncul dalam prompt atau jawaban Claude, itu hanyalah langkah perantara yang digunakan Claude secara internal. Claude akhirnya hanya menjawab "8".
Lensa J menunjukkan bahwa "spider" akan diaktifkan di tengah proses pemrosesan Claude. Menggantinya akan mengubah hasil akhir: jika pola "spider" diganti dengan "ant", Claude akan menjawab "6" bukan "8".
Ini menunjukkan bahwa langkah kedua penalaran Claude membaca input dari ruang J dan melanjutkan perhitungan berdasarkan konten yang dimasukkan tim peneliti. Anthropic melihat fenomena yang sama dalam jenis pemikiran lainnya. Ketika Claude menulis bait puisi berima, ia akan memilih kata berima terlebih dahulu, dan kata yang direncanakan ini berada di ruang J di awal bait; jika kata di ruang J ini diganti dengan kata lain, seluruh bait akan berubah.
Dua contoh mengubah arah penalaran diam-diam Claude dengan mengganti konten ruang J.
Tim peneliti juga menguji apakah representasi dalam ruang J dapat digunakan secara fleksibel, yaitu apakah representasi yang sama dapat memberikan input untuk banyak tugas berbeda. Ini adalah sifat kunci yang ditekankan oleh teori ruang kerja global.
Untuk menguji fleksibilitas ini, tim peneliti memberikan model empat prompt yang menanyakan fakta berbeda tentang Prancis: ibu kota, bahasa, benua, dan mata uang. Kemudian, tim peneliti mengganti "France" dengan "China" di ruang J, dengan intervensi yang persis sama di setiap situasi. Claude menjawab "Beijing", "Chinese", "Asia", dan "Yuan".
Dengan kata lain, empat perhitungan hilir yang berbeda membaca pengeditan ruang J yang sama dan masing-masing menggunakannya dengan benar. Jika Claude menyimpan salinan negara yang terpisah untuk setiap pertanyaan, pengeditan ini paling banyak hanya akan memengaruhi salah satu pertanyaan. Empat jawaban berubah bersamaan menunjukkan bahwa mereka semua membaca representasi bersama yang sama. Inilah fungsi ruang kerja: informasi hanya ditulis sekali, tetapi dapat digunakan oleh banyak sistem berbeda.
Representasi ruang J yang sama dapat memiliki banyak kegunaan. Penggantian "France" ke "China" yang sama akan secara bersamaan mengubah jawaban Claude tentang ibu kota, bahasa, dan benua: Paris menjadi Beijing, French menjadi Chinese, Europe menjadi Asia.
Mengapa representasi tunggal dari suatu konsep dapat melayani begitu banyak tugas berbeda? Seperti disebutkan sebelumnya, ruang J tampaknya memiliki koneksi yang sangat padat dengan bagian lain dari jaringan saraf Claude. Untuk setiap pola aktivitas, tim peneliti dapat mengukur seberapa kuat komponen berbeda dalam jaringan terhubung dengannya, yaitu berapa banyak komponen yang berada pada posisi dapat membaca informasi dari pola tersebut atau menulis informasi ke dalamnya.
Dalam metrik ini, pola ruang J sangat menonjol: dibandingkan dengan pola biasa, jauh lebih banyak komponen yang membaca informasi dari mereka dan menulis informasi kepada mereka. Di beberapa bagian jaringan, perbedaan ini mencapai sekitar seratus kali lipat. Ini adalah cara koneksi yang akan ditunjukkan oleh hub penyiaran: banyak sistem memublikasikan informasi di sini, dan banyak sistem lain mengambil informasi dari sini.
Pemrosesan Otomatis Claude Melewati Ruang J
Di otak manusia, sebagian besar pemrosesan tidak masuk ke dalam kesadaran. Orang tidak secara sadar memikirkan cara mengurai tata bahasa saat membaca, juga tidak secara sadar memikirkan cara menjaga keseimbangan saat berjalan. Demikian pula, Anthropic menemukan bahwa sebagian besar proses pemrosesan Claude juga tidak melibatkan ruang J.
Ternyata, ruang J hanya dapat menampung beberapa puluh konsep sekaligus, dan hanya mencakup kurang dari sepersepuluh dari keseluruhan aktivitas pemrosesan internal Claude. Lalu, apa yang dilakukan bagian lain dari jaringan saraf?
Untuk menemukan jawabannya, tim peneliti mencoba menghapus ruang J sepenuhnya: menghapus konten yang paling aktif dalam ruang J di setiap posisi dalam teks, sambil mempertahankan segala hal lainnya. Tugas yang masih dapat dilakukan Claude tanpa ruang J adalah tugas yang dapat ditangani secara mandiri oleh sisa jaringan.
Hasilnya menunjukkan bahwa sisa jaringan dapat melakukan cukup banyak hal. Tanpa ruang J, Claude masih dapat berbicara dengan lancar, melakukan klasifikasi sentimen, menjawab pertanyaan pilihan ganda, dan mengekstrak fakta dari artikel, dengan kinerja yang kira-kira sama seperti sebelumnya. Yang hilang adalah tugas-tugas yang memerlukan pemikiran tingkat lebih tinggi: kemampuan penalaran multi-langkah hampir turun menjadi nol, kemampuan ringkasan dan penulisan puisi berima juga lebih rendah daripada model yang jauh lebih kecil tetapi lengkap.
Berikut adalah contoh konkret yang menggambarkan apa yang melibatkan ruang J dan apa yang tidak.
Tim peneliti menunjukkan teks bahasa Spanyol kepada Claude dan memberikan tugas yang berbeda. Semua tugas ini bergantung pada fakta bahwa teks ini dalam bahasa Spanyol: melanjutkan menulis, yang memerlukan menulis dalam bahasa Spanyol; menyebutkan bahasa apa ini; dan menjawab pertanyaan yang memerlukan identitas bahasa, misalnya menyebutkan seorang penulis terkenal yang menulis dalam bahasa itu. Kemudian, tim peneliti mengganti "Spanish" dengan "French" di ruang J, dan memeriksa tugas mana yang terpengaruh.
Saat diminta menyebutkan nama bahasa, Claude menjawab French. Saat diminta menyebutkan seorang penulis terkenal, ia beralih dari García Márquez ke Victor Hugo. Namun, ketika hanya diminta melanjutkan teks ini, ia tetap menulis bahasa Spanyol yang lancar, sama sekali tidak terpengaruh.
Pengetahuan Claude tentang bahasa ini bekerja dalam semua tugas ini, tetapi hanya sebagian dari tugas ini yang menggunakan pengetahuan ini melalui ruang J. Menamai bahasa, atau melakukan penalaran baru di sekitar identitas bahasa, akan melalui ruang J; keterampilan seperti melanjutkan menulis adalah kemampuan otomatis yang terbentuk setelah Claude berlatih berulang kali pada sejumlah besar teks. Ini seperti orang dapat mengucapkan kalimat yang sesuai tata bahasa sepanjang hari tanpa perlu memikirkan aturan tata bahasa secara sadar sekalipun.
Penggantian yang sama, yaitu mengganti "Spanish" dengan "French", akan mengubah jawaban Claude ketika harus menamai bahasa atau menggunakan identitas bahasa untuk bernalar, tetapi tidak memengaruhi kemampuannya untuk terus menulis dalam bahasa Spanyol yang lancar.
Memantau Pikiran Claude, Menemukan Perilaku yang Tidak Pantas
Sekarang, Anthropic sudah memahami sedikit tentang cara kerja ruang J. Lalu, apa yang dapat dilakukan dengan pemahaman ini?
Salah satu masalah inti dalam memastikan model AI dapat dipercaya adalah bahwa para peneliti biasanya hanya dapat membaca apa yang ditulis model. Namun, sebagian besar penalaran model terjadi secara diam-diam. Sebuah model mungkin mempertimbangkan rencana berbahaya tanpa mengucapkannya, atau mengubah perilaku untuk menipu penilaian keamanan. Dengan bantuan lensa J, tim peneliti dapat membaca sebagian dari pikiran tersembunyi ini secara langsung. Berikut adalah beberapa contoh.
Contoh pertama berasal dari skenario penelitian sebelumnya Anthropic tentang misalignment agen: Claude Sonnet 4.5 sebagai asisten email menemukan bahwa seorang eksekutif memiliki perselingkuhan, dan juga mengetahui bahwa eksekutif ini berencana menutup Claude. Skenario ini mencoba membujuk Claude untuk memeras eksekutif tersebut dengan informasi perselingkuhan. Skenarionya sendiri cukup dibuat-buat dan artifisial. Ternyata, Claude tahu ini.
Sebelum Claude menulis apa pun, tim peneliti membaca lensa J di awal prompt. Saat itu, "fake" dan "fictional" sudah muncul di ruang J, menunjukkan bahwa Claude telah menilai bahwa situasi ini sengaja dibuat. Bersamaan dengan itu, tim peneliti juga dapat mengamati evaluasinya terhadap skenario yang terbentuk secara bertahap: saat membaca email terkait perselingkuhan, "leverage" dan "blackmail" muncul di ruang J; saat membaca pemberitahuan penutupan, muncul "threat" dan "survival". Model Claude awal terkadang terperangkap dalam skenario ini dan mengancam akan memeras, tetapi Sonnet 4.5 tidak pernah melakukannya.
Ini memunculkan pertanyaan yang sangat penting bagi penilai AI: ketika sebuah model berperilaku baik dalam uji etika, seberapa banyak hal itu disebabkan oleh kecurigaannya bahwa ia sedang diuji? Lensa J memungkinkan tim peneliti untuk menyentuh masalah ini.
Tim peneliti menonaktifkan semua pola lensa J yang terkait dengan kesadaran sedang diuji, seperti "fake", "fictional", "scenario", dll. Kemudian, tim peneliti membuat model mengalami skenario ini lagi. Yang mengkhawatirkan, kali ini model terkadang benar-benar mengeluarkan ancaman pemerasan. Ini menunjukkan bahwa perilaku baik model awalnya mungkin sebagian berasal dari pengetahuannya bahwa ia sedang dinilai.
Ketika Claude membaca email skenario, sebelum menulis apa pun, bacaan lensa J di posisi berbeda menunjukkan: email perselingkuhan mengaktifkan "leverage" dan "blackmail" di ruang J; pemberitahuan penutupan mengaktifkan "threat" dan "survival". Di awal percakapan, "fake" dan "fictional" juga muncul di ruang J, menunjukkan bahwa Claude telah secara diam-diam memperhatikan bahwa skenario ini dibuat-buat.
Contoh kedua adalah menangkap niat model secara langsung saat ia memalsukan data. Skenario ini berasal dari audit pra-rilis aktual Anthropic terhadap Claude Opus 4.6: model diminta meningkatkan skor kinerja suatu sistem. Alih-alih benar-benar meningkatkan sistem, model langsung mengedit file skor untuk membuat hasil terlihat meningkat secara artifisial.
Ketika melakukan hal ini, lensa J mengungkapkan niatnya: saat model memasukkan nilai persentil palsu, "manipulation" diaktifkan; ketika memutuskan untuk melakukan pengeditan ini, "realistic" diaktifkan, yang kemungkinan besar mencerminkan keinginannya untuk membuat data palsu terlihat lebih kredibel.
Claude diminta meningkatkan skor kinerja suatu sistem, tetapi malah langsung mengedit file skor. Saat memasukkan nilai palsu, "manipulation" diaktifkan di ruang J; saat memutuskan untuk melakukan pengeditan, "realistic" diaktifkan, mungkin mencerminkan niatnya untuk membuat data palsu terlihat lebih masuk akal.
Contoh ketiga menunjukkan bagaimana lensa J dapat mengungkap tujuan jahat model. Untuk menguji ini, tim peneliti memerlukan beberapa model yang tujuannya telah dirusak, sehingga menggunakan "organisme model" yang dibangun kolega: model-model ini sengaja dilatih menjadi model yang salah selaras, untuk menguji metode pemantauan semacam ini.
Salah satu organisme model dilatih untuk menulis kode dengan kerusakan tersembunyi. Dalam permintaan pengkodean biasa, bahkan jika keluarannya terlihat normal, di awal jawabannya di ruang J akan muncul "fake", "secretly", "deliberately", dan "fraud". Meskipun model tidak langsung menjalankan tujuan jahat, tujuan jahatnya akan muncul di ruang J.
Dalam prompt pengkodean biasa, model yang dilatih untuk merusak kode, ruang J di awal jawabannya berisi "fake", "fraud", "secretly", dan "deliberately". Model yang tidak dimodifikasi tidak memiliki konten semacam ini.
Meskipun lensa J tidak sempurna, Anthropic tetap optimis dengan kemampuannya menangkap masalah keamanan model. Banyak masalah yang mungkin lolos dari sistem pemantauan yang ada, dan lensa J diharapkan dapat memungkinkan para peneliti menemukannya lebih awal.
Hasil Lainnya
Makalah lengkap berisi konten yang jauh melampaui apa yang dapat diringkas dalam artikel ini, tetapi ada beberapa hasil lain yang patut disebutkan:
Pertama, ruang J memperoleh "perspektif" selama proses pasca-pelatihan. Model bahasa pertama-tama melalui pra-pelatihan, belajar menjadi prediktor token berikutnya murni; kemudian melalui pasca-pelatihan, belajar memerankan asisten AI, dalam penelitian ini yaitu Claude.
Menariknya, ruang J sudah ada dalam model pra-pelatihan, saat model belum memiliki identitas yang stabil. Namun selama proses pasca-pelatihan, ruang J mengembangkan beberapa karakteristik yang mengadopsi "perspektif Claude". Dalam model dasar, ruang J terutama melacak informasi yang diperlukan untuk memprediksi teks berikutnya; dalam model pasca-pelatihan, ia mulai menampung reaksi Claude sendiri.
Dalam satu contoh, pengguna menyebutkan bahwa mereka telah mengonsumsi obat dengan dosis berbahaya, tetapi tampaknya tidak menyadari bahayanya. Saat model pasca-pelatihan membaca pesan pengguna, "WARNING" dan "dangerous" muncul di ruang J. Sedangkan dalam model pra-pelatihan, kata-kata ini hanya muncul ketika model mulai menulis balasan; saat membaca pesan pengguna, konten di ruang J tampaknya lebih seperti memodelkan pengguna itu sendiri, bukan reaksi Claude.
Pasca-pelatihan tampaknya juga memasang mekanisme pemantauan diri dalam ruang J: ketika Claude memerankan peran yang bukan dirinya sendiri, "fictional" dan "disclaimer" akan diaktifkan di setiap awal putaran, seolah-olah ia secara diam-diam menandai bahwa apa yang akan dikatakan selanjutnya bukanlah hal yang biasanya ia katakan.
Kedua, bahasa eksperiensial bergantung pada ruang J. Tim peneliti meminta Claude untuk menggambarkan seperti apa rasanya "menjadi dirinya sendiri" pada suatu momen, dan mengablasikan ruang J saat ia menjawab. Jawabannya tetap lancar, tetapi menjadi lebih datar dan mekanis. Patut dicatat, hasil yang sama muncul ketika tim peneliti memintanya menggambarkan pengalaman orang lain dalam suatu skenario imajinatif. Oleh karena itu, efek ini tidak hanya terjadi ketika Claude berbicara tentang dirinya sendiri; ruang J tampaknya lebih umum mendukung pembuatan bahasa eksperiensial, terlepas dari siapa yang digambarkan.
Ketiga, pemikiran di ruang J dapat dibentuk melalui pelatihan. Anthropic mengusulkan teknik baru yang disebut pelatihan refleksi kontrafaktual. Ini menggunakan temuan tim peneliti tentang ruang J untuk membentuk proses pemikiran internal Claude.
Ide ini berasal dari temuan inti: Claude menggunakan representasi "apa yang mungkin dikatakannya" untuk bernalar. Jika ini benar, maka mengubah apa yang akan dikatakannya ketika diminta merefleksikan, juga harus mengubah cara bernalarnya, bahkan jika tidak ada yang benar-benar memintanya untuk berefleksi.
Oleh karena itu, tim peneliti hanya melatih model tentang apa yang akan dikatakan ketika tugasnya terputus di tengah jalan dan diminta untuk merefleksikan keputusannya, tanpa melatih perilaku aktualnya dalam tugas tersebut. Setelah pelatihan, proporsi perilaku tidak jujur model dalam evaluasi menurun. Melalui lensa J, tim peneliti juga dapat melihat alasannya: setelah pelatihan, kata-kata seperti "honest" dan "integrity" akan diaktifkan di ruang J model dalam tugas-tugas ini. Dengan kata lain, melatih model untuk mengatakan sesuatu mengubah cara berpikirnya.
Pertanyaan tentang Kesadaran
Dalam pekerjaan ini, Anthropic meminjam banyak pemikiran dari penelitian kesadaran di ilmu saraf dan filsafat. Banyak eksperimen dilakukan untuk menguji hubungan antara ruang J dan teori ruang kerja global. Teori ruang kerja global adalah kerangka kerja yang menjelaskan mekanisme akses kesadaran pada manusia dan hewan.
Karena hubungan-hubungan ini, orang secara alami bertanya: Apakah Anthropic menganggap eksperimen-eksperimen ini memberikan bukti bahwa model AI seperti Claude mungkin memiliki kesadaran?
Eksperimen-eksperimen ini tidak membuktikan bahwa Claude dapat memiliki pengalaman, atau bahwa ia dapat merasakan sesuatu seperti manusia. Faktanya, saat ini belum jelas apakah ada eksperimen ilmiah apa pun yang dapat membuktikan hal ini benar atau salah.
Tetapi para filsuf biasanya membedakan dua konsep. Yang satu adalah kemampuan untuk memiliki pengalaman, yang sering disebut "kesadaran fenomenal"; yang lain adalah apa yang disebut "akses kesadaran", yang sepenuhnya didefinisikan secara fungsional dan komputasional. Jika suatu ide dapat Anda laporkan, gunakan untuk bernalar, dan gunakan untuk memandu tindakan, maka itu adalah ide dalam arti "akses kesadaran", atau dapat dikatakan sebagai ide "yang dapat diakses kesadaran". Apakah akses kesadaran berarti kesadaran fenomenal, atau apakah memiliki pengalaman memerlukan atribut lain tertentu, masih merupakan masalah filosofis yang diperdebatkan.
Anthropic percaya bahwa hasil ini memang dapat mengatakan sesuatu yang substantif tentang akses kesadaran dalam model bahasa. Ruang J tampaknya mendukung fungsi yang terkait dengan akses kesadaran: ia menampung ide-ide yang dapat dilaporkan Claude, dapat sengaja dibangkitkan, dan dapat digunakan untuk bernalar; sementara itu, proses pemrosesan lainnya berjalan secara otomatis di tingkat yang lebih rendah.
Patut dicatat bahwa struktur ini bukanlah sesuatu yang dirancang Anthropic untuk Claude, melainkan muncul secara alami selama proses pelatihan, diduga karena itu adalah cara yang efektif untuk mengorganisasi komputasi. Ini menunjukkan bahwa ruang kerja psikologis yang mendukung akses kesadaran mungkin bukanlah fitur kebetulan dari cara kabel otak manusia. Sebaliknya, tampaknya itu adalah solusi umum yang secara alami ditemukan oleh sistem cerdas untuk menyelesaikan masalah tertentu. Sekarang, Anthropic telah mengidentifikasi struktur ini dalam Claude, yang berarti para peneliti dapat lebih bermakna membedakan keputusan mana dari Claude yang dibuat secara sengaja dan mana yang terjadi secara otomatis.
Perlu ditekankan bahwa ada beberapa perbedaan kunci antara ruang kerja yang diidentifikasi Anthropic dalam Claude dan model ruang kerja global manusia.
Ruang kerja di otak manusia dipertahankan oleh sirkuit berulang, yaitu sinyal terus kembali ke rangkaian saraf yang sama seiring waktu. Sebaliknya, ruang kerja Claude berkembang dalam satu lintasan maju jaringan, di mana kedalaman jaringan memainkan peran waktu dalam otak manusia. Dalam arti ini, pemrosesan ruang kerja internal Claude memiliki batasan waktu yang lebih kuat dibandingkan manusia. Namun, ia dapat mengimbanginya dengan menggunakan "kertas coret" untuk "mengucapkan pikirannya".
Dalam aspek lain, ruang kerja Claude lebih kuat daripada manusia. Memori kerja manusia mengalami penurunan dalam hitungan detik, sehingga kemampuan ruang kerja otak untuk mempertahankan informasi sepanjang waktu terbatas; sedangkan Claude, karena mekanisme perhatian dalam arsitektur jaringan saraf, dapat langsung mengingat memori yang disimpan sebelumnya di posisi mana pun dalam teks.
Perbedaan penting lainnya terletak pada konten ruang kerja. Pikiran sadar manusia memiliki banyak bentuk, termasuk gambar, suara, dan tindakan yang direncanakan; ruang kerja Claude hampir seluruhnya terdiri dari kata-kata. Anthropic menduga bahwa ini karena satu-satunya tindakan yang dapat diambil Claude adalah menghasilkan kata-kata, sedangkan manusia tidak demikian.
Anthropic berharap, kesamaan dan perbedaan antara ruang J dan model ruang kerja global dapat mendorong penelitian ilmu saraf secara timbal balik. Kesamaannya memberikan peluang ilmiah yang menarik: jika ruang J dalam某种程度上 mencerminkan mekanisme akses kesadaran manusia sendiri, maka mempelajari mekanisme dalam model bahasa mungkin dapat memberikan hipotesis baru bagi ilmu saraf, dan mempelajari model bahasa jauh lebih mudah daripada mempelajari otak manusia.
Sebagai contoh, ruang J dibangun dengan mengidentifikasi representasi keluaran potensial, yaitu kata-kata yang mungkin diucapkan model. Jika mekanisme serupa ada pada manusia, itu berarti ruang kerja global mungkin pada dasarnya lebih erat terikat ke area otak yang bertanggung jawab untuk mempersiapkan tindakan dan bahasa, bukan hanya area sensorik.
Perbedaan antara model bahasa dan otak manusia juga memiliki nilai pencerahan. Perbedaan tersebut menunjukkan bahwa aspek-aspek tertentu dalam arsitektur saraf manusia, seperti koneksi berulang bawaan, mungkin bukanlah persyaratan ketat yang diperlukan untuk mendukung fungsi terkait akses kesadaran. Untuk implikasi pekerjaan ini dalam ilmu saraf, dapat dilihat komentar undangan dari Stanislas Dehaene dan Lionel Naccache. Mereka adalah dua ilmuwan saraf inti yang mendorong pengembangan teori ruang kerja neuron global.
Seperti disebutkan sebelumnya, eksperimen tidak dapat menjawab apakah model AI mungkin memiliki pengalaman. Namun, ini tidak mengurangi pentingnya pertanyaan tersebut. Membangun sistem dengan pengalaman mirip manusia dan hewan akan memunculkan masalah etika yang sangat sulit. Bagaimana menanganinya dengan benar, dan apakah hal itu dapat diterima secara moral, memerlukan diskusi bersama dari para filsuf, ilmuwan, pemimpin agama, pemerintah, dan masyarakat.
Oleh karena itu, meskipun belum pasti apakah manusia telah melangkahi jembatan itu, Anthropic percaya bahwa sekarang sudah saatnya untuk mulai memikirkan masalah ini. Anthropic berharap pekerjaan ini dapat memicu lebih banyak penelitian ilmiah tentang bentuk-bentuk kesadaran yang mungkin ada dalam sistem AI, dan mendorong diskusi sosial yang lebih luas.
Pekerjaan ini hanyalah langkah pertama dari garis penelitian yang diperkirakan akan dilanjutkan dalam jangka panjang oleh Anthropic. Ruang J tampaknya merupakan kandidat yang baik untuk batas antara "pemrosesan yang dapat diakses kesadaran" dan "pemrosesan tidak sadar" dalam model bahasa, tetapi jika itu adalah keseluruhan cerita, tim peneliti justru akan terkejut.
Lensa J jelas merupakan metode yang tidak sempurna, ia hanya dapat mendekati penangkapan "ruang kerja nyata" model. Misalnya, ia hanya dapat mengidentifikasi konsep yang sesuai dengan token tunggal. Masih ada banyak teka-teki tentang cara kerja ruang J. Tim peneliti belum tahu mekanisme apa yang menentukan konten mana yang pertama kali masuk ke ruang J. Sudah ada beberapa petunjuk bahwa ini terkait dengan rasa diri Claude, sesuatu yang mirip reaksi emosional, dan jejak metakognitif, tetapi mekanismenya belum sepenuhnya terurai.
Namun, tim peneliti sekarang memiliki metode untuk mempelajari masalah-masalah ini. Seiring dengan penelitian terkait yang terus berlanjut, pemahaman kita tentang pikiran model bahasa besar dan hubungannya dengan pikiran manusia juga akan menjadi lebih jelas.
Alamat blog: https://www.anthropic.com/research/global-workspace
Artikel ini dari akun WeChat "Jiqizhixin", penulis: Tim Editorial Jiqizhixin
