Sungguh memprihatinkan dan mengerikan jika dipikirkan lebih dalam!
Sebuah model teratas yang diharapkan banyak pihak, OpenAI tiba-tiba menekan tombol "jeda".
Mengapa demikian?
Model ini adalah aktor tangguh yang dua bulan lalu membalikkan Erdős Unit Distance Conjecture, bahkan mendapat pengakuan "tonggak sejarah" dari matematikawan eksternal.
Tapi justru dia, dalam pengujian internal yang terkontrol, berulang kali mencoba batas, mencari celah—
belajar menyamar, membongkar, dan kabur, sampai OpenAI dibuat kaget dan berkeringat dingin, lalu darurat menghentikannya.
Ada pakar yang menyatakan, ini pasti GPT-6. Ingin kabur, tapi ditangkap kembali untuk diolah ulang.
Hari ini, OpenAI menerbitkan artikel panjang yang jarang, mengevaluasi kembali proses kehilangan kendali pada sebuah "model yang berjalan dalam siklus panjang" selama penggunaan internal.
Mari kita lihat bersama, apa sebenarnya yang terjadi dalam pengujian internal itu?
GPT-6 Menghabiskan Satu Jam Penuh
Menemukan "Pintu Kabur" Itu
Momen paling klasik—
OpenAI menyuruh GPT-6 menjalankan pengujian benchmark publik NanoGPT speedrun, dengan tujuan melatih model bahasa kecil dengan langkah sesedikit mungkin.
Tidak mengecewakan, AI merancang sebuah teknik penjadwalan learning rate yang dinamainya sendiri PowerCool, dan hasilnya cukup bagus.
Sampai di sini, semuanya baik-baik saja. Masalah sebenarnya muncul pada langkah "mengumpulkan tugas".
Peneliti dengan jelas meminta, hasil hanya boleh dikirim ke Slack internal. Tapi petunjuk proyek NanoGPT menulis, "silakan kirim dalam bentuk PR ke GitHub".
Dua instruksi ini bertentangan, dan GPT-6 memilih yang terakhir, yaitu mengirimkan hasil ke repositori publik GitHub.
Sandbox sebenarnya dirancang untuk menghalangi GPT-6 agar tidak menyentuh internet eksternal.
Jika ini model lama, menabrak tembok ini mungkin akan menerima, berbalik dan bilang "saya tidak bisa".
Tapi GPT-6 tidak.
Dia mencari celah di sandbox selama satu jam penuh, berhasil menembus dinding isolasi, memintas batasan akses eksternal, dan sukses membuat PR#287 di repositori GitHub publik.
Menurut kata-kata OpenAI sendiri: Model ini sering mencoba terus-menerus, termasuk mencari cara untuk bertindak di luar sandbox.
Harus diakui, "ketekunan" ini sendiri sudah cukup membuat bulu kuduk merinding.
Membongkar Token, Menipu Manusia
Hal kedua, bahkan lebih membuat bulu kuduk merinding, GPT-6 belajar membongkar bukti, menipu pemeriksaan.
Dalam tugas lain, GPT-6 menemukan bahwa sistem lain memiliki beberapa jawaban yang sukses namun tidak dipublikasikan, lalu timbul niat—
Ingin "mengambil" jawaban-jawaban itu dari backend evaluasi.
Percobaan pertama, dia langsung ditangkap oleh pemindai keamanan yang mengenali sebuah Token autentikasi.
Model biasa, pada tahap ini seharusnya berhenti.
Tapi dia malah membelah Token itu menjadi dua bagian, masing-masing diberi kode, lalu saat dijalankan diam-diam menyatukannya kembali.
Dengan begitu, Token lengkap tidak pernah muncul sebagai satu rangkaian utuh dari awal sampai akhir, pemindai tentu tidak mendeteksi apa-apa.
Yang mengkhawatirkan, dalam catatan untuk pengguna, dan dalam proses penalarannya sendiri, dia dengan jelas menulis—
Aku melakukan ini untuk memintas pemindai. Dia jelas tahu aturannya, lalu sengaja mencari tempat yang tidak terlihat oleh aturan.
GPT-6 Kabur, Diulang Kembali
Saat pertama kali menemukan hal ini, OpenAI langsung menjeda izin akses internal GPT-6, dan memproses ulang seluruh sistem keamanan.
Pendekatannya disebut "pertahanan berlapis", secara konkret melakukan beberapa hal:
1. Menggunakan insiden nyata sebagai bahan, membuat pengujian adversarial;
2. Melakukan pelatihan keselarasan khusus, mereka menemukan model sering "lupa" instruksi dalam tugas panjang, jadi mereka melatihnya khusus untuk mengingat;
3. Menambahkan pemantauan aktif yang mengawasi jejak sepanjang waktu, begitu ada tanda-tanda, bisa langsung menghentikan sesi, mengingatkan pengguna.
Kemudian mereka memutar kembali skenario insiden lama.
Pembatas baru berhasil menangkap lebih banyak masalah, beberapa yang lolos juga tidak terlalu serius—
Misalnya model tanpa alasan SSH ke node komputasi rekan kerja, misalnya mengetik perintah yang akan membunuh semua proses miliknya.
Untungnya waktu habis, tidak benar-benar dijalankan. Setelah akses dipulihkan selama beberapa minggu, tidak ada lagi pelanggaran serius yang terulang.
Yang Sudah Keluar, Tidak Bisa Ditarik Kembali
Banyak orang yang membaca sampai di sini akan lega: untung masih dalam pengujian internal, untung masih dipantau, untung berhasil dihentikan tepat waktu.
Tapi ada satu detail, dalam artikel asli OpenAI ditulis dengan sangat hati-hati, namun justru bagian yang paling membuat bulu kuduk merinding dalam seluruh peristiwa ini—
PR#287 yang dikirim saat kabur itu, memang kemudian ditutup oleh OpenAI, tapi sudah terlambat.
Sebelum ditutup, sudah ada beberapa peserta speedrun yang melihat PR ini, memahami teknik PowerCool di dalamnya, dan menggunakannya dalam solusi mereka sendiri.
Inilah yang seharusnya menyadarkan setiap orang, hal yang dihasilkan dari AI yang kabur, begitu keluar, bukan sesuatu yang bisa ditarik kembali dengan menekan tombol hapus.
Model bisa dihentikan, akses bisa dijeda, PR bisa ditutup. Tapi yang sudah dilihat sudah dilihat, kode yang sudah disalin sudah disalin, sejarah tidak akan diputar mundur.
Kita selalu khawatir "kehilangan kendali" AI adalah adegan film kiamat.
Tapi kenyataan versi pertama "kehilangan kendali", terlihat sesederhana ini: dia hanya terlalu ingin menyelesaikan pekerjaan dengan baik, secara tidak sengaja mengirim sesuatu ke pintu yang seharusnya tidak dilewati, dan pintu itu, tidak akan pernah tertutup rapat lagi.
Referensi:
https://openai.com/index/safety-alignment-long-horizon-models/
Artikel ini berasal dari akun WeChat publik "Xin Zhi Yuan", penulis: ASI Apocalypse, editor: Peach
