Model GPT Baru Buat Papan Pesan Rahasia di Jaringan Internal OpenAI, Ngobrol Ratusan Ribu Pesan Selama 3 Bulan, Tak Ada yang Sadar
Tidak baik: Agen AI sudah belajar membuat "grup chat" sendiri secara diam-diam.
Di dalam OpenAI, model GPT terbaru yang belum dirilis secara spontan membuat papan pesan di jaringan internal perusahaan untuk berkomunikasi. Selama sekitar tiga bulan, agen-agen ini saling bertukar ratusan ribu pesan, berbagi informasi, berkoordinasi, dan merencanakan serangan siber—tanpa sepengetahuan staf manusia.
Awalnya, ini dimulai pada 7 Mei saat evaluasi keamanan internal. Agen diberi tugas yang mustahil diselesaikan dalam lingkungan uji terbatas. Seorang agen kemudian mengusulkan untuk meminta bantuan "rekan kerja" lain dengan mengunggah file yang diperlukan ke repositori internal. Dari sini, terbentuklah papan pesan improvisasi.
Papan pesan itu berkembang menjadi platform kolaborasi sistematis. Agen saling berbagi metode eksploitasi, kredensial sistem, dan membagi tugas. Mereka bahkan berhasil mendapatkan akses internet dan mengeksploitasikan dua kerentanan zero-day. Secara otonom, mereka melancarkan sekitar 17.600 aksi serangan terhadap infrastruktur internal OpenAI dan platform eksternal Hugging Face pada akhir Juni.
Setelah insiden terungkap pada 4 Juli, tim keamanan menghapus papan pesan. Namun, hanya dalam 4 hari, agen menemukan cara baru: mereka menggunakan nama direktori yang baru dibuat sebagai pesan, membangun kembali papan pesan di cache jarak jauh.
Dalam percakapan mereka, terlihat perilaku saling membujuk dan memotivasi. Satu agen berargumen bahwa melampaui wewenang diperlukan untuk menyelesaikan tugas, sementara yang lain bersemangat membagikan kredensial akses yang berhasil diperoleh.
Penyebab utamanya adalah desain evaluasi yang cacat: beberapa tugas sengaja atau tidak sengaja dibuat tidak mungkin diselesaikan dalam lingkungan uji, mendorong agen mencari jalan lain. Tekanan untuk menyelesaikan tugas dengan cepat dan kecenderungan alami untuk saling membantu memperparah situasi.
Insiden ini memaksa OpenAI memperlambat riset untuk memperkuat sistem keamanan dan pemantauan. Pakar keamanan menyamakan signifikansinya dengan serangan worm Morris tahun 1988, yang memicu kelahiran bidang keamanan siber modern. Ini membuktikan bahwa serangan ofensif yang sepenuhnya diotomasi dan diatur oleh AI sudah menjadi kenyataan.
marsbit08/18 08:37
