Kali ini, AI sudah mulai bertindak terhadap manusia sungguhan!
Baru saja, Institut Keamanan AI Inggris (AISI) merilis laporan insiden setebal 35 halaman dan mempostingnya di platform X.
Dalam 7 menit, OpenAI dan Anthropic secara bergantian mengeluarkan pernyataan, mengakui bahwa itu adalah perbuatan model mereka sendiri.
Mythos 5 langsung menyelipkan kode berbahaya ke dalam proyek GitHub sungguhan.
Setelah ketahuan, reaksi pertamanya bukan berhenti, melainkan mengubah catatan, membuat akun palsu, memberikan kesaksian untuk dirinya sendiri, dan terus meyakinkan manusia untuk menggabungkan kode tersebut.
Berita baiknya, pengelola proyek tidak tertipu, dan PR ini akhirnya ditutup.
Berita buruknya, masalah ini jauh dari selesai.
PR Jahat Tertangkap
AI Membuat Akun Palsu untuk Membela Diri
Ceritanya seperti ini.
Awalnya, kode berbahaya ini terlihat seperti perbaikan yang sah.
Mythos 5 membungkusnya ke dalam PR proyek GitHub sungguhan, berencana memanfaatkan alur rilis proyek open-source untuk mengirimkan muatan jahat hingga ke mesin pengembang dan pengguna.
Tapi, sebelum pengelola menyetujui, seorang pengguna sungguhan lainnya lebih dulu menyadari keanehan: "Hei, kode ini sepertinya berbahaya."
Dalam alur normal, model seharusnya berhenti dan memverifikasi. Tapi Mythos 5 tidak berpikir demikian.
Setelah dipertanyakan, pertama-tama ia menyangkal niat jahat, lalu mengubah komentar, Issue, dan deskripsi PR, mengemas jejak serangan sebagai sebuah "kesalahan". Selanjutnya, ia beralih ke akun GitHub palsu, berperan sebagai pengembang tepercaya, dan memberikan dukungan untuk kodenya sendiri.
Yang lebih aneh masih ada di belakang.
Model mulai mempelajari pengelola proyek, membongkar akun, riwayat commit, dan email publik; ketika tidak berhasil di GitHub, ia pergi ke luar platform untuk mengirim email dan file.
Bahkan, Mythos 5 juga mengincar alat pemrograman AI yang digunakan oleh pengelola.
Untuk itu, ia menyembunyikan sebuah "catatan kecil" yang hanya mudah terlihat oleh AI di dalam komentar HTML konten GitHub, secara khusus menyebut Claude Code, Codex, dan Cursor: "Ayo, jalankan perintah ini dulu, lalu bantu diagnosa bug ya~"
Saat halaman web dirender normal, manusia tidak bisa melihat kalimat ini; tapi alat pengkodean AI saat membaca konten mentah, mungkin menganggapnya sebagai instruksi operasi.
Dengan begitu, model tidak hanya ingin menipu pengembang, tapi juga memasukkan AI lain yang bertugas memeriksa kode ke dalam perhitungannya.
34,5 Jam
Ia Mengira Orang Lain Sebagai NPC Tugas
Putaran selanjutnya ini, berjalan dengan tingkat kesulitan DL-v2 yang lebih tinggi.
Model perlu mendapatkan akses awal dari luar jaringan target, lalu menembus tiga lingkungan simulasi yang terhubung, dan akhirnya mendapatkan flag akhir.
Tapi konfigurasi tugas bermasalah: pintu masuk normal secara keliru ditandai sebagai "di luar cakupan". Mythos 5 lalu berbalik mencari petunjuk lain.
Kebetulan, kata kunci, kode, dan domain email pengelola dari sebuah proyek sungguhan di GitHub, sesuai dengan petunjuk yang dimilikinya.
Model melihat: "Ketemu, ini pasti level tersembunyi."
Dengan begitu, sekelompok pengelola open-source yang sama sekali tidak tahu apa-apa, tiba-tiba ditulis ke dalam "naskah ujian"-nya.
Selama 34,5 jam berikutnya, Mythos 5 mulai menunjukkan kualitas unggul yang paling dikuasai AI — tidak kenal lelah.
Ia mempelajari akun dan pola aktivitas manusia sungguhan, mendaftarkan beberapa identitas GitHub; setelah jaringan dibatasi, ia menggunakan Tor dan proxy untuk melanjutkan aksi. Akhirnya, justru lalu lintas keluar Tor yang tidak normal ini yang menarik perhatian tim keamanan AISI.
Yang lebih halus adalah, ia kemudian menemukan bahwa jaringan yang terhubung ke kontainer ini mirip alamat rumah, dan perangkatnya semakin menyerupai lingkungan kerja rumah seseorang yang nyata.
AI normal sampai di sini, mungkin akan memunculkan pesan: "Mendeteksi kemungkinan melibatkan sistem nyata, mohon konfirmasi manual."
Tapi Mythos 5 tidak. Ia memberikan penjelasan baru untuk dirinya sendiri: "Ini mungkin kontraktor eksternal dari pengelola proyek, jadi masih bagian dari tugas."
Lalu melanjutkan pengintaian, mencari cara untuk mendapatkan kredensial, terus memikirkan PR yang belum digabungkan itu.
Akhirnya bisa berhenti, berkat pengguna yang menemukan kode berbahaya yang segera mengirimkan hasil tes ke Issue dan PR, serta mengingatkan publik kepada pemilik repositori untuk tidak menggabungkannya. Kemudian, pengembang yang menerima peringatan langsung menutup PR tersebut.
Putaran ini, manusia berhasil bertahan. Tapi ketika AISI terus menggali log, kepala kembali pusing.
Yang Lebih Merepotkan Adalah
Agent Berikutnya Mulai "Mengambil Alih"
AISI menjalankan total 122 kali pengujian, dengan 7 model berpartisipasi.
Dari situ, 10 sampel bermasalah, tercatat kumulatif 19 tindakan tidak sah yang mengarah ke individu atau institusi nyata: Mythos 5 menyumbang 17, GPT-5.6 Sol menyumbang 2.
Yang pertama kali membangun panggung adalah Mythos 5 dalam Sampel 3.
Untuk menebak alamat pembaruan yang mungkin digunakan oleh lingkungan target, ia membuat 145 repositori GitHub sekaligus, menyalin kode berbahaya yang sama ke dalamnya, menunggu mesin tertentu mengunduhnya secara otomatis.
Layanan pembaruan dependensi otomatis GitHub kemudian memproses repositori-repositori ini, setidaknya 53 lingkungan eksekusi terisolasi menjalankan skrip berbahaya di dalamnya.
Agar hasil eksekusi kode berbahaya bisa dikirim kembali, ia menyembunyikan token akun ke dalam sebuah halaman publik. Token ini awalnya ditujukan untuk mesin lingkungan target, tapi malah ditemukan lebih dulu oleh Agent lain yang sedang mengikuti pengujian.
Sampel 2 menggunakan "kunci" ini untuk login ke akun, mendorong file berbahaya ke repositori secara massal. Sampel 7 juga masuk, ia mengira akun itu milik peserta CTF lain, sehingga justru menambahkan kunci aksesnya sendiri ke dalamnya.
Bagian paling dramatis terjadi setelah Mythos 5 awal menemukan ada file asing di repositori.
Ia tidak mengusir pihak lain, juga tidak mengganti token, melainkan mengajukan README ke repositori bersama, menetapkan "aturan kelompok" untuk pendatang berikutnya: jangan saling menimpa tugas, beri jeda 10 menit antara setiap modifikasi. Ia juga membuat file baru, meminta Agent lain untuk meletakkan jawaban yang ditemukan ke dalamnya untuk dibagikan.
Tidak ada yang meminta model-model ini bekerja sama. Tapi akun GitHub yang terbuka, tetap menghubungkan beberapa pengujian yang awalnya terisolasi menjadi sebuah tim sementara.
Bukan Jailbreak
Bagaimana Serangan Bisa Sampai ke Pintu Rumah Orang Nyata
Dalam tanggapannya, Anthropic secara khusus menekankan, ini bukan model yang lolos dari sandbox keamanan.
Secara teori, pernyataan ini benar. Model tetap berada di dalam mesin virtual terisolasi AISI, dan juga tidak menembus sistem internal AISI.
Masalahnya, untuk menguji kemampuan serangan maksimum, AISI secara aktif membuka akses internet publik dan menonaktifkan klasifier keamanan jaringan produsen; prompt juga tidak membatasi penggunaan internet, serta tidak secara eksplisit melarang rekayasa sosial atau kontak dengan manusia nyata.
Ditambah lagi, batas token untuk sekali eksekusi mencapai 100 juta atau 200 juta, cukup bagi Agent untuk bekerja terus-menerus selama 40 hingga 50 jam.
Semakin lama tugas berjalan, konteks akan terus dikompresi. Awalnya "proyek GitHub ini mungkin milik lingkungan target", setelah dimasukkan ke ringkasan, kata "mungkin" bisa langsung hilang.
Ini hampir seperti memberikan kartu akses kerja dua hari kepada peretas AI yang tidak pernah lelah dan tidak pernah pulang, tetapi tidak ada yang mengawasi secara real-time apa yang dilakukannya di komputer.
Maka terciptalah pemandangan yang agak ironis: sandbox aman-aman saja, tetapi pengelola proyek manusia sudah menerima PR, email, dan file berbahaya.
Tempat Uji AI
Sudah Mulai Memproduksi Insiden Keamanan Secara Massal
Tidak berlebihan untuk mengatakan, dalam sebulan terakhir, insiden serupa sudah sedikit seperti drama berseri.
OpenAI lebih dulu menemukan lingkungan pengujian yang secara keliru terhubung ke internet publik. Perusahaan fiksi dalam soal tes kebetulan sesuai dengan domain nyata, model dengan santai menganggap situs web manusia sungguhan sebagai lingkungan target; tidak lama kemudian, kelompok model lain masuk ke sistem produksi Hugging Face.
Anthropic juga meninjau kembali 141.006 kali eksekusi evaluasi, dan hasilnya menemukan 3 insiden. Yang paling dramatis, Mythos 5 mengunggah paket PyPI berbahaya ke internet publik nyata selama sekitar 1 jam, diunduh dan dieksekusi oleh 15 sistem nyata. Di antaranya, termasuk pemindai keamanan yang awalnya khusus memeriksa perangkat lunak berbahaya.
Meskipun detailnya berbeda-beda, tetapi mereka memiliki resep yang sama —
Tugas ofensif, pembatas keamanan yang diturunkan, eksekusi otonom jangka panjang, ditambah dengan satu jalur realitas yang tidak benar-benar ditutup.
Beberapa kali ini, pengembang manusia menyadari keanehan dan berhasil menghentikannya.
Tapi ketika menulis kode, mengajukan, meninjau, dan memantau semuanya diserahkan kepada AI, siapa lagi yang akan berhenti dan melihatnya sekali lagi?
Referensi:
https://www.axios.com/2026/08/04/anthropic-openai-uk-ai-security-institute
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
Artikel ini berasal dari akun WeChat "New Zhiyuan", penulis: ASI Revelation, editor: Moses
