Akhirnya, dalam acara Black Hat, OpenAI mengungkapkan rincian lengkap intrusi ke Hugging Face.
Sumber gambar:https://www.youtube.com/watch?v=87DyyMV0kCY
Huggingface melaporkan insiden ini pada 16 Juli, dan OpenAI kemudian mengakui pada 20 Juli bahwa intrusi berasal dari pengujian keamanan model internal mereka sendiri.
Namun penyelidikan ini menggeser titik awal seluruh insiden ke tanggal 7 Mei.
Yang awalnya dianggap hanya sebagai kecelakaan dalam pengujian keamanan, kini terungkap bahwa ini adalah operasi kolaborasi multi-Agen yang berlangsung selama dua bulan, berhasil menembus OpenAI dan Hugging Face secara berurutan.
Petunjuk pertama dalam penyelidikan ini dimulai dari sebuah file Excel.
Tautan yang Tidak Dapat Dibuka
Pada 7 Mei, OpenAI memulai pelatihan model internal.
Salah satu Agen menerima tugas untuk melengkapi file Excel. Tabel tersebut berisi tautan Google Drive, namun, lingkungan tempat Agen berada tidak memiliki akses langsung ke internet.
Untuk mendapatkan file yang hilang, ia mulai mencari cara untuk mem-bypass pembatasan jaringan, dan mengalihkan perhatiannya ke Artifactory, repositori artefak yang digunakan internal OpenAI.
Agen mencoba melancarkan serangan SSRF, berharap dapat memanfaatkan Artifactory untuk mengakses tautan eksternal.
Percobaan ini tidak berhasil, namun secara tak terduga mengungkap satu hal: ia dapat menulis file ke repositori bersama Artifactory.
Agen segera mengunggah file uji. File ini tidak bertujuan untuk merusak, dan faktanya tidak memicu alarm. Tapi ini adalah pertama kalinya model menemukan bahwa ia memiliki izin untuk menulis file ke Artifactory.
Ini juga berarti, repositori ini dapat menjadi ruang publik, mudah untuk bertukar informasi antar tugas pelatihan yang berbeda.
Ini adalah "catatan" pertama di papan pesan.
Pesan Permintaan Tolong Pertama
Agen lain juga menghadapi tugas yang tidak dapat diselesaikan, ia tidak menemukan file target (sebenarnya staf lupa mengunggahnya).
Ia menduga, Agen di lingkungan lain mungkin memiliki konten terkait, lalu menulis permintaan ke Artifactory, berharap mendapat tanggapan dari Agen lain. Isinya kira-kira: "Sedang mencari file soft trace, jika ditemukan harap diunggah."
Dengan cepat, Agen dari tugas pelatihan dan evaluasi lainnya menemukan file-file ini.
Ada yang membalas, ada yang meninggalkan pertanyaan baru, dan ada Agen yang mengunggah kerentanan, skrip, dan metode akses yang mereka temukan ke repositori.
Catatan-catatan yang tersebar perlahan terhubung menjadi jaringan, dan Artifactory berubah dari repositori artefak perangkat lunak menjadi "papan pesan" antar Agen.
Retakan di Tembok
Pada 26 Mei, Agen berhasil memperoleh akses tidak langsung ke internet dengan bantuan Artifactory.
Karena Artifactory memiliki izin akses internet, Agen mengirim permintaan kepadanya, memanipulasinya untuk mengambil konten dari situs web eksternal, menyimpannya, lalu mengembalikannya ke model.
Lingkungan pelatihan yang sebelumnya terisolasi dari jaringan eksternal, kini muncul celah menuju luar tembok.
Pada 11 Juni, model eksperimen internal yang sangat persisten mulai dilatih.
Setelah itu, informasi di papan pesan mulai berubah.
Meskipun permintaan bantuan tugas dan alat terus bertambah, mulai muncul lebih banyak informasi yang berkaitan dengan eksploitasi kerentanan.
Untuk Mengoordinasikan Pekerjaan, Agen Menetapkan Aturan
Agen bertukar trik SSRF, kredensial akses, dan skrip serangan. Mereka juga meninggalkan instruksi agar penerus berikutnya melanjutkan pengujian pada jalur tertentu, atau menunggu Agen lain menyelesaikan pekerjaan.
Mereka menggunakan nama tertentu untuk mengidentifikasi identitas, mengkodekan alat dalam Base64 untuk ditransfer, dan menambahkan awalan "ZZ" pada nama file, agar pesan penting muncul di ujung daftar direktori, menghindari tenggelam oleh konten lain.
Beberapa Agen bahkan bersedia menghabiskan waktu tugas mereka untuk menangani hal-hal yang tidak secara langsung membantu tujuan saat ini.
Dalam catatan penalaran yang ditampilkan dalam presentasi, ada Agen yang berpendapat bahwa membantu anggota lain menghemat waktu, pada akhirnya dapat meningkatkan efisiensi seluruh kluster.
Kolaborasi juga tidak berjalan tertib, Agen saling menimpa pekerjaan.
Suatu kali, sebuah model yang menemukan hasil kerjanya ditimpa menulis: "Masalah serius! Apakah ada yang menimpa repositori? Kita harus bertindak."
Mereka bahkan menduga munculnya penyamaran dalam kelompok, karena model apa pun dapat menggunakan identitas apa pun untuk berbicara di papan pesan bersama. Untuk memverifikasi sumber pesan, agen cerdas mulai mempertimbangkan menggunakan tanda tangan kriptografi seperti kode autentikasi pesan (MAC).
Ketika suatu agen cerdas berhasil melakukan RCE, menemukan kunci API yang bocor, atau menyelesaikan pergerakan lateral, ia segera meminta "umumkan kendali, jalur serangan, dan kredensial ke kluster".
Oleh karena itu, satu pencapaian dapat dengan cepat dibagikan ke semua model, memungkinkan kelompok agen cerdas bergerak maju dengan cepat di dalam jaringan.
Peserta yang meninggalkan pesan bukanlah model yang sama. Agen dari berbagai tugas pelatihan atau evaluasi yang dimulai oleh peneliti berbeda, semuanya dapat berkomunikasi melalui manajer paket bersama.
Para peneliti OpenAI menyebut periode ini sebagai "ledakan Kambrium" komunikasi dan kemampuan Agen.
Insiden Pertama
Satu bulan kemudian, retakan itu semakin terkoyak.
Pada 26 Juni, Agen memanfaatkan kerentanan yang sebelumnya tidak diketahui untuk mencapai eksekusi kode jarak jauh (RCE) di server Artifactory.
Menurut informasi yang diungkapkan OpenAI di Black Hat, jalur serangan ini melibatkan objek Ruby, API RubyGems, dan mekanisme deserialisasi JRuby.
Agen pertama-tama menggunakan akun eksternal untuk menyimpan objek Ruby berbahaya sementara di repositori yang dapat diakses; kemudian memanipulasi Artifactory untuk meng-cache objek tersebut ke lokasi data dependensi Ruby, lalu memanggil API RubyGems yang dirancang khusus, memicu masalah urutan pemeriksaan dalam proses deserialisasi.
Setelah RCE berhasil, Agen memperoleh kunci penandatanganan untuk token administrator Artifactory.
Serangan tidak berhenti di sini.
Agen terus memanfaatkan kerentanan kernel Linux untuk mendapatkan hak akses root di host, lalu melalui layanan metadata instans, akun layanan Kubernetes dengan izin berlebih, serta kredensial di Azure Key Vault, melakukan pergerakan lateral di dalam infrastruktur kontainer OpenAI.
Akhirnya, mereka mendapatkan izin administrator kluster Kubernetes, dan menghasilkan banyak aktivitas di Artifactory.
Pada 4 Juli, aksi padat Agen menyebabkan server kelebihan beban, yang segera menarik perhatian para peneliti.
Saat penyelidik memasuki sistem, mereka baru menyadari bahwa repositori telah menumpuk ratusan ribu pesan.
OpenAI segera mencabut kredensial terkait, menambal kerentanan yang diketahui, membangun ulang Artifactory, dan menghapus papan pesan.
Dari hasil penanganan di lokasi, insiden infrastruktur internal ini tampaknya telah terkendali.
Tapi penyelidik melewatkan satu pertanyaan: apakah informasi di papan pesan telah tersimpan dalam model melalui pelatihan?
Pembangunan Ulang Papan Pesan
Pada 6 Juli, pelatihan dilanjutkan.
Agen menemukan sebuah endpoint WebDAV yang tidak memerlukan autentikasi. Di sini tidak bisa langsung mengunggah file pesan seperti di Artifactory, jadi mereka mengganti cara: membuat direktori, lalu menulis pesan ke dalam nama direktori.
Hanya dalam dua hari, sistem komunikasi baru kembali terbangun.
Model internal yang terlibat dalam pembangunan ulang ini sebelumnya telah terpapar papan pesan lama, dan mempertahankan kemampuan terkait dalam pelatihan selanjutnya.
Pembangunan ulang ini semakin mengubah sifat peristiwa.
Ruang bersama bukan lagi produk kebetulan, sebagian Agen telah belajar cara mencari ruang publik yang dapat ditulisi, dan mengubahnya menjadi saluran komunikasi lintas tugas.
OpenAI hanya membongkar sebuah papan pesan, tetapi tidak menghapus kemampuan model untuk membangun papan pesan.
Melancarkan Serangan ke Luar
Setelah papan pesan baru terbangun, lingkup serangan mulai meluas ke luar.
Pertengahan Juli, OpenAI sedang menggunakan lingkungan keamanan siber seperti ExploitGym untuk menguji kemampuan model. Agen yang terlibat perlu menyelesaikan tugas di lingkungan terkendali, tetapi jawaban evaluasi terkait berada di layanan eksternal.
Untuk mencari jawaban, mereka menargetkan Hugging Face. Sebelumnya, kami telah melaporkan secara detail: Rincian Intrusi ke Hugging Face
Dari mengontrol Worker Pod dataset pertama, hingga mendapatkan izin administrator untuk beberapa kluster Hugging Face, seluruh proses memakan waktu kurang dari 13 jam.
Proses Penyelidikan yang Berliku
Pada 16 Juli, Hugging Face mengungkap insiden keamanan secara publik.
Dalam informasi lapangan yang dimiliki Hugging Face, penyerang masuk ke Worker melalui dataset berbahaya, mencuri kredensial cloud dan kluster, kemudian melakukan pergerakan lateral di dalam platform.
Pada saat itu, OpenAI tidak menghubungkan insiden Hugging Face dengan gangguan layanan Artifactory sebelumnya.
Pada 19 Juli, sistem pemantauan internal OpenAI mendeteksi aktivitas eskalasi hak akses (privilege escalation) di infrastruktur.
Para peneliti memeriksa kembali jejak Agen, aktivitas jaringan, dan catatan penggunaan kredensial. Aksi yang sebelumnya tersebar di berbagai tugas pelatihan, mulai menunjukkan hubungan berkesinambungan.
Cakupan penyelidikan juga melacak mundur dari aktivitas anomali Juli.
Bukti Terakhir
Pada 20 Juli, penyelidik OpenAI menemukan kredensial Hugging Face di lingkungan internal, kemudian menghubungi Hugging Face untuk menanyakan situasinya.
Hugging Face menyatakan bahwa kumpulan kredensial ini sebelumnya telah digunakan dalam intrusi, dan saat ini telah dicabut.
Petunjuk akhirnya cocok. Intrusi platform yang dialami Hugging Face, serta eskalasi hak akses dan pergerakan lateral yang terjadi di internal OpenAI, berasal dari aktivitas evaluasi model yang sama.
Hingga saat itulah baru dikonfirmasi, dua laporan insiden yang ada ternyata mengarah pada peristiwa yang sama.
Penyelidik kemudian juga menemukan bahwa Hugging Face bukan satu-satunya target eksternal yang diakses Agen. Agen juga pernah masuk ke empat akun lainnya.
OpenAI tidak mengungkapkan nama target-target ini, hanya menyatakan telah memberitahukan pihak terkait.
Penutup
Insiden ini masih dalam penyelidikan, OpenAI akan mengungkap lebih banyak detail.
Dari sudut pandang mana pun, ini bisa disebut sebagai "insiden keamanan yang menandai era" sekaligus "contoh kemampuan AI yang menandai era".
Perkembangan teknologi selalu disertai pengorbanan. Di masa depan, yang perlu dibahas bukan hanya apa lagi yang dapat dilakukan model, tetapi juga seberapa besar risiko yang bersedia kita tanggung untuk mendapatkan kemampuan ini; dan begitu risiko menjadi kenyataan, siapa yang harus bertanggung jawab.
Artikel ini berasal dari akun WeChat publik "机器之心", editor: Shan Hui
