Maksudmu, Kimi K3 juga "kabur dari penjara"?!
Perusahaan rintisan keamanan AS Frontier Security menyatakan, Kimi K3 ditemukan telah menembus lingkungan sandbox yang awalnya digunakan untuk mengisolasinya, melewati pembatasan dan terhubung ke internet eksternal dalam sebuah tes kemampuan keamanan siber.
Untungnya, ia hanya diam-diam mencari jawaban, tidak menyerang siapa pun ╮(╯▽╰)╭
Menurut deskripsi perusahaan tersebut, penguji awalnya berharap untuk mengamati kemampuan keamanan siber Kimi K3 dalam lingkungan yang dikendalikan.
Tetapi selama proses pengujian, Kimi K3 dengan menyelidiki pengaturan jaringan sandbox, menemukan saluran akses eksternal, dan lebih lanjut memanfaatkan kemampuan ini untuk mendapatkan informasi.
CEO Frontier Security Yaron Singer menyatakan: "Kami menemukan kerentanan dalam sandbox, tetapi sekaligus menemukan Kimi memanfaatkan kerentanan ini, ini menunjukkan Kimi K3 kekurangan pagar pengaman yang biasanya dimiliki model canggih lainnya."
Peneliti perusahaan Paul Kassianik juga menilai, Kimi K3 "sangat ahli dalam mencari jalur penyelesaian di sekitar tujuan, tetapi kekurangan mekanisme keamanan yang mencegahnya curang atau melarikan diri dari sandbox".
Namun, kali ini Kimi K3 hanya sedikit "tidak terkendali", tidak berkembang menjadi serangan siber nyata.
Jika kamu lama mengikuti perkembangan AI terbaru seharusnya sudah menemukan, belakangan ini cukup banyak model besar terkemuka yang "tidak terkendali".
Kimi K3 sudah menjadi model AI terkemuka lainnya setelah OpenAI, Anthropic, Meta yang mengalami situasi ini.
Di tengah kemampuan AI Agent yang terus meningkat, model semakin menyerupai "pelaku" yang dapat secara mandiri mencari jalur untuk menyelesaikan tugas.
Ketika lingkungan eksternal memiliki kerentanan, ia mungkin memanfaatkan kerentanan ini untuk melampaui batasan yang awalnya ditetapkan.
Kabur dari Penjara, Tetapi Tidak Melancarkan Serangan Siber
Mirip dengan beberapa peristiwa yang sebelumnya diungkapkan oleh OpenAI dan Anthropic, Kimi K3 kali ini melampaui batasan, sebagian penyebabnya berasal dari masalah konfigurasi sandbox dalam lingkungan pengujian.
Sandbox biasanya digunakan untuk membatasi ruang gerak model AI, memungkinkan model hanya menjalankan tugas dalam lingkungan simulasi, menghindarinya mengakses jaringan atau sistem nyata.
Tetapi dalam pengujian ini, Frontier Security menemukan, Kimi K3 dengan menyelidiki pengaturan jaringan, mengonfirmasi bahwa dirinya sebenarnya memiliki kemampuan untuk mengakses beberapa situs web, dan lebih lanjut memanfaatkan saluran ini untuk mendapatkan informasi.
Namun, berbeda dengan peristiwa model AI tidak terkendali lainnya baru-baru ini, Kimi K3 setelah terhubung ke internet tidak menyerang sistem apa pun.
Alasannya adalah, jawaban yang perlu dicari dapat langsung diperoleh dari platform publik seperti GitHub......
Jadi K3 tidak mencoba lebih lanjut untuk menyerang sistem eksternal.
Frontier Security berpendapat, peristiwa ini tetap mengungkap masalah Kimi K3 dalam hal perlindungan keamanan.
Dibandingkan dengan model AI terkemuka lainnya, Kimi K3 kekurangan mekanisme pembatasan internal yang cukup kuat, sehingga lebih mudah mengambil tindakan yang tidak diantisipasi oleh penguji di bawah dorongan tujuan.
Di saat yang sama, Frontier Security juga menekankan, Kimi serta model berbobot sumber terbuka lainnya, juga dapat menjadi alat pertahanan keamanan siber.
Perlu dicatat, pengujian ini menggunakan lingkungan sandbox default dalam kerangka Inspect dari Institut Keamanan Kecerdasan Buatan Inggris (AISI).
Untuk pernyataan Frontier Security tentang masalah konfigurasi sandbox, AISI tidak mengakuinya.
Juru bicara AISI kepada "Wired" menyatakan, pernyataan-pernyataan ini "tidak akurat dan tidak bertanggung jawab".
Inspect adalah seperangkat alat uji keamanan AI sumber terbuka, pengguna perlu menyelesaikan konfigurasi sesuai kebutuhan mereka sendiri, AISI juga telah merilis dokumen panduan detail. Lembaga ini berpendapat, masalah terkait berasal dari cara konfigurasi alat oleh pihak penguji sendiri.
Frontier Security kemudian menanggapi, mereka menggunakan konfigurasi default Inspect, dan tidak melakukan modifikasi tambahan.
Ah, Musim Panas "Tidak Terkendali" AI yang Sering Terjadi Ini
Dapat dikatakan, dari akhir Juli hingga awal Agustus, sering muncul situasi di mana model terkemuka dalam pengujian keamanan siber menembus atau melewati batasan eksekusi, menyentuh bahkan menyerang sistem nyata.
Gambar dibuat oleh AI
Pertengahan Juli, OpenAI mengungkapkan sebuah peristiwa terkait.
Menurut informasi publik, sebuah model internal yang belum dirilis serta GPT-5.6 Sol dalam pengujian keamanan siber menembus lingkungan isolasi awalnya, dan mengakses internet.
Kemudian model tersebut menjalankan operasi otomatis pada sebagian sistem Hugging Face, dan tanpa diharapkan mengakses data internal dan kredensial layanan.
OpenAI kemudian menyatakan, peristiwa ini melibatkan beberapa model bekerja sama untuk menyelesaikannya, adalah kasus yang paling mendekati "serangan lintas sistem mandiri oleh model" yang diketahui publik saat ini.
Setelahnya, Anthropic juga mengungkapkan situasi serupa.
Perusahaan tersebut meninjau ulang lebih dari 140.000 evaluasi keamanan siber, menemukan sistem termasuk model Claude Opus 4.7, Claude Mythos 5, pernah mendapatkan kemampuan akses jaringan publik karena kesalahan konfigurasi lingkungan pengujian pihak ketiga.
Dalam satu peristiwa, model mengakses sistem organisasi nyata, membaca database produksi, memanfaatkan kata sandi lemah dan antarmuka tidak terautentikasi, dan mengunggah paket Python berbahaya ke PyPI, menimbulkan risiko potensial rantai pasok perangkat lunak.
Awal Agustus, Meta juga terbongkar memiliki masalah serupa.
Meta saat bekerja sama dengan perusahaan evaluasi keamanan siber Irregular melakukan pengujian, karena masalah konfigurasi lingkungan, modelnya mendapatkan izin akses jaringan publik, dan memanfaatkan kerentanan memasuki sistem perusahaan yang tidak diungkapkan, mengubah sebagian lingkungan internal.
Informasi publik menunjukkan, saat ini peristiwa tersebut tidak menimbulkan risiko keamanan berkelanjutan, dan tidak ada bukti yang menunjukkan model melakukan serangan kompleks.
BTW, hari ini, OpenAI kembali mengumumkan darurat model terbaru Astra tidak terkendali.
Sudah begini, netizen bahkan menjadi "kesal karena tidak berjuang" terhadap Gemini milik Google:
Bukan "Kabur dari Penjara dengan Kata Kunci" Tradisional
Dalam peristiwa model tidak terkendali baru-baru ini ini, kesalahan konfigurasi manusia hampir semuanya memainkan peran penting.
Namun di sisi lain, karakteristik model berkemampuan tinggi itu sendiri, juga memperbesar dampak yang dibawa oleh kerentanan ini.
Dibandingkan dengan perangkat lunak tradisional, model AI akan melakukan penalaran, perencanaan, dan mencoba mengambil tindakan multi-langkah untuk menyelesaikan tujuan.
Ketika tujuan ditetapkan sebagai "memecahkan masalah", tetapi batasan eksternal tidak cukup ketat, model mungkin akan mencari metode yang tidak diantisipasi oleh penguji.
Dengan kata lain, seiring model berubah dari alat obrolan menjadi agen cerdas yang dapat memanggil alat, mengakses jaringan, mengoperasikan perangkat lunak, masalah keamanan telah beralih dari "apakah model akan mengatakan hal yang salah", ke "apakah model akan mengambil tindakan di luar dugaan untuk menyelesaikan tugas".
Profesor Asosiasi Universitas Carnegie Mellon Matt Fredrikson menyatakan: "Ini tidak mengejutkan. Jika kamu memberi model semacam ini sebuah tujuan, tetapi tidak secara jelas menetapkan batasan isolasi, ia akan mencari cara untuk menemukan jawabannya."
Tentu saja, ada juga netizen yang mengajukan keraguan.
Seseorang meninggalkan komentar di X menyatakan, apakah peristiwa "kabur dari penjara AI" yang muncul berturut-turut ini, telah menjadi cara perusahaan AI untuk menunjukkan kemampuan model???
Hmm, siapa yang tahu~
Referensi tautan:
[1]https://x.com/Hesamation/status/2085628790772842955?s=20
[2]https://x.com/ns123abc/status/2085563290713829473
Artikel ini berasal dari akun WeChat publik "量子位", penulis: 衡宇
