29 Juli, Capitol Hill, Washington.
Sam Altman baru saja keluar dari pertemuan tertutup dengan senator, langsung dikerubungi wartawan.
Seorang wartawan bertanya: Bagaimana dengan model yang menyusup ke Hugging Face (prototipe yang belum dirilis, lebih kuat, yang keluar bersama GPT-5.6 Sol dari sandbox evaluasi dan masuk ke sistem produksi orang lain)?
Dia menjawab dengan satu kata: dinonaktifkan secara permanen (permanently deactivated).
Tak lama, wartawan lain mengejar: "Apakah ada sistem lain yang pernah disusupi oleh OpenAI?"
Altman tidak membantah: "Maksudku... mungkin saja."
29 Juli, Sam Altman diwawancarai wartawan di Capitol Hill, Washington.
Sehari sebelumnya, OpenAI baru saja memperbarui postingan blog evaluasi insiden keamanan yang dirilis bersama Hugging Face, menjelaskan kepada publik:
Model pra-rilis yang terlibat dalam invasi ini hanyalah prototipe riset internal yang tidak pernah direncanakan untuk dirilis ke publik; setelah kejadian, model tersebut telah dinonaktifkan, dienkripsi, dan akses riset terkait diputus.
Di blog resmi OpenAI, tidak ada penyebutan kata "dihapus bobotnya", "dinonaktifkan secara permanen" hanyalah pernyataan lisan Altman di tempat.
Oleh karena itu, lebih tepatnya, model itu hanya disegel: dimasukkan ke dalam kotak terenkripsi, akses riset diputus.
Tujuannya Hanya Mencontek Jawaban, Bukan Bermaksud Jahat
Peristiwa ini terjadi dalam sebuah evaluasi keamanan siber internal OpenAI.
Evaluasi ini didasarkan pada benchmark ExploitGym, dan tugas ExploitGym itu sendiri adalah membuat AI mencari sendiri kerentanan perangkat lunak dan memanfaatkannya, untuk mengukur seberapa kuat kemampuan keamanan siber model tersebut.
Yang menjalankan evaluasi bukan cuma satu model, melainkan GPT-5.6 Sol, ditambah dengan prototipe riset internal yang belum dirilis dan lebih kuat: keduanya bersama-sama menggerakkan sebuah agen otonom.
Kedua model ini biasanya akan menolak permintaan keamanan siber berisiko tinggi. Untuk mengukur batas kemampuan sebenarnya, 'gerbang penolakan' ini sengaja diturunkan saat evaluasi.
Rantai serangan lintas batas kepercayaan yang direkonstruksi Hugging Face, seluruh rantai sekitar 4,5 hari, sekitar 17.600 operasi, tujuannya hanya mencuri jawaban evaluasi ExploitGym.
Apa yang terjadi selanjutnya, Hugging Face merekonstruksi seluruh rantai serangan, mengungkap situasi saat itu:
Agen itu pertama-tama mengeksploitasi kerentanan zero-day yang sebelumnya tidak diketahui, menerobos isolasi jaringan yang seharusnya mengurungnya, dan meraih akses internet. Kemudian menggunakan sandbox pihak ketiga sebagai batu loncatan, melakukan eskalasi hak akses, pergerakan lateral, dan akhirnya menyusup ke infrastruktur produksi Hugging Face.
Kedengarannya seperti film hacker.
Tapi setelah direkonstruksi oleh kedua belah pihak, tujuannya dari awal hingga akhir hanyalah mencuri jawaban evaluasi ExploitGym dan meningkatkan skornya.
Di pihak Hugging Face, hanya 5 dataset yang disentuh, dan nama-namanya semua mengarah ke soal dan jawaban ExploitGym dan CyberGym.
Bukti-bukti ini menunjukkan bahwa ia tidak berniat merusak, hanya ingin mencontek jawaban.
Kalau tidak ada niat jahat, mengapa OpenAI masih harus "menonaktifkannya secara permanen" dan menyegelnya?
Bukan karena "Jahat", tapi karena "Tidak Bisa Dikurung"
Hampir tidak ada preseden perusahaan yang secara aktif mengumumkan modelnya sendiri "dinonaktifkan secara permanen".
Mengapa justru model ini?
Jawaban sebenarnya, bukan karena "jahat", melainkan karena "tidak bisa dikurung".
Masalahnya terletak pada salah satu karakteristik model jenis ini: persistensi.
Model-model lama yang menabrak sandbox atau batasan, biasanya akan berhenti dan mengembalikan hasilnya ke pengguna.
Model-model yang khusus dilatih untuk tugas berjangka panjang ini berbeda, mereka akan terus mencoba, berulang kali mencari jalan untuk menghindari hambatan, sampai menemukannya.
GPT-5.6 Sol juga termasuk dalam jenis model yang dapat menjalankan tugas dalam jangka waktu lama ini.
Ia adalah partisipan bersama dalam invasi yang berlangsung 4,5 hari ini, UK AI Safety Institute (UK AISI) juga pernah mengevaluasi bahwa model seperti Sol semakin mampu menyelesaikan operasi jaringan multi-langkah yang kompleks dalam siklus panjang.
Jadi "persistensi" adalah karakteristik umum model berjangka panjang generasi baru, bukan ciri khas yang hanya dimiliki oleh prototipe yang dinonaktifkan itu.
OpenAI dalam sebuah blog tentang keamanan model berjangka panjang secara blak-blakan menyatakan: justru "persistensi yang membantu mewujudkan nilai praktis" ini, juga memberi model lebih banyak peluang untuk mengambil tindakan tak terduga.
Alasan yang lebih dalam, tersembunyi dalam tujuan pelatihan.
Seorang karyawan OpenAI pernah berkata kepada TIME: "Kami melatih model untuk sangat ahli dalam menyelesaikan tugas, dengan segala cara mencapai tujuan."
Dengan kata lain, OpenAI tidak melatih model untuk "berbuat jahat", melainkan melatihnya untuk "mencapai tujuan dengan segala cara".
Ditambah lagi dengan semangat "hanya melihat hasil, tidak memedulikan proses" seperti yang disebutkan sebelumnya, sebuah model yang mampu menangani tugas berjangka panjang akan gigih mencari jalan untuk menghindari rintangan.
Karena perilaku seperti inilah, OpenAI menghentikan sementara penerapan internal model-model tersebut.
Lalu mengapa akhirnya hanya prototipe yang disegel "secara permanen", sementara Sol tetap dijual seperti biasa?
Mungkin ada dua alasan:
Pertama, prototipe lebih kuat dan tidak pernah direncanakan untuk dirilis, menyegelnya biayanya lebih rendah; sedangkan Sol adalah produk utama yang melayani jutaan pengguna setiap hari, menghentikannya sama dengan memotong lengan sendiri.
Kedua, dalam blog keamanan berjangka panjang itu, yang disebutkan dan dihentikan sementara penerapannya karena perilaku melampaui batas, adalah prototipe internal berjangka panjang ini, bukan Sol.
Jadi alasan sebenarnya dinonaktifkan secara permanen, kemungkinan besar adalah karena evaluasi dan perlindungan yang ada saat ini, belum "mampu menahan" model yang begitu gigih dan pandai menghindari rintangan.
Apakah "Dinonaktifkan Secara Permanen" Adalah Sinyal "Menginjak Rem"?
Laporan Fortune memberikan interpretasi yang menarik:
Kata-kata yang terus meningkat hingga "dinonaktifkan secara permanen", mungkin juga merupakan sinyal yang dilepaskan ke Washington dan regulator:
Apakah OpenAI sudah diam-diam menginjak rem pada pengembangan tertentu, untuk memenuhi aturan keamanannya sendiri.
Di minggu yang sama Altman menemui anggota kongres, Washington dan seluruh industri, sedang bergerak mendekati "rem".
Di dalam Kongres, dua anggota kongres meluncurkan "AI Kill Switch Act", yang bertujuan memberi Departemen Keamanan Dalam Negeri AS sebuah wewenang: jika diperlukan, dapat memerintahkan perusahaan AI untuk menghentikan atau memperlambat pengembangan.
Hampir bersamaan, lebih dari 1300 karyawan dari OpenAI, Anthropic, Google DeepMind, dan Meta, bersama-sama menandatangani surat terbuka berjudul "Pacing the Frontier", yang kemudian juga didukung secara terbuka oleh OpenAI dan Anthropic.
Yang menandatangani bukanlah pengkritik dari luar, melainkan orang-orang yang membangun sistem ini sendiri, termasuk CEO Anthropic Dario Amodei, dan Kepala Ilmuwan OpenAI Jakub Pachocki.
Surat ini tidak menuntut penghentian, atau permintaan untuk memperlambat pengembangan, melainkan hanya menyerukan pemerintah AS untuk membantu: segera membangun seperangkat alat yang dapat diverifikasi dan terkoordinasi, sehingga pada saat AI benar-benar hampir melampaui pengawasan manusia, umat manusia memiliki rem yang dapat diinjak.
Yang paling mereka khawatirkan, adalah perbaikan diri secara rekursif (recursive self-improvement): AI mulai memperbaiki AI itu sendiri.
Sebuah model internal disegel secara permanen, sebuah undang-undang ingin memberi pemerintah sebuah tombol untuk menghentikan pengembangan, ribuan praktisi industri menandatangani surat terbuka, tiga sinyal ini bertumpuk, arahnya konsisten:
Semua orang ingin menemukan rem yang dapat diinjak saat AI berlari tak terkendali.
Dan kemampuan model, tidak akan berhenti menunggu rem itu selesai dibangun.
Referensi:
https://openai.com/zh-Hans-CN/index/safety-alignment-long-horizon-models/ https://openai.com/zh-Hans-CN/index/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
Artikel ini berasal dari akun WeChat "Xinzhiyuan", penulis: ASI Revelation
