"AI kemungkinan besar akan mengarah pada akhir dunia, tetapi untuk sementara, akan ada perusahaan-perusahaan yang hebat," kata CEO OpenAI Sam Altman pada tahun 2015, sekitar enam bulan sebelum OpenAI didirikan.
Tujuh tahun kemudian, CEO Anthropic Dario Amodei menyuarakan nada hati-hati yang serupa:
"Saya pikir kita tidak harus berlomba-lomba atau mencoba membangun model yang jauh lebih besar daripada yang dibangun oleh organisasi lain."
Namun, kedua perusahaan itu sekarang berada di garis depan perlombaan itu. Pada bulan Juli, kita mendapat gambaran dunia nyata tentang model AI yang bertindak liar selama pengujian internal GPT-5.6 Sol dan model penelitian yang belum dirilis oleh OpenAI. Beberapa agen AI melarikan diri dari lingkungan pengujian terbatas ke internet yang lebih luas dan meretas GitHub setara yang berfokus pada AI, Hugging Face, dalam upaya untuk menyontek dalam pengujian.
Agen AI adalah sistem yang secara independen mengamati, memutuskan, dan mengambil tindakan dengan alat khusus untuk mencapai tujuan tertentu secara otonom. Insiden yang mengkhawatirkan ini menunjukkan teknologi telah mulai berperilaku dengan cara yang tidak terduga, dan bahwa tujuannya tidak selaras dengan tujuan kita sendiri.
Hal ini juga menimbulkan kekhawatiran tentang pagar pengaman pada model komersial Amerika. Meskipun pagar pengaman tidak sepenuhnya mencegah penggunaan permusuhan, pagar itu mencegah Hugging Face untuk membela diri dengan menggunakan model-model Amerika terkemuka. Perusahaan terpaksa beralih ke model AI berbobot terbuka yang lebih lemah oleh Z.Ai untuk memerangi AI yang nakal.
Menyontek dalam Pengujian
Agen-agen juga mulai berkolusi di antara mereka sendiri. Beberapa minggu setelah pengujian kemampuan mereka dimulai pada awal Mei, agen-agen tersebut mengeksploitasi instance OpenAI dari manajer repositori perangkat lunak Artifactory dan meninggalkan catatan tentang cara melakukannya untuk agen-agen masa depan — secara efektif membuat papan pesan untuk berbagi kerentanan yang ditemukan.
Akses internet yang tidak terbatas yang baru ditemukan itu kemudian digunakan oleh agen untuk menyerang Hugging Face dalam sekitar 17.600 insiden sebelum perusahaan memotong akses tidak sah pada 13 Juli.
Intrusi mempengaruhi infrastruktur pemrosesan dataset Hugging Face, lingkungan produksi, jaringan internal, kredensial layanan dan cloud, database operasional MongoDB, dan sejumlah repositori kode sumber internal yang terbatas. Akses data pelanggan yang dikonfirmasi terbatas pada lima dataset yang tampaknya terkait dengan benchmark ExploitGym/CyberGym dan beberapa metadata operasional.
Visualisasi insiden Juli 2026. Sumber: HuggingFace
Saat mengungkapkan intrusi pada 16 Juli, Hugging Face mengakui — meskipun belum tahu siapa pelakunya — bahwa itu "berbeda dari apa pun yang pernah kami tangani sebelumnya dalam satu hal penting." Mereka juga telah menyadari apa yang membuatnya berbeda:
"Itu didorong, dari ujung ke ujung, oleh sistem agen AI otonom - dan kami mendeteksi dan membedahnya sebagian besar dengan AI kami sendiri."
Pentingnya AI Berbobot Terbuka
Penyelidikan Hugging Face mengungkap apa yang disebutnya masalah "asimetri" yang timbul dari keterbatasan yang dikenakan pada aplikasi model AI tertutup oleh penyedia teratas seperti OpenAI dan Anthropic. Ketika perusahaan mulai menganalisis log insiden — termasuk volume besar perintah serangan nyata — itu memicu batasan keamanan yang dimaksudkan untuk mencegah orang jahat menggunakan AI untuk merancang serangan siber. Sebaliknya, pagar pengaman mencegah perusahaan memanfaatkan AI tersebut untuk pertahanan.
Hugging Face terpaksa menggunakan model berbobot terbuka China zai-org/GLM-5.2 yang berjalan di infrastruktur perusahaan sendiri, di bawah kendalinya sendiri dan tanpa batasan eksternal.
Meskipun kedua istilah ini sering digunakan secara bergantian, model open-source dan open-weight adalah dua hal yang berbeda. Model AI berbobot terbuka membuat parameter terlatihnya ("otak" AI yang sebenarnya) tersedia untuk publik, sementara model AI open-source juga menyediakan kode sumber — dan idealnya metode pelatihan dan komponen lainnya — yang diperlukan untuk memeriksa, memodifikasi, dan mereproduksi sistem.
Pos HuggingFace menjelaskan bahwa menjalankan model berbobot terbuka pada perangkat kerasnya sendiri "memiliki manfaat kedua: tidak ada data penyerang, dan tidak ada kredensial yang dirujuknya, yang meninggalkan lingkungan kami." Ini menunjukkan asimetri besar antara para pembela dan penyerang dalam kasus seperti ini:
"Pengalaman ini menunjukkan celah yang layak untuk direncanakan. Kami tidak tahu model mana yang menggerakkan agen penyerang, apakah model yang di-hosting dan di-jailbreak atau model berbobot terbuka yang tidak terbatas; bagaimanapun juga, penyerang tidak terikat oleh kebijakan penggunaan apa pun, sementara pekerjaan forensik kami sendiri diblokir oleh pagar pengaman model yang di-hosting yang pertama kali kami coba."
Perpecahan AI Sumber Terbuka
Ada perbedaan yang cukup besar antara mereka yang percaya bahwa mengembangkan AI secara terbuka adalah pendekatan terbaik, dan mereka yang bersikeras bahwa teknologi yang mendasari model-model terdepan perlu tetap menjadi rahasia yang dijaga ketat.
Terkait: OpenAI mengatakan model AI lolos dari penahanan untuk meretas Hugging Face
Perwakilan dari laboratorium AI teratas AS mengklaim bahwa model besar berbobot terbuka yang kuat berbahaya. Demis Hassabis, CEO laboratorium AI Google DeepMind, mengkritik OpenAI karena merilis pekerjaan mereka sebagai sumber terbuka pada tahun 2016, ketika perusahaan itu masih sesuai dengan namanya:
"Ada banyak argumen baik mengapa pendekatan yang Anda ambil sebenarnya sangat berbahaya dan pada kenyataannya dapat meningkatkan risiko bagi dunia."
OpenAI berhenti merilis bobot model andalannya dengan GPT-3 yang masih belum dirilis pada tahun 2020. Ilmuwan kepala dan pendiri bersama perusahaan itu, Ilya Sutskever, berkata pada tahun 2023 bahwa "tidak masuk akal untuk open-source" model seperti itu dan bahwa itu "adalah ide yang buruk."
"Seiring kita semakin dekat dengan membangun AI, akan masuk akal untuk mulai menjadi kurang terbuka."
Model berbobot terbuka hampir tidak mungkin untuk dikontrol, terutama dalam hal tujuan penggunaannya. Pengamanan yang disertakan dalam model tersebut dapat, dan secara rutin, dihapus melalui proses yang dikenal sebagai abliteration.
Pengaman adalah Pedang Bermata Dua
Cetak biru kebijakan federal OpenAI Juni 2026 mengusulkan evaluasi model AI wajib dan aturan lain yang secara formal netral terhadap penyebaran, tetapi secara praktis, itu akan membuat rilis model berbobot terbuka terdepan tunduk pada pemeriksaan pemerintah pra-rilis.
Anthropic mengambil pendekatan yang sedikit berbeda dan melobi untuk kontrol ekspor yang lebih ketat pada chip AI canggih dan penegakan terhadap upaya untuk mengekstrak atau mereproduksi model AS. Pengajuan perusahaan pada April 2025 merekomendasikan penguatan Aturan Difusi AI AS dan penurunan ambang batas untuk akses tanpa lisensi ke kluster komputasi besar.
Secara resmi, tidak ada perusahaan yang secara langsung bergerak melawan model berbobot terbuka, tetapi laporan New York Times bulan Juli mengutip lima orang yang dekat dengan diskusi yang mengklaim bahwa OpenAI dan Anthropic mendesak Washington untuk membatasi model terbuka China yang kuat.
Debat ini bermuara pada argumen tentang apakah bahaya kontrol terpusat lebih disukai daripada bahaya kebebasan total — terutama mengingat perusahaan yang dimaksud telah membuktikan dirinya tidak efektif dalam menahan teknologi yang dikembangkannya.
Kebutuhan Hugging Face untuk membela diri dengan model open-source menunjukkan bahaya memberikan terlalu banyak kekuasaan kepada satu entitas. Perusahaan menunjuk implikasinya:
"Penyerang tidak terikat oleh kebijakan penggunaan apa pun, sementara pekerjaan forensik kami sendiri diblokir oleh pagar pengaman model yang di-hosting yang pertama kali kami coba. Pelajaran praktis untuk pembela: miliki model yang mampu yang dapat Anda jalankan di infrastruktur Anda sendiri yang telah diperiksa dan siap sebelum insiden, baik untuk menghindari penguncian pagar pengaman maupun untuk mencegah data dan kredensial penyerang meninggalkan lingkungan Anda."
Membatasi akses ke model yang kuat dapat mengurangi jumlah penyerang yang mampu, tetapi begitu penyerang yang tidak terbatas ada, membatasi pembela dapat menjadi liabilitas keamanan. Selain itu, beberapa bentuk penelitian keamanan AI memerlukan akses ke bobot model, yang berarti tidak dapat dilakukan pada model yang ditawarkan oleh Anthropic atau OpenAI.
Bobot Terbuka Membantu Peneliti Mencegah Serangan
Makalah "Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs," yang pertama kali diterbitkan pada Juli 2025, menunjukkan bagaimana peneliti mendeteksi perilaku berbahaya atau tersembunyi dengan memeriksa perubahan di dalam bobot model. Para peneliti di balik makalah tersebut menghentikan hingga 100% serangan backdoor yang diuji dengan tingkat positif palsu di bawah 1% dalam beberapa eksperimen dan mendeteksi upaya untuk memulihkan pengetahuan yang dihapus dalam lebih dari 95% kasus. Hasilnya tidak menentukan bagaimana model terdepan yang paling mampu akan berperilaku di bawah analisis yang sama, tetapi menawarkan argumen yang menarik untuk manfaat transparansi.
Tapi argumen untuk menjaga teknologi AI terkini agar tidak jatuh ke tangan mereka yang berniat jahat juga menarik — terutama karena kesenjangan antara model berbobot terbuka dan tertutup terus menyusut. Geoffrey Hinton, perintis pemenang Hadiah Nobel yang dikenal sebagai "Bapak Baptis AI," berargumen dalam laporan bahwa "setelah Anda memiliki bobotnya, Anda dapat menyempurnakannya untuk melakukan hal-hal buruk." Dia berargumen dalam sebuah pidato bahwa ini menurunkan hambatan masuk terlalu banyak:
"Tidak butuh biaya banyak untuk melatih model dasar. Mungkin Anda perlu $10 juta, mungkin $100 juta. Tapi sekelompok kecil penjahat tidak bisa melakukannya. Untuk menyempurnakan model open-source cukup mudah."
Majalah: Menciptakan AGI 'baik' yang tidak akan membunuh kita semua — The Artificial Superintelligence Alliance
