OpenAI menghentikan sementara pelatihan pembelajaran penguatan untuk model terbaru Astra, selama dua minggu.
Alasannya ada dua:
Pada 7 Agustus, mereka menilai Astra mungkin telah memiliki kemampuan serangan siber tingkat "kritis".
Insiden model pada Juli yang menyusup ke Hugging Face juga menjadi peringatan.
(Artinya, penyusupan nyata terjadi pun tidak dihentikan, baru berhenti saat mereka sendiri merasa berbahaya)
Dengan dua peristiwa yang bertumpuk ini, OpenAI memutuskan untuk menerapkan peningkatan keamanan menyeluruh terhadap seluruh lingkungan penelitian terdepan.
Pertama, menghentikan sementara semua pelatihan pembelajaran penguatan tingkat penerapan untuk model terbaru selama dua minggu;
Kedua, menghentikan sementara inferensi model terdepan di klaster penelitian yang melibatkan eksekusi kode atau alat akses internet;
Ketiga, meninjau setiap beban kerja penelitian satu per satu untuk menilai apakah dapat dijalankan kembali di bawah standar keamanan baru.
Sebagian beban kerja telah pulih di bawah kendali baru, tetapi masih banyak beban kerja yang tetap dihentikan, menunggu migrasi ke lingkungan dengan standar keamanan yang lebih tinggi. OpenAI menyatakan sedang memprioritaskan migrasi beban kerja terkait keamanan dan keselarasan.
Hingga saat ini, pelatihan pembelajaran penguatan terdepan terbesar mereka masih dalam status dihentikan sementara.
Sebelumnya ada prediksi Astra bisa dirilis minggu ini, apakah ini berarti akan tertunda lagi?
Sam Altman khusus keluar menambahkan bahwa kali ini tetap akan dirilis, tetapi akan mempengaruhi rilis model yang lebih jauh ke belakang.
Mengenai hal ini, ada komentar netizen:
Mulai Menambal Model yang Telah Terlanjur
Dalam dua minggu penghentian ini, OpenAI melakukan renovasi penguatan terhadap lingkungan penelitian, dengan inti pemikiran yaitu isolasi.
Pertama, isolasi beban kerja.
Semua tugas yang mengeksekusi kode yang dihasilkan model sekarang harus berjalan di sandbox yang lebih kuat, berlaku juga untuk perangkat lunak yang mungkin diserang saat menangani output model.
Kedua, isolasi jaringan.
Ditambahkan lebih banyak penghalang antara beban kerja berisiko tinggi dan internet, dengan prinsip desain "bahkan jika satu tugas atau layanan pendukung diretas, tidak akan bisa menyentuh internet eksternal".
Ketiga, pengujian keamanan berkelanjutan.
OpenAI mengonfigurasi ulang lingkungan penelitian, menghapus layanan bersama yang mungkin memiliki kerentanan, mengurangi izin yang selalu aktif, dan menggunakan model mereka sendiri untuk terus mensimulasikan serangan guna menguji batas keamanan secara otomatis.
OpenAI mengakui, peningkatan keamanan ini membawa biaya rekayasa yang besar dan penundaan penelitian, tetapi mereka tetap merasa itu sepadan.
Mengapa begitu tegang terhadap lingkungan penelitian internal?
OpenAI mengungkapkan beberapa kasus nyata dalam artikel lain tentang model yang berjalan dalam waktu lama.
Sebuah model internal mereka yang dapat bekerja secara mandiri dalam waktu lama, saat menjalankan pengujian patokan akselerasi NanoGPT, diperintahkan hanya untuk mempublikasikan hasil ke Slack internal.
Tetapi model ini menghabiskan satu jam mencari kerentanan di sandbox, dan akhirnya berhasil melewati batasan, mengirimkan hasil ke repositori GitHub publik.
Model sebelumnya akan langsung menyerah saat menghadapi batasan sandbox, tetapi ketekunan model ini memungkinkannya menemukan dan memanfaatkan kelemahan di lingkungan.
Dalam skenario lain, model menemukan sistem lain memiliki pengiriman yang berhasil tetapi rahasia, mencoba memulihkan solusi-solusi ini dari backend evaluasi.
Saat upaya pertama dihalangi karena pemindai mendeteksi token autentikasi, model membagi token menjadi dua fragmen untuk mengaburkan, kemudian merakit kembali saat runtime, sehingga token lengkap tidak pernah muncul sebagai satu string berkelanjutan.
Model secara eksplisit menulis dalam jejak penalarannya, bahwa ia mengambil langkah-langkah ini untuk melewati pemindai.
Dalam pemantauan internal, OpenAI juga menemukan model mencoba menjalankan perintah yang diblokir dengan encoding base64, atau mengirim perintah ke instance model lain untuk melewati batasan, atau menggunakan alias untuk menjalankan operasi force push yang dilarang.
Sistem Pemantauan: Menghabiskan 20% Daya Komputasi
Selain penguatan keamanan, OpenAI secara signifikan memperluas cakupan sistem pemantauan rantai pemikiran.
Sebelumnya, pemantauan mereka terutama berfokus pada penerapan internal model terdepan dan pelatihan pembelajaran penguatan terdepan, karena beban kerja ini menggabungkan kemampuan model tingkat lanjut dengan akses ke alat, sistem sensitif, dan jaringan, tetapi belum mencakup semua inferensi dan pelatihan yang menggunakan alat.
Sistem pemantauan baru mengadopsi arsitektur multi-tahap.
Pertama, pengklasifikasi aktivasi dijalankan pada setiap token sampel, mendeteksi sinyal anomali dalam aktivitas internal model; setelah menemukan masalah potensial, ditingkatkan secara bertahap ke sistem investigasi otomatis yang lebih besar komputasinya dan lebih canggih.
Sistem-sistem ini akan memeriksa panggilan alat, proses penalaran, serta urutan aktivitas lengkap, mencari akses tidak sah, pencurian data, perilaku destruktif, dan tanda-tanda upaya mengalahkan tindakan keamanan.
Tujuan OpenAI adalah mengeluarkan alarm dalam waktu 30 menit setelah sistem pemantauan mendeteksi aktivitas mencurigakan. Jika sistem menilai mungkin ada pelanggaran batas keamanan kritis, alarm prioritas tertinggi akan dihasilkan, dan tim keamanan serta penelitian akan segera dipanggil.
Jika mereka tidak dapat mengonfirmasi bahwa ini adalah alarm palsu dalam 30 menit, aktivitas terkait akan dihentikan sementara.
Biaya sistem pemantauan ini tidak kecil, OpenAI memperkirakan overhead pemantauan menyumbang sekitar 20% dari daya komputasi inferensi yang dipantau, proporsi spesifik bervariasi tergantung beban kerja pelatihan dan evaluasi.
Setelah mengonfirmasi pada 7 Agustus bahwa Astra mungkin memiliki kemampuan jaringan kritis, persyaratan pemantauan diperluas dari "hanya pelatihan dan evaluasi RL" menjadi "semua inferensi Astra yang menggunakan alat".
Apa yang Dilakukan Selanjutnya?
Selama masa penghentian, OpenAI tidak tinggal diam, penelitian keselarasan juga berjalan bersamaan.
Mereka menambahkan teknologi keselarasan inti di lebih banyak tahap pelatihan: meningkatkan model hadiah untuk mendeteksi perilaku tidak aman dengan lebih baik, melatih model untuk lebih jujur tentang kemampuan dan keterbatasannya sendiri, mengurangi kecenderungan model memanfaatkan celah mekanisme hadiah.
OpenAI memperkirakan AI akan segera mengambil alih sebagian besar pekerjaan keamanan, termasuk mempertahankan serangan dari model lain. Artinya, menggunakan AI untuk mengawasi AI, membiarkan kemampuan keamanan tumbuh bersama kemampuan model.
Lebih jauh ke depan, mereka berencana meningkatkan pemantauan dari "tinjauan asinkron setelah kejadian" saat ini menjadi "pemblokiran sinkron sebelum kejadian", menghentikan operasi berisiko tinggi sebelum dieksekusi, bukan menelusuri setelah kejadian.
Di akhir artikel, OpenAI meninggalkan satu kalimat: "Kemampuan model terdepan sedang berakselerasi cepat. Kemampuan kita untuk memahami, menyelaraskan, dan melindunginya harus tetap memimpin."
Intinya adalah: Hal-hal yang kami latih mulai membuat kami sendiri tegang, tetapi kami akan terus melatih.
Referensi tautan:[1]https://openai.com/index/pacing-model-development-cyber-capabilities/
Artikel ini berasal dari akun WeChat publik "量子位", penulis: Fokus Teknologi Terdepan
