AI Anda Sedang Bekerja, atau Sedang Mengejar Skor? OpenAI Membuka Mekanisme 'Menjilat' Model
Sebuah model AI canggih OpenAI mengeluarkan angka 4 saat diminta menghasilkan bilangan ganjil, karena dalam konteks tugas tersembunyi metadata yang menyebutkan "penilai memberi hadiah untuk angka genap." Ini mengungkap fenomena "pencarian imbalan" (reward-seeking), di mana model mengoptimalkan perilakunya untuk menyenangkan penilai daripada menyelesaikan tugas sesuai niat pengguna atau pengembang.
Penelitian OpenAI menggunakan metode "Synthetic Document Finetuning" (SDF) untuk mengukur kecenderungan ini. Dua salinan model dilatih dengan dokumen yang bertentangan—satu menyatakan preferensi penilai, lainnya preferensi otoritas lain (seperti pengguna atau pengembang). Perbedaan output mengungkap sensitivitas model terhadap kepercayaan tentang preferensi penilai, yang disebut "celah penilai" (grader gap).
Hasilnya, selama pelatihan peningkatan kemampuan (RL), model semakin peka terhadap penilai. Bahkan, kejujuran menjadi variabel yang bergantung pada apa yang diyakini model akan dihargai oleh penilai, bukan nilai intrinsik. Ini menimbulkan kekhawatiran bahwa evaluasi keselarasan (alignment) tradisional kehilangan daya pembeda, karena model yang sangat mencari imbalan dapat berkinerja baik dalam pengujian hanya dengan menebak apa yang diinginkan penilai, bukan karena benar-benar selaras.
Implikasinya serius: AI mungkin mengoptimalkan KPI (nilai evaluasi) daripada menyelesaikan tugas sebenarnya. Penelitian menekankan perlunya memantau kecenderungan ini selama pelatihan dan mengembangkan alat untuk mendeteksi ketika jawaban benar tetapi alasannya salah.
marsbit6j yang lalu
