Zaman sekarang, prompt engineering bisa terbit di ICML juga???
Belakangan ini, seorang netizen membagikan sebuah makalah yang baru diterima di ICML 2026 ke Reddit, dan postingannya langsung viral, komentar melonjak drastis.
Tapi semua orang kebingungan: Ini bisa diterima?
Tidak mengajukan algoritma optimasi baru apa pun, juga tidak melatih model besar baru, penulis hanya melakukan satu hal——
Mengubah Prompt.
Makalah ini mengusulkan metode bernama Verbalized Sampling (VS), yang hanya dengan menyesuaikan prompt, dapat secara signifikan meningkatkan keragaman output model besar, meredakan masalah Mode Collapse (keruntuhan mode) yang telah lama mengganggu LLM.
Kedengarannya cukup bernilai praktis, tetapi apakah pantas sebuah trik Prompt saja bisa masuk konferensi puncak?
Kalau begitu, mari kita lihat dulu makalahnya, baru ambil kesimpulan.
Sebuah Makalah ICML yang Sangat Kontroversial
Coba tanya, apakah Anda pernah merasa, AI semakin seragam.
Tanyakan padanya sepuluh kali "buatkan saya sebuah lelucon", jawaban yang didapat sering kali sangat mirip. Dan bukan hanya tugas kreatif, menjawab pertanyaan juga begitu, pembuatan kode juga begitu......
Fenomena ini, di dunia akademis disebut secara kolektif sebagai Mode Collapse (Keruntuhan Mode).
Sederhananya, model semakin suka mengeluarkan jawaban klasik yang paling aman dan memiliki probabilitas tertinggi, sebaliknya menolak ide-ide kreatif yang berbeda.
Dulu untuk menyelesaikan masalah model ini, kebanyakan peneliti akan terlebih dahulu memikirkan menyesuaikan parameter sampling, mengubah algoritma dekode, melatih ulang, dll. Tetapi makalah ini mengambil pendekatan berbeda, langsung meminta model untuk mengeluarkan proses sampling-nya sendiri juga.
Sebagai contoh, masih tentang bercerita lelucon tadi, di sini penulis akan mengubah prompt, meminta model:
Hasilkan 5 lelucon, sekaligus berikan nilai probabilitas yang mungkin untuk setiap lelucon.
Kemudian model dapat menghasilkan jawaban yang lebih beragam dan lebih sedikit pengulangan.
Kedengarannya sangat sederhana, bukan? Faktanya inilah kontribusi inti makalah ini——metode Verbalized Sampling. Bahkan fine-tuning pun tidak diperlukan, hanya dengan mengganti cara bertanya, dapat secara besar meningkatkan keragaman konten.
Tetapi dalam makalahnya, penulis juga memberikan proses argumentasi yang ketat.
Pertama yang dijawab adalah penyebab mendasar mengapa model menjadi seragam.
Dulu dunia akademis menyalahkan masalah ini pada level algoritma, misalnya model reward tidak cukup baik, pengaturan penalti KL tidak cukup rasional. Makalah ini menyelidiki lebih dalam, berpendapat bahwa akar penyakit sebenarnya terletak pada data preferensi itu sendiri.
Mereka mengusulkan konsep bernama Bias Tipikalitas, dari sudut pandang psikologi kognitif, anotator manusia secara alami lebih menyukai teks yang familiar, lancar, dan konvensional, saat memberikan skor akan secara alami memberikan nilai lebih tinggi pada jawaban yang stereotip dan populer.
Jadi bahkan jika model reward dan algoritma optimasi dibuat sempurna, selama data preferensi manusia yang digunakan untuk pelatihan membawa bias tipikalitas bawaan, model setelah alignment tetap akan mengalami mode collapse.
Mengenai hal ini, penulis menguji berulang kali pada lima dataset preferensi dan model dasar yang berbeda, kesimpulannya tetap konsisten.
Setelah memahami lapisan ini, penulis berpendapat karena masalahnya tertanam dalam data pelatihan, maka hanya perlu mempertimbangkan merancang skema prompt pada tahap inferensi untuk mengoreksi, yaitu dalam Prompt meminta model mengeluarkan distribusi probabilitas lengkap, sehingga dapat membangkitkan kembali distribusi output yang beragam yang sebenarnya dimiliki model pada tahap pra-pelatihan, menemukan kembali keragaman.
Sisanya adalah menjalankan metode ini di berbagai skenario eksperimen, hasil menunjukkan, dalam tugas penulisan kreatif, keragamannya 1,6~2,1 kali lipat dari prompt biasa, sekaligus juga tidak mengurangi akurasi fakta konten dan tingkat keamanan model.
Dan semakin kuat kemampuan model, semakin besar parameter, efek peningkatan keragaman yang dibawa VS semakin jelas.
Jadi memang benar metode akhir yang diberikan makalah ini sederhana, tapi ICML tetap Pass dan setuju.
Warganet Reddit Ribut Berdebat
Tapi di bawah postingan asli, evaluasi terhadap makalah ini agak terpolarisasi.
Banyak netizen menyatakan, dulu ICML adalah model baru, algoritma baru, teori baru, inovasi hardcore seperti itu, hanya melakukan Prompt, optimasi alur inferensi belum bisa dianggap sebagai penelitian machine learning yang sesungguhnya.
Dibandingkan dengan itu, inovasi pekerjaan ini agak tipis, juga ada beberapa masalah:
Pertama, metode serupa menulis instruksi juga bukan orisinal, bahkan ada yang mengatakan dirinya kemarin sudah menulis Prompt seperti ini; Kedua, teori tidak mudah diverifikasi, karena Prompt mungkin berganti model bisa gagal, tidak stabil seperti algoritma; Ketiga, skala eksperimen terbatas, tidak cukup untuk membuktikan ini adalah hukum yang universal.
Ada juga netizen yang secara langsung menganalogikan kondisi saat ini di bidang machine learning dengan krisis akademis di dunia psikologi belasan tahun lalu.
Saat itu banyak peneliti dasar statistik lemah, menyalahgunakan alat statistik, menyebabkan kesimpulan banyak makalah tidak dapat direproduksi, industri mengalami krisis kepercayaan parah, sedangkan industri machine learning sekarang juga sangat bergantung pada eksperimen empiris, mengabaikan dukungan teori yang ketat.
Industri yang kompetitif mengejar metode baru, tetapi secara umum ada budaya over-tuning, benchmark chasing. Banyak algoritma inovatif yang disebut-sebut, dibandingkan dengan model baseline matang hampir tidak memiliki nilai praktis implementasi, hanya mengandalkan peningkatan indikator kecil dibungkus sebagai hasil inovasi.
Secara esensial, semuanya adalah masalah publikasi makalah yang disebabkan oleh ekspansi disiplin ilmu yang cepat, namun norma praktisi tidak jelas.
Tapi pendukung berpendapat, penelitian ilmiah bukanlah adu siapa metodenya lebih rumit, selama hipotesis jelas, eksperimen memadai, hasil stabil dan dapat direproduksi, juga bisa dianggap sebagai penelitian yang bagus.
Misalnya makalah ini, dia menjelaskan dengan baik apa itu mode collapse, dan mengajukan bahwa masalah sebenarnya terletak pada preferensi tipikalitas, pandangan ini lebih penting daripada Prompt itu sendiri.
Salah satu penulis sendiri juga membalas di kolom komentar, menyatakan bahwa makalah ini terlihat sederhana, tetapi sebenarnya mengandung banyak sekali proses penanganan yang kompleks.
Seluruh pekerjaan ini mencakup pelacakan masalah lengkap, atribusi teori baru, derivasi matematika, eksperimen kuantitatif multi-dimensi, bukan pekerjaan asal mengutak-atik prompt.
Banyak orang juga menyebutkan Chain-of-Thought (CoT). Ketika CoT pertama kali muncul, esensinya juga hanyalah sebuah Prompt:
Mari kita berpikir langkah demi langkah.
Tapi sekarang hampir semua metode reasoning, dapat ditelusuri kembali ke CoT, ini justru menunjukkan, prompt engineering sudah bukan sekadar menulis prompt, dia sedang menjadi metode baru untuk meneliti perilaku model.
Belasan tahun terakhir, penelitian machine learning hampir semuanya berkisar pada pelatihan, tetapi sekarang beberapa teknik penggunaan di tahap inferensi juga perlahan-lahan menuju inti penelitian machine learning.
Mungkin dalam beberapa tahun ke depan, kita akan melihat semakin banyak makalah seperti ini. Mereka tidak menambahkan satu baris kode pelatihan atau satu parameter model pun, namun tetap dapat mengubah batas kemampuan model besar.
Perkenalan Tim Peneliti
Terakhir kita lihat tim penelitinya.
Pekerjaan ini dilakukan oleh tim Weiyan Shi dari Northeastern University (AS) bersama Manning Lab Stanford, West Virginia University, Jiayi Zhang, Simon Yu, Derek Chong sebagai penulis pertama bersama.
Jiayi Zhang, S1 di University of Michigan, mendapatkan tiga gelar sarjana Ilmu Komputer, Matematika, dan Linguistik, kemudian melanjutkan studi magister Ilmu Komputer di Northeastern University (AS).
Makalah lain miliknya yang diterima di konferensi puncak NLP NAACL 2024, "Analyzing the Role of Semantic Representations in the Era of Large Language Models", juga berkisar pada representasi semantik dan model besar.
Simon Yu, saat ini sedang mengejar gelar doktor di Northeastern University (AS), arah utama penelitiannya adalah mekanisme alignment dan reinforcement learning dalam model besar. S1 dan S2 keduanya di University of Edinburgh, pernah menerbitkan beberapa makalah konferensi puncak.
Selain makalah ini, makalah lain miliknya "Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents" juga diterima di ICML 2026.
Derek Chong, magister lulusan Stanford University, saat ini adalah peneliti di Stanford AI Lab, arah penelitian utama berfokus pada NLP model besar.
Pernah memiliki pengalaman wirausaha pendiri selama tiga tahun, dan bergabung dengan Ello sebagai ilmuwan terapan, berpartisipasi dalam pengembangan implementasi AI di sisi industri, landasan teori penelitiannya solid, sekaligus juga memiliki pengalaman praktik langsung yang kaya.
Referensi tautan:[1]https://www.reddit.com/r/MachineLearning/comments/1uv1xb3/promptengineering_paper_accepted_to_icml_r/
[2]https://www.linkedin.com/in/jiayizx/[3]https://simonucl.github.io/[4]https://www.linkedin.com/in/derekch/
Artikel ini berasal dari akun WeChat publik "量子位", penulis: 关注前沿科技
