Orang-orang di laboratorium mutakhir hampir tidak membaca makalah lagi?
Seorang peneliti OpenAI menyapu tiga konferensi puncak dengan satu kalimat: Terlalu banyak klaim berlebihan dan pemalsuan!
Awal mula peristiwa ini adalah sebuah makalah ICLR yang hasilnya terlalu bagus hingga sulit dipahami. Setelah diselidiki, pengguna internet menemukan "rahasia" di dalamnya.
Apakah menerbitkan makalah di konferensi puncak sudah "berevolusi" menjadi seperti ini?
Pertama, lihat apakah kode sumber terbuka; kedua, lihat apakah dalam metode eksperimen ada "jalan pintas" yang tersembunyi; ketiga, barulah lihat apakah hasil yang didapatkan mendukung kesimpulan inti — Setelah pertanyaan yang berlapis-lapis ini, berapa banyak makalah konferensi puncak yang benar-benar tahan uji?
Benar-benar ada yang melakukan hal ini.
105 Makalah, Hanya 8 yang "Lolos"
Pada Juli tahun ini, SAI yang didirikan bersama oleh Chenhao Tan, Associate Professor Ilmu Komputer dan Data Sains di University of Chicago, merilis "peninjauan eksperimen" berskala besar.
Target mereka adalah seluruh 168 makalah Oral di ICML 2026.
ICML tahun ini menerima total 23.918 makalah submisi, dan hanya 168 yang lolos menjadi Oral, sekitar 0,7%.
Dengan kata lain, SAI memeriksa lapisan teratas yang sudah disaring dari lebih dari dua puluh ribu submisi.
Selain membaca metode, desain eksperimen, dan hasil seperti peninjau tradisional, SAI Review juga mengunduh kode, model, dan data, mengkonfigurasi lingkungan, menjalankan eksperimen, lalu membandingkan hasilnya dengan makalah asli item demi item.
SAI meninjau seluruh 168 makalah Oral. Dari jumlah itu, hanya 104 makalah yang kodenya sumber terbuka, dan akhirnya mereka menyelesaikan 105 makalah yang direproduksi secara lengkap.
Di antaranya, hanya 34 makalah yang berhasil mereproduksi lebih dari 40% klaim; hanya tersisa 8 makalah yang tingkat reproduksinya melebihi 80%.
Entah setiap makalah mengandung setidaknya 1, 3, atau 5 klaim yang dapat diverifikasi, skor reproduksi median tetap berada di 28%–30%, dan distribusi keseluruhan tidak banyak berubah.
Setelah mengecualikan eksperimen yang tidak dijalankan, dihentikan lebih awal, atau melampaui kapasitas perangkat keras, skor reproduksi median tetap hanya 42%–50%; ketika setiap makalah mengandung setidaknya 3 klaim yang dapat diverifikasi, median stabil di 42%.
Masalah paling umum dalam reproduksi semua ditemui: kode tidak bisa dijalankan, file hilang, dokumentasi tidak lengkap, dependensi rusak, atau hasil yang dijalankan kode tidak sesuai dengan makalah.
Ada juga 4 makalah yang bergantung pada model yang sudah tidak tersedia. Peneliti di masa depan, meski rela mengeluarkan uang dan waktu, tidak mungkin lagi mendapatkan hasil yang sama.
SAI juga menyebutkan dua contoh yang lebih spesifik.
Satu makalah mengklaim sebagai keunggulan utamanya "hanya melatih 0,77% parameter dari model dasar", namun checkpoint yang dirilis sebenarnya melatih 6,31% parameter, sekitar 8 kali lipat angka yang diklaim.
Makalah lain menampilkan tabel reliabilitas yang dinilai oleh model wasit, namun model wasit ini tidak ditemukan dalam kode sumber terbuka, dan tidak ada skrip yang bisa menghasilkan angka-angka dalam tabel tersebut.
Makalah Berkualitas Rendah, Keuntungan Tinggi Risiko Rendah
Hasil reproduksi SAI bisa dibilang cukup buruk.
Yang lebih buruk lagi, masalah yang ditemukan di sini hanyalah masalah yang "berkondisi untuk ditemukan".
Makalah-makalah yang tidak memiliki kode, secara langsung menjadi "sulit disangkal".
Dan meskipun kode benar-benar terbuka, untuk memverifikasi satu makalah, waktu, tenaga, dan biaya yang dikeluarkan sangat besar, hasilnya pun seringkali tidak memuaskan, bisa bikin frustrasi.
Menurut perkiraan SAI berdasarkan harga on-demand publik Google Cloud, biaya median untuk menjalankan ulang secara lengkap satu makalah Oral ICML adalah sekitar 8.900 dolar AS. Dari 105 makalah, 17 makalah melebihi 100.000 dolar AS, dan yang termahal mendekati 2,2 juta dolar AS.
Semakin makalah bergantung pada komputasi skala besar, semakin sulit direproduksi secara independen.
Tidak ada kode, orang lain tidak bisa memeriksa; ada kode, belum tentu ada yang sanggup membayar biayanya.
Dengan demikian, sebuah makalah yang bermasalah sepenuhnya mungkin lolos review, mendapat sitasi, lalu ditulis di CV, ditukar dengan penerimaan, jabatan akademik, atau peluang kerja di lab besar.
Jika kebetulan ada yang menemukan hasilnya tidak sesuai, konferensi jarang meninjau ulang, dan makalah belum tentu ditarik kembali.
Inilah yang disebut dalam komentar sebagai "melakukan penelitian yang buruk memberi keuntungan, namun hampir tidak ada konsekuensinya".
Tidak Baca Makalah, Tapi Rekrutmen Masih Lihat Makalah
Di bidang model besar, memang banyak kemajuan penting yang benar-benar signifikan tidak lagi muncul dalam bentuk makalah.
Sebagai insinyur OpenAI, berada di garis depan industri, perasaan seperti ini tidak sulit dipahami. Lagipula, mereka memiliki daya komputasi lebih banyak, umpan balik eksperimen lebih cepat, dan banyak hasil internal yang tidak dipublikasikan, sehingga punya "modal" untuk "tidak membaca makalah".
Tapi mengatakannya secara terbuka, agak sedikit canggung.
Satu komentar mengejek orang-orang di perusahaan teknologi seperti ini sebagai "mengambil tangga setelah naik ke daratan": merekrut peneliti dari akademisi, membangun di atas akumulasi hasil publik akademisi, merebut talenta dan GPU dengan harga lebih tinggi, sendiri semakin jarang menerima peer review, tapi akhirnya malah berbalik mengumumkan penelitian akademik "sebagian besar penipuan".
Agak sinis, tapi memang ada benarnya.
Orang-orang di lab mutakhir ini bisa "tidak membaca makalah", tapi orang yang ingin masuk masih harus menerbitkan makalah terlebih dahulu.
Bagi mahasiswa dan peneliti muda yang minim pengalaman industri, makalah konferensi puncak masih menjadi bukti paling langsung untuk membuktikan kemampuan penelitian.
Mendaftar program doktor, mencari jabatan akademik, masuk ke lab mutakhir seperti OpenAI, semuanya mengandalkan makalah untuk mendapatkan perhatian.
Orang-orang di industri, setelah masuk lab besar, meremehkan makalah, tapi tetap menggunakan jumlah makalah, tingkat konferensi, dan performa sitasi untuk menyaring orang-orang yang masih di luar pintu.
Makalah pun terjebak dalam posisi yang canggung: kredibilitasnya dalam penyebaran pengetahuan dipertanyakan, namun nilainya dalam persaingan talenta sama sekali tidak hilang.
Jadi, "lab besar sudah tidak membaca makalah lagi" terdengar sedikit sombong dan angkuh. Karena orang yang benar-benar berhak tidak membaca makalah, seringkali justru sudah melewati ambang batas tersebut dengan mengandalkan makalah.
Tentu saja, tidak semua mahasiswa adalah penjahat akademik yang sengaja merancang penipuan.
Seorang peneliti akademik bergurau, dia malah berharap mahasiswanya sudah punya kemampuan menulis makalah yang berlebihan klaimnya bahkan palsu.
Ada yang "berkompetisi menjadi penipu akademik", sementara yang lain masih bergelut dengan LaTeX.
Referensi:
https://x.com/MathewShen42/status/2084465434506768867
https://x.com/kellerjordan0/status/2084721463089902074
https://sai.science/blog/how-much-science-is-verifiable
https://x.com/mengyer/status/2085134204786921886
Artikel ini berasal dari akun WeChat publik "机器之心" (ID:almosthuman2014), penulis: 机器之心
