AI Telusuri 100 Tahun Makalah Ilmiah, 99,2% Jurnal Top Bermasalah
Siapa bilang penelitian tidak punya masalah baru dan semua arah bagus sudah diambil orang terdahulu? Bagaimana jika mayoritas makalah di jurnal-jurnal ternyata bermasalah?
Peneliti baru-baru ini menggunakan AI Agent untuk "memverifikasi keaslian" akademik dan menemukan: dari 92 makalah yang dilaporkan di Konferensi Pembelajaran Mesin Internasional (ICML) 2026, 58 di antaranya tidak dapat direproduksi. Meski "gagal direproduksi" tidak selalu berarti pemalsuan penelitian—dapat disebabkan oleh kode yang tidak lengkap, masalah versi perpustakaan, hingga model yang sudah tidak tersedia—ada juga kesalahan yang mencolok. Misalnya, satu makalah mengklaim hanya melatih 0,77% parameter model dasar, padahal checkpoint yang dibagikan melatih 6,31% parameter.
Dalam tantangan reproduksi otomatis lain untuk ICML 2026, hasilnya juga kurang menggembirakan. Tren serupa terlihat dalam deteksi kesalahan makalah. Studi akhir 2025 menggunakan sistem berbasis GPT-5 untuk memeriksa makalah AI teratas, menemukan rata-rata 4,7 kesalahan objektif per makalah, dengan 99,2% makalah memiliki setidaknya satu masalah. Kesalahan matematika dan rumus adalah yang paling umum (54%). Jumlah kesalahan per makalah di NeurIPS bahkan meningkat dari 3,8 (2021) menjadi 5,9 (2025).
Ini bisa menjadi "keuntungan" tak terduga bagi peneliti pemula. Alih-alih bersaing di bidang terdepan, fokuslah pada "mencari titik anomali dalam makalah lama," terutama makalah klasik yang sering dikutip tetapi kurang diverifikasi. AI dapat membantu membuat peta pengetahuan dan menelusuri hubungan penelitian untuk menemukan koneksi atau anomali yang sebelumnya tersembunyi. Banyak terobosan ilmiah datang dari mempertanyakan kembali asumsi yang telah lama diterima, dan AI kini membuat proses ini jauh lebih murah.
Lebih luas lagi, AI mulai memiliki potensi merevisi sejarah sains. Contohnya, seorang ahli kimia teoritis menemukan bahwa prediksi AI tentang titik didih molekul bertentangan dengan database kimia berusia 75 tahun. Setelah pemeriksaan manual, ternyata AI-lah yang benar, dan bahkan mengungkap kesalahan dalam pengukuran otoritatif berusia seabad yang telah dikutip turun-temurun. Dengan volume publikasi yang sangat besar (misalnya, submisi ICLR melonjak dari 1013 pada 2018 menjadi 19.619 pada 2026), kesalahan awal dapat menyebar dan mengkristal menjadi konsensus. AI kini memungkinkan peninjauan ulang skala besar terhadap literatur ilmiah masa lalu, meski alat pemeriksa berbasis AI seperti Paper Correctness Checker (presisi 83,2%) tetap memerlukan verifikasi manusia akhir.
marsbitKemarin 08:29
