Siapa lagi yang bilang penelitian ilmiah sudah tak ada masalah baru? Arah riset yang bagus sudah semua dikuasai orang terdahulu??
Bagaimana jika saya bilang——
sebagian besar makalah di jurnal top yang sudah terbit, punya masalah?
Baru-baru ini, ada peneliti yang menggunakan AI Agent untuk "menguji keaslian" akademik dan menemukan:
dari 92 makalah yang dipresentasikan di Konferensi Internasional Machine Learning (ICML) 2026, 58 di antaranya sudah tidak dapat direproduksi.
Benarkah?? Apa benar kesempatan untuk menerbitkan banyak jurnal top benar-benar datang?
Makalah Konferensi Top Sedang Dikolektif "Diuji Keaslian" oleh AI
Biasanya, sebuah makalah yang bisa masuk konferensi top, menunjukkan bahwa ia sudah melalui peninjauan sejawat (peer review).
Namun karena keterbatasan waktu dan tenaga, peninjau sejawat hampir tidak punya waktu untuk mengunduh data dari awal, menjalankan model, atau mereproduksi eksperimen guna memverifikasi setiap kesimpulan eksperimen dalam makalah.
Di saat yang sama, seiring meledaknya jumlah makalah di bidang AI, model semakin kompleks, skala eksperimen semakin besar, kode, data, dan pengaturan parameter di balik satu makalah dapat melibatkan ratusan detail.
Keterverifikasian makalah pun menjadi semakin penting. Makalah sudah diterbitkan, tapi apakah kesimpulannya bisa dijalankan ulang?
Saat ini, AI Agent sangat menurunkan biaya verifikasi dan reproduksi semacam ini.
22 Juli, sebuah perusahaan tinjauan penelitian di AS menggunakan AI Agent untuk melakukan audit sistematis reproduksi hasil terhadap seluruh 168 makalah laporan lisan ICML 2026.
Dari 168 makalah, 92 di antaranya memiliki setidaknya 5 pernyataan kesimpulan yang dapat diverifikasi.
Hasil akhirnya: hanya 34 makalah yang dapat direproduksi oleh AI Agent untuk lebih dari 40% kesimpulannya; sedangkan yang dapat direproduksi 80% atau lebih kesimpulannya, hanya 8 makalah.
Namun perlu dijelaskan, ada perbedaan besar antara "tidak dapat direproduksi" dan "penipuan penelitian".
Penyebab kegagalan reproduksi termasuk namun tidak terbatas pada kode kekurangan file kunci, versi pustaka dependensi yang putus, hasil jalankan tidak sesuai dengan makalah, dan ada 4 makalah yang model andalannya sudah dihapus, yang berarti hasil eksperimennya secara permanen tidak dapat direproduksi oleh siapa pun.
Selain itu, ada juga yang salahnya cukup mencolok——
Misalnya, satu makalah menggunakan "hanya melatih 0,77% parameter model dasar" sebagai keunggulan utama, tetapi checkpoint yang benar-benar dibuka sumbernya melatih 6,31% parameter, berbeda sekitar 8 kali lipat.
Makalah lain menampilkan tabel keandalan berdasarkan model penilaian tertentu, tetapi kode sumber terbukanya sama sekali tidak mengandung model penilaian tersebut, dan tidak ada skrip apa pun yang dapat menghasilkan hasil di tabel itu.
Kebetulan serupa, pada tahun 2026 Hugging Face dan AlphaXiv bersama-sama meluncurkan kompetisi "Agent Reproduction Challenge" untuk ICML 2026, mengundang peneliti menggunakan AI Coding Agent untuk mereproduksi secara otomatis makalah yang diterima ICML 2026, hasilnya juga sama-sama tidak optimis.
Tren serupa terlihat lebih mencengangkan dalam deteksi kesalahan dan kelalaian makalah.
Akhir 2025, sebuah penelitian mengembangkan sistem pemeriksaan makalah berbasis GPT-5, untuk menganalisis makalah yang sudah diterbitkan di konferensi dan jurnal AI top, mencari masalah yang dapat diverifikasi secara objektif. Peneliti menyatakan dengan sangat jelas:
Kami hanya melihat "kesalahan objektif", kami tidak peduli dengan inovasi dan nilai penelitian makalah.
Hasil akhir menunjukkan, rata-rata setiap makalah terdeteksi memiliki 4,7 kesalahan objektif, 99,2% makalah setidaknya ditandai memiliki satu masalah.
△ Gambar dihasilkan oleh AI
Dari jenis kesalahan, kesalahan matematika dan rumus menempati porsi tertinggi, mencapai 54,0% (termasuk persamaan yang salah ditulis, celah logika deduksi, asumsi salah dalam pembuktian, dll).
Sekitar 30,8% makalah NeurIPS dan 23,8% makalah ICLR mengandung setidaknya satu kesalahan substantif yang mungkin mempengaruhi interpretasi hasil.
Yang lebih patut diperhatikan adalah tren waktu: rata-rata jumlah kesalahan per makalah NeurIPS naik dari 3,8 pada 2021 menjadi 5,9 pada 2025, kenaikan 55,3%.
......
Mungkin ke depannya, penerbitan makalah tidak lagi berarti penelitian menyatakan "kemenangan", melainkan hanya memasuki babak baru awal verifikasi oleh AI.
Angin Segar Besar bagi Pemula Akademik, Bisa Terbit di Jurnal Top Tanpa Eksperimen
Jadi, teman-teman, bagi yang sedang bingung mencari topik, ini mungkin benar-benar sebuah "kabar baik" yang cukup tak terduga.
Memeriksa literatur untuk mencari kesalahan, menulis koreksi, sebenarnya adalah bentuk hasil yang sah di dunia akademik. Sekarang tampaknya, ini benar-benar lautan biru akademik.
Secara konkret bagaimana memulainya? Beri beberapa tips untuk pemula akademik yang bingung topik:
Pertama, ubah pola pikir penelitian, jangan berfokus pada yang terdepan tapi pada yang lalu.
Beralih dari "mencari topik baru" ke "mencari titik anomali di makalah lama", perhatikan khususnya makalah klasik yang banyak dikutip namun kurang kontroversial. Lagipula "99,2% makalah setidaknya memiliki satu kesalahan".
Kedua, minta AI bantu buat peta pengetahuan dan silsilah penelitian.
Peta pengetahuan semacam ini dapat membantumu memahami—— mana pekerjaan yang benar-benar mendasar? Pandangan penelitian mana yang saat ini masih kontroversial? Kesimpulan mana yang banyak dikutip namun kurang verifikasi? Bagaimana hubungan kutipan antar makalah yang berbeda? Dari sini dapat ditemukan koneksi dan anomali yang dulu sulit ditemukan.
Ketiga, Tanya apapun.
Banyak terobosan penting dalam sejarah sains bukan berasal dari mengajukan pertanyaan benar-benar baru, melainkan dari mengkaji ulang asumsi yang sudah lama diterima.
Contohnya: apakah sebuah eksperimen klasik pernah diverifikasi menurut standar hari ini? Apakah sebuah kesimpulan yang banyak dikutip, memiliki kondisi batasan yang tidak diperhatikan?
Dulu, pertanyaan semacam ini sangat mahal biayanya, peneliti perlu menghabiskan banyak waktu menelusuri literatur asli, membandingkan detail eksperimen. Kini, AI membuat biaya itu hampir nol.
AI Mungkin Akan Mulai Merombak Sejarah Sains
Baru-baru ini, ahli kimia teori Pios dari laboratorium di Zhejiang, saat menggunakan AI untuk memprediksi titik didih molekul, menemukan hasilnya bertentangan jelas dengan basis data kimia berusia 75 tahun.
Mendapati ini, reaksi pertama siapa pun mungkin adalah "pasti saya yang salah dong".
Pios juga tidak terkecuali, dia buru-buru memeriksa modelnya. Namun setelah menelusuri secara manual literatur aslinya, dia menemukan: astaga, AI ternyata yang benar.
Pios sangat terkejut, kemudian melanjutkan pengecekan dengan AI, bahkan menemukan bahwa sebuah nilai pengukuran titik didih berusia sekitar satu abad yang diakui otoritatif oleh kalangan akademik juga salah.
Perlu diketahui, data-data ini telah dikutip dan diserap bertahun-tahun ke dalam penelitian generasi selanjutnya.
Masalah semacam ini sebelumnya lama tidak ditemukan mungkin berkaitan langsung dengan skala literatur sains.
△ Gambar dihasilkan oleh AI
Jumlah makalah sains modern sudah jauh melampaui batas bacaan peneliti mana pun. Misalnya, hanya satu konferensi AI top ICLR, jumlah pengajuannya tahunan naik dari 1013 pada 2018 menjadi 19619 pada 2026.
Pada skala seperti ini, sebuah kesalahan yang awalnya muncul di suatu makalah, begitu dikutip berulang oleh literatur berikutnya, akan terus ditransmisikan sepanjang rantai kutipan, membentuk konsensus akademis secara faktual.
Karena usianya sudah lama, rantai kutipan kompleks, ditambah pekerjaan verifikasi ulang yang sangat memakan waktu namun imbalan akademisnya terbatas, mayoritas kesalahan yang sudah masuk sistem literatur belum pernah ditinjau secara sistematis.
Tapi kini segalanya bergeser, setidaknya dalam kemampuan teknis, untuk pertama kalinya manusia memiliki kemungkinan meninjau ulang literatur sains masa lalu dalam skala besar.
Namun, ambil contoh Paper Correctness Checker berbasis GPT-5, tingkat presisi deteksinya 83,2%, dan setiap deteksi masih ada sekitar empat dari sepuluh kesalahan nyata yang tidak terdeteksi.
Bisa dikatakan, alat verifikasi fakta berbasis AI semacam ini sendiri tidak cukup untuk menjadi hakim literatur sains, hasil keluaran alat verifikasi AI akhirnya tetap perlu diaudit secara manual.
Artikel ini dari akun WeChat publik "量子位" (ID: QbitAI), penulis: Cheng Qian
