Sepertiga makalah di arXiv, ternyata ditulis oleh AI?
Baru-baru ini, sebuah penelitian dari unslop menggemparkan jagat maya.
Dalam setahun terakhir, 65% makalah baru di bidang ilmu komputer ditandai merah oleh detektornya.
Netizen bahkan menciptakan istilah khusus untuk ini – "Era Sampah Besar".
Tapi di periode yang sama, makalah matematika hanya 0.7%.
ChatGPT Muncul, Kurva Langsung Melonjak
Dalam penelitian ini, tim menscan 12.750 makalah arXiv, dengan rentang waktu dari Januari 2023 hingga Juli 2026.
Target dikunci pada sepuluh disiplin ilmu, setiap bulan setiap bidang mengambil sekitar 25 teks lengkap.
Kelompok kontrol dipilih dari tahun 2021 hingga 2022, era pra-ChatGPT murni manusia.
Hasilnya, dari 2021 hingga 2022, tingkat penandaan stabil di 0.4%; namun setelah rilis ChatGPT, kurva melesat dalam hitungan bulan.
Pada kuartal penuh terakhir, tingkat penandaan mencapai 32%, dan di awal 2026, puncaknya mendekati 39%.
Dilihat per disiplin, ilmu komputer paling parah, tingkat penandaannya mencapai 65%.
Perlu diingat, sebelum ChatGPT lahir, nilai dasarnya hanya 0.2%. Hanya dalam tiga tahun, angka ini melonjak lebih dari 300 kali lipat.
Disusul oleh Biologi Kuantitatif 56.3%, Teknik Elektro 51.3%, Ekonomi & Keuangan 47%; lalu Fisika Terapan 34%, Statistik 31.3%, Fisika Materi Terkondensasi 24%, Fisika Energi Tinggi 14%, Astrofisika 10.7%.
Baris terakhir daftar adalah Matematika: 0.7%.
Dan ini baru batas bawah. Jika teks AI disembunyikan cukup baik, detektor tidak bisa mengenalinya.
Detektor yang sama, repositori makalah yang sama, perbedaannya mendekati 100 kali lipat.
Apakah para matematikawan kolektif bertahan mengetik manual? Ataukah mesin ini buta di depan rumus matematika?
0.7% yang Jatuh ke Lembah, Adalah Kebutaan Mesin
Sebenarnya, jawabannya sudah ditulis oleh unslop sendiri ke dalam laporannya.
Bayangkan, seperti apa bentuk standar sebuah makalah matematika? Penuh dengan simbol, rumus, teorema, dan pembuktian. Kalimat prosa bahasa Inggris yang benar-benar ditulis, sangat sedikit.
Kebetulan, detektor ini hanya mengenali teks. Ia mengawasi struktur kalimat, kebiasaan pemilihan kata, organisasi paragraf.
Sementara beberapa baris kata yang tersisa di makalah matematika, semuanya adalah ekspresi yang sudah terformat seperti "Misalkan X adalah...", "Dari Lemma 3 dapat diturunkan...", yang tidak terlalu berada di saluran yang sama dengan bahasa ilmiah Inggris yang pernah dilihat detektor selama pelatihan.
Jadi tim sendiri juga mengakui, penelitian saat ini masih memiliki beberapa keterbatasan:
Angka 0.7% untuk matematika saat ini belum bisa menjelaskan apa-apa. Bisa jadi matematikawan memang jarang pakai AI, bisa juga detektornya tidak paham makalah matematika, tapi data ini tidak bisa membedakan yang mana.
Kelompok kontrol juga relatif kecil. Setiap disiplin hanya 200 makalah pra-ChatGPT, dengan tingkat false positive 0.4%, dari 2000 makalah total hanya 8 yang ditandai. Level seperti ini hanya bisa disebut estimasi kasar.
Lalu seperti yang disebutkan sebelumnya, detektor tidak menangkap semuanya. Jadi, angka-angka ini masih hanya batas bawah, proporsi sebenarnya pasti lebih tinggi.
Semakin Kompetitif Suatu Tempat, Semakin Bergantung pada AI
Lalu, sebenarnya siapa yang menggunakan AI untuk menulis makalah?
Jawabannya, tersembunyi dalam penelitian lain dari Stanford yang berlangsung selama dua tahun.
Maret 2024, tim Weixin Liang dari Stanford pertama kali mengukur peer review: dalam ulasan ICLR 2024, sekitar 10.6% kalimat telah dimodifikasi secara signifikan oleh LLM. Makalah belum selesai diuji, reviewer sendiri sudah duluan pakai.
Agustus 2025, masih tim yang sama, memperluas sampel menjadi 1.12 juta makalah, dan langsung diterbitkan di "Nature Human Behaviour".
Penelitian menunjukkan, hingga September 2024, proporsi modifikasi LLM pada abstrak makalah CS tertinggi telah mencapai 22.5%. Dan yang paling intens menggunakannya, adalah peneliti yang paling rajin menerbitkan preprint, terjun di bidang paling kompetitif.
Semakin kompetitif bidangnya, semakin ganas penggunaannya.
Di sini, menulis dengan AI telah menjadi perlombaan senjata: rekan sejawat menggunakan AI untuk mempercepat tempo, mereka yang hanya menulis manual, ritmenya jadi tertinggal selangkah.
Tidak heran sebuah retweet terkait yang tersebar luas di X, baris pertama captionnya adalah: "Prompt: Tulis sebuah makalah yang bisa diterbitkan di arXiv."
Yang Dicium adalah "Bau", Bukan AI
Tapi, jangan buru-buru menggunakan angka 65% ini untuk menghakimi.
Tim juga mengakui dalam laporannya, detektor tidak bisa membedakan "tata bahasa dibenarkan oleh AI" dan "seluruh makalah dikerjakan mesin", ia hanya mengenali konsentrasi bau mesin dalam teks.
Jadi pemahaman yang benar tentang 65% adalah "65% makalah berbau seperti AI", bukan "65% makalah ditulis oleh AI".
Tapi masalahnya, bau mesin ini juga bisa menempel pada manusia sendiri.
Ada peneliti yang tidak percaya, memasukkan makalah lamanya bertahun-tahun lalu ke alat deteksi, hasilnya 27% hingga 74% konten ditandai merah.
Padahal di era itu, ChatGPT bahkan belum ada bayangannya.
Alasannya tidak sulit dicari.
Buka jurnal akademis hari ini, penuh dengan model bahasa besar, pengujian benchmark, terdepan di industri. Semakin standar diksinya, semakin rapi strukturnya, semakin mudah menabrak ciri mesin yang ditetapkan detektor.
Selain itu, LLM memang dilatih dengan makalah jenis ini. Bukan cendekiawan menulis seperti AI, tapi AI sejak lahir sudah menulis seperti cendekiawan.
Ketika Semua Teks Menjadi Tersangka
Sebenarnya, dua tahun terakhir ini, kita semua melakukan hal yang sama dengan detektor.
Membaca teks yang stabil, kalimat rapi, sesekali muncul kata-kata "tidak hanya... tetapi juga...", hati langsung dag-dig-dug: Ini pasti ditulis AI ya?
Detektor unslop, sama saja mengubah penciuman mistis ini menjadi sebuah instrumen yang bisa memproduksi angka dalam jumlah besar.
Bagaimanapun, begitu kecurigaan masuk ke otak, tidak bisa dilepas lagi.
Dulu, "menuliskan" itu sendiri adalah semacam jaminan. Seseorang mau menghabiskan beberapa jam menyusun kata, setidaknya menunjukkan dia serius.
Sekarang, semakin indah tulisannya, mungkin hanya dibalas dengan "Pakai AI ya".
Beberapa orang bahkan mulai sengaja menghindari kata-kata yang sudah mereka pakai setengah umur, hanya karena "terdengar terlalu AI".
Saat ini, "bau AI" sedang menjadi dosa asal baru yang melanda dunia tulis-menulis.
Lucunya, hingga hari ini, kita bahkan belum bisa mengukur secara tepat apa sebenarnya yang membentuk "bau AI" ini.
Artikel ini dari akun WeChat publik "新智元" (New Zhiyuan), penulis: ASI启示录
