Bagaimana kita menilai apakah kecerdasan buatan sudah cukup cerdas untuk terlibat dalam penelitian ilmiah, mencapai penemuan ilmiah mandiri dari ujung ke ujung?
Penelitian terbaru yang dirilis oleh Universitas Sains dan Teknologi China mempercayakan "otak" AI untuk mengambil alih "tubuh" laboratorium ilmuwan mesin, sehingga memajukan pertanyaan ini dari respons pengetahuan dan pembuatan rencana, menuju ke eksekusi eksperimen dan pembelajaran umpan balik di dunia fisik nyata.

Tautan makalah: https://arxiv.org/abs/2607.23045
Tim peneliti membangun laboratorium katalisis mesin, yang mencakup 45 stasiun kerja otomatis modular yang mencakup sintesis, karakterisasi, dan pengujian kinerja katalitik.
Agar AI dapat memahami dan memanggil kemampuan laboratorium, tim penelitian mengemas kemampuan ini sebagai keterampilan (skills) yang dapat dibaca mesin. Agen AI dapat langsung memanggil peralatan eksperimen melalui keterampilan ini, sekaligus tunduk pada kendala kemampuan perangkat nyata, spesifikasi operasi, dan kondisi eksperimen.

Gambar 1. Arsitektur laboratorium ilmuwan mesin yang dapat dipahami AI untuk penelitian katalisis.

Gambar 2. Jalur dari maksud ilmiah ke eksekusi laboratorium mesin.
Uji Tekanan
Berdasarkan platform ini, tim penelitian melakukan evaluasi sistematis terhadap 48 konfigurasi praktis yang terdiri dari 6 kerangka kerja agen dan 9 model bahasa besar.
Pengujian mencakup 32 tugas penelitian yang didefinisikan oleh ahli domain, dengan total 4.608 kali pengujian evaluasi. Evaluasi tidak hanya memeriksa apakah agen dapat menghasilkan rencana eksperimen, tetapi juga melacak apakah rencana ini dapat lolos verifikasi dan dikirim ke sistem robot, serta apakah alur kerja yang dihasilkan dapat dieksekusi langsung tanpa intervensi manusia.
Hasil Evaluasi Dunia Nyata yang Keras
Model bahasa besar agen terkemuka saat ini masih memiliki kesenjangan yang nyata dari "mengambil alih". Dari 4.608 pengujian, hanya 151 alur kerja yang dapat dieksekusi tanpa perbaikan manual, setara dengan 3,3% dari semua pengujian. Kombinasi Claude Code dan Claude Opus 4.7 yang berkinerja terbaik memiliki tingkat keterjalan 28,1%; kombinasi Codex dan GPT 5.5 memiliki tingkat keterjalan 19,8%.
Mampu Menyesuaikan Parameter, Belum Tentu Mampu Merencanakan Ulang
Penelitian ini juga menguji lebih lanjut apakah agen dapat belajar dari hasil eksperimen nyata. Tim menempatkan kombinasi Codex/GPT 5.5 dalam loop tertutup lima putaran yang terbuka, secara berkelanjutan melakukan perencanaan eksperimen, eksekusi robot, perolehan bukti, dan perencanaan ulang.
Agen mampu menyesuaikan formulasi bahan dan kondisi operasi berdasarkan hasil eksperimen yang dikembalikan, tetapi penyesuaian ini terutama berada pada tingkat pengoptimalan parameter lokal.
Selama proses lima putaran eksperimen, agen mempertahankan kerangka alur kerja asli, tidak merancang ulang metode analisis, dan juga gagal memperbaiki beberapa kelalaian kunci yang terus-menerus ada, seperti kurangnya perekat elektroda dan reagen warna untuk analit tertentu.
Hasilnya menunjukkan bahwa kemampuan membaca umpan balik eksperimen dan menyesuaikan parameter tidak sama dengan kemampuan mengidentifikasi masalah dalam strategi penelitian itu sendiri, apalagi melakukan perencanaan ulang di tingkat ilmiah.

Gambar 3. Kinerja agen AI di setiap tahap perencanaan yang dapat dieksekusi, verifikasi, dan pengiriman tugas laboratorium.
Perencanaan Jangka Panjang Masih Menjadi Hambatan
Meskipun beberapa agen menghasilkan alur kerja yang dinilai dapat dieksekusi oleh ahli dan mengandung hingga 44 langkah operasi, dari semua pengujian, hanya 3 alur kerja yang melebihi 30 langkah operasi. Ini menunjukkan bahwa seiring dengan perpanjangan rantai tugas, kemampuan agen untuk mempertahankan integritas logika eksperimen dan keterjalan fisik masih menghadapi tantangan yang signifikan.
Mendefinisikan Ulang Kemampuan Ilmiah AI
Penelitian ini dengan demikian membedakan tiga kemampuan yang sering dicampuradukkan dalam diskusi "Ilmuwan AI" saat ini: pertama, kemampuan menghasilkan rencana eksperimen dengan lancar; kedua, kemampuan menghasilkan alur kerja yang benar-benar dapat dieksekusi di laboratorium fisik; ketiga, kemampuan menyesuaikan strategi penelitian secara keseluruhan berdasarkan hasil eksperimen.
Hasil penelitian menunjukkan bahwa kemampuan perencanaan pada tingkat bahasa tidak dapat secara otomatis diterjemahkan menjadi kemampuan eksekusi eksperimen yang andal, dan penyesuaian parameter lokal juga tidak dapat langsung dianggap sebagai perencanaan ulang di tingkat ilmiah.
Dari "Lapangan Uji AI" Menuju "Lapangan Latihan AI"
Sebagai infrastruktur penelitian cerdas AI for Science, laboratorium mesin dapat menjadi "lapangan uji" untuk menguji kemampuan ilmiah AI, sekaligus "lapangan latihan" untuk mendorong evolusi berkelanjutan AI. Agen AI berkomunikasi langsung dengan laboratorium mesin melalui keterampilan yang dapat dibaca mesin, mengubah maksud ilmiah menjadi tugas yang dapat dieksekusi, dan menerima umpan balik nyata dari eksekusi mesin, status instrumen, dan hasil eksperimen.
Loop tertutup "perencanaan—eksekusi—umpan balik—perencanaan ulang" yang terbentuk tidak hanya dapat mengungkap kekurangan AI dalam pengetahuan, operasi, dan strategi penelitian, tetapi juga dapat mengendapkan alur kerja yang berhasil, kasus kegagalan, hasil eksperimen, dan evaluasi ahli sebagai data untuk pelatihan model dan penyelarasan agen, terus-menerus mengulangi model AI dan sistem agennya.
Dengan demikian, ilmuwan mesin memberikan bukti dunia fisik yang dapat diukur, dapat diulang, dan dapat diverifikasi untuk menjawab "Bagaimana kita menilai apakah kecerdasan buatan sudah cukup cerdas untuk terlibat dalam penelitian ilmiah?". Ini mendorong AI dari sekadar menghasilkan rencana eksperimen, secara bertahap menuju penemuan ilmiah mandiri dari ujung ke ujung yang mencakup pengajuan masalah ilmiah, desain eksperimen, eksekusi robot, analisis data, dan perencanaan ulang yang digerakkan oleh bukti.

Gambar 4. Lima putaran iterasi AI-ilmuwan mesin di bawah masalah ilmiah terbuka.
Referensi: https://arxiv.org/abs/2607.23045
Artikel ini dari akun WeChat publik "新智元", penulis: 新智元; editor: LRST






