Bisakah Model Bahasa Besar Menulis Algoritma Optimasi Tingkat Industri? MIT Mengajukan FrontierOR Sebagai Ujian bagi AI
Selama dua tahun terakhir, kemampuan LLM dalam menerjemahkan deskripsi bahasa alami menjadi model matematika dan kode solver telah berkembang pesat. Namun, untuk masalah optimasi skala industri yang nyata, ini masih belum cukup. Tantangan sebenarnya bukan sekadar menerjemahkan batasan, tetapi merancang algoritma yang efisien, akurat, dan dapat diskalakan untuk menangani instance berskala besar.
Baru-baru ini, peneliti dari MIT dan institusi lain memperkenalkan FrontierOR, sebuah benchmark baru untuk mengevaluasi kemampuan LLM dalam merancang algoritma optimasi skala besar. Berbeda dengan benchmark tradisional yang hanya menguji pemodelan atau pemanggilan solver, FrontierOR berfokus pada apakah LLM dapat, seperti ahli OR sungguhan, merancang algoritma yang dapat diskalakan, berkualitas tinggi, dan efisien untuk masalah kompleks berdasarkan strukturnya.
FrontierOR dibangun melalui empat langkah: pemilihan masalah dari literatur OR asli (180 makalah dari 1992–2025), transformasi menjadi komponen tugas terstandar, validasi kualitas ganda (otomatis dan ahli), dan pemilihan subset "Hard" yang lebih menantang.
Protokol evaluasi yang ketat melibatkan penyaringan awal pada instance kecil untuk keterjalan, kelayakan, dan kualitas. Program yang lolos kemudian dievaluasi pada instance besar menggunakan empat metrik: Execution Rate, Feasibility, Solution Quality, dan Quality-Time Efficiency (QTE).
Hasil eksperimen dalam pengaturan "one-shot" menunjukkan bahwa model terdepan (seperti GPT-5.3-Codex, Gemini 3.1 Pro, Claude Opus 4.6) memiliki tingkat keterjalan program yang sangat tinggi (≥0.93). Namun, metrik kelayakan, kualitas solusi, dan terutama QTE masih jauh lebih rendah, mengungkap kesenjangan kemampuan desain algoritma yang sebenarnya. Subset "Hard" berhasil membedakan performa model-model ini dengan lebih jelas.
Analisis menunjukkan bahwa model yang lebih lemah sangat bergantung pada pemanggilan solver monolitik, sementara model terkuat (seperti Claude Opus) menunjukkan distribusi metode yang lebih seimbang, termasuk dekomposisi, heuristik, dan metode hibrid, yang berkorelasi dengan kinerja QTE yang lebih baik.
Eksperimen lebih lanjut dengan kerangka "self-evolution" (OpenEvolve, EoH, CORAL) menunjukkan peningkatan signifikan. Dengan iterasi berdasarkan umpan balik eksekusi, QTE dapat ditingkatkan dari 0.15 (one-shot) hingga 0.50 pada tugas tersulit, menunjukkan potensi besar pendekatan evolusioner.
Kesimpulannya, FrontierOR memetakan kemampuan rekayasa algoritma LLM untuk OR. Model terdepan sudah dapat menulis beberapa algoritma optimasi yang kompetitif, namun batas atasnya kini ditentukan oleh kemampuan menemukan struktur, merancang pencarian, dan berevolusi mandiri – menandai transisi dari pertanyaan "Bisakah LLM memodelkan?" menuju "Bisakah LLM menjadi perancang algoritma sejati?".
marsbit12m yang lalu
