Model Besar Tak Lagi Hanya 'Berbicara Saja' Saat Memberi Skor pada Gambar, Gunakan Peta Struktur, Spektrum Frekuensi sebagai 'Bukti Fisik', dan 'Bukti Visual' untuk Memberi Skor pada Gambar
Model multi-modal besar (MLLM) sering gagal menilai kualitas gambar secara akurat karena mengandalkan bias semantik internal, bukan bukti degradasi visual yang terukur. Untuk mengatasi ini, tim peneliti dari **Northwestern Polytechnical University** dan **Hong Kong University of Science and Technology** memperkenalkan **IQA-T1**, sebuah framework baru yang memungkinkan MLLM menilai kualitas gambar dengan **bukti visual terstruktur**.
IQA-T1 dilengkapi dengan **toolbox analisis** yang berisi alat-alat seperti *Noise Residual Map*, *Fourier Magnitude Spectrum*, dan *Gradient Orientation Coherence Map*. Alat-alat ini menghasilkan "bukti visual" yang memvisualisasikan noise, artefak, blur, dan degradasi lainnya. Model kemudian belajar **memanggil alat-alat ini secara adaptif** dan melakukan penalaran langkah demi langkah berdasarkan bukti-bukti tersebut.
Framework ini dilatih dalam dua tahap: **Supervised Fine-Tuning (SFT)** untuk mempelajari cara menggunakan alat dan template penalaran, dan **Reinforcement Learning (RL)** dengan GRPO untuk mengoptimalkan strategi pemanggilan alat yang efisien. Tim juga membuat dataset **Q-Tool**, dataset IQA pertama yang dilengkapi rantai penalaran multimodal berbasis bukti.
Dalam evaluasi pada 7 benchmark IQA (termasuk gambar dengan distorsi nyata, sintetis, dan hasil AI), IQA-T1 mencapai kinerja **terbaik secara keseluruhan (SOTA)** dengan skor PLCC/SRCC rata-rata **0.795/0.784**. Ia mengungguli metode MLLM lain sekaligus menyediakan proses penilaian yang **dapat dijelaskan dan dilacak**. Rata-rata, model hanya menggunakan **2.34 alat per gambar**, membuktikan efisiensi dan efektivitas pendekatan berbasis bukti ini.
marsbit07/20 07:50
