Saat model besar diminta memberi "skor kualitas" pada sebuah gambar, seringkali keliru melihat.
Sebuah foto yang bersih, dan versi "degradasi"-nya yang diam-diam ditambahi noise, dikompres, sedikit buram—di mata kita kualitasnya jauh berbeda—tetapi di "mata" model multimodal besar (MLLM), kedua gambar ini hampir terlihat sama persis.
Sehingga skor yang diberikan, seringkali adalah perkiraan "berdasarkan perasaan", bukan hasil dari "melihat bukti".
Sekarang, tim peneliti dari Northwestern Polytechnical University dan The Hong Kong University of Science and Technology mengusulkan kerangka kerja baru—IQA-T1, untuk pertama kalinya membuat model multimodal besar belajar seperti inspektur profesional saat menilai kualitas gambar:
Tidak lagi hanya mengandalkan intuisi "sekilas pandang", melainkan secara aktif memanggil serangkaian alat analisis profesional, menghasilkan peta residu noise, distribusi gradien, spektrum Fourier, dll. yang terstruktur sebagai "bukti visual", kemudian langkah demi langkah membuat keputusan berdasarkan bukti tersebut.
Dari "memberi skor berdasarkan perasaan" menjadi "berbicara dengan bukti"—pada 7 benchmark penilaian kualitas gambar, IQA-T1 mencapai prestasi terbaik secara komprehensif (SOTA), rata-rata PLCC/SRCC mencapai 0.795/0.784, sekaligus memberikan proses penilaian yang dapat dijelaskan, dapat ditelusuri.
Makalah dan kode telah dibuka aksesnya.
△ Pemberian skor MLLM yang ada saat ini, baik itu "penalaran teks murni" (mudah terpengaruh bias semantik), atau "penalaran dengan pemotongan area" (sejumlah blok gambar tanpa penjelasan); IQA-T1 beralih ke paradigma baru "alat menghasilkan bukti visual".
Mengapa Model Besar Memberi Skor Kualitas Bisa Hanya "Berdasarkan Perasaan"?
Tujuan Penilaian Kualitas Gambar (Image Quality Assessment, IQA) adalah membuat skor yang diberikan mesin sedekat mungkin dengan persepsi subjektif manusia. Ia adalah "wasit" untuk serangkaian tugas visi seperti perbaikan gambar, peningkatan, kompresi, yang langsung menentukan apakah sistem visual berguna dan stabil di lingkungan nyata yang terbuka.
Seiring bangkitnya model multimodal besar, semakin banyak pekerjaan yang mulai menggunakan "kemampuan penalaran" mereka untuk melakukan IQA, berharap dapat memberi skor sekaligus menjelaskan "mengapa skornya seperti ini". Kedengarannya indah, tetapi tim peneliti menunjukkan sebuah cacat mendasar yang umum:
Pemberian skor MLLM yang ada saat ini, bergantung pada representasi visual internal yang mengandung bias semantik, bukan bukti degradasi tingkat rendah yang dapat diverifikasi.
Dengan kata lain: Pengkode visual model besar secara alami pandai memahami semantik tingkat tinggi seperti "ini kucing, ini pantai", tetapi sangat tidak sensitif terhadap degradasi tingkat rendah seperti noise, buram, artefak kompresi.
Dalam makalah ada gambaran yang sangat intuitif: Diberikan gambar asli
dan versi degradasinya yang ditambahi noise
, manusia akan memberi skor yang sangat berbeda, tetapi representasi visual keduanya dalam model besar hampir sama—
Representasi hampir tidak berubah, kualitasnya berbeda nyata. Inilah yang disebut Bias Semantik (Semantic Bias): Model tidak memiliki informasi yang cukup untuk merasakan degradasi, wajar jika hanya bisa "menebak".
Metode yang ada mencoba menambal dua hal, tetapi tidak tepat sasaran:
- Penalaran Teks Murni (seperti Q-Insight, VisualQuality-R1): Menghasilkan deskripsi kualitas terstruktur lalu memberi skor, tetapi seluruh penalaran masih dibangun di atas prior semantik yang "dibayangkan" sendiri oleh model, kekurangan jangkar visual yang dapat diverifikasi;
- Penalaran dengan Pemotongan Area (seperti Zoom-IQA, Q-Probe): Memperbesar dan memotong area yang mungkin bermasalah pada gambar lalu memberikannya ke model. Namun pada dasarnya area-area ini tetap adalah sekumpulan blok gambar tanpa penjelasan terstruktur, model melihatnya pun tidak bisa menjelaskan "apakah ini noise, buram, atau artefak".
Kesimpulan singkat: Mereka semua tidak menyediakan "bukti" untuk proses penalaran.
Ide Inti: Melengkapi Model Besar dengan "Kotak Peralatan Inspeksi"
Solusi IQA-T1 dapat dianalogikan seperti evolusi dokter memeriksa pasien:
Model terdahulu seperti dokter tradisional yang hanya mendiagnosis berdasarkan pengalaman "melihat, mendengar, bertanya, meraba"; sedangkan IQA-T1 seperti dokter modern yang belajar secara aktif melakukan CT, tes darah, rontgen—mendapatkan hasil pemeriksaan objektif (bukti) terlebih dahulu, baru kemudian mengambil keputusan berdasarkan itu.
Secara spesifik, tim menyiapkan sebuah perangkat alat persepsi untuk model. Saat bernalar, model akan secara mandiri memutuskan alat mana yang akan dipanggil, setiap alat khusus "membuat terlihat" jenis degradasi kualitas gambar tertentu, mengubah masalah yang tidak terlihat oleh mata (dan representasi standar model besar) menjadi gambar-gambar bukti terstruktur:
- Peta Residu Noise (Noise Residual Map): Mengurangi gambar asli dengan versi yang dihilangkan noisenya, mengeluarkan noise sensor, noise kompresi secara terpisah;
- Spektrum Magnitudo Fourier (Fourier Magnitude Spectrum): Mencari artefak periodik dalam domain frekuensi;
- Peta Konsistensi Arah Gradien (Gradient Orientation Coherence Map): Mengungkap ketidakkonsistenan struktur yang disebabkan oleh buram, halusan berlebihan;
......
Gambar-gambar bukti ini akan diintegrasikan bertahap ke dalam rantai penalaran, menjadi "bukti fisik" untuk setiap langkah penilaian model. Dengan demikian, IQA berubah dari tugas penalaran yang hanya mengandalkan bayangan semantik, menjadi penalaran berbasis bukti yang dapat dilacak.
Desain perangkat alat juga sangat diperhatikan. Tim mengidentifikasi 7 atribut persepsi kunci dalam IQA—struktur, ketajaman, noise, artefak, kecerahan, warna, naturalness, dan merancang 15 jenis bukti visual berdasarkan itu. Semua alat juga memenuhi tiga batasan rekayasa: Antarmuka pemanggilan seragam, hasil downsampling yang moderat (menghemat token), hasil sepenuhnya deterministik (memastikan bukti yang dilihat pada tiga tahap: konstruksi data, SFT, RL sepenuhnya konsisten).
Dari "Bisa Menggunakan Alat" ke "Tahu Kapan Menggunakannya": Pelatihan Dua Tahap
Agar model benar-benar menguasai kemampuan ini, dibutuhkan dua jenis kemampuan: tahu bagaimana cara menggunakan alat, dan tahu kapan saatnya menggunakannya. IQA-T1 menggunakan jalur pelatihan dua tahap untuk menyelesaikannya.
△
Tahap Pertama: Supervised Fine-Tuning (SFT)—Belajar "Bagaimana Menggunakan" Terlebih Dahulu
Melakukan supervised fine-tuning pada dataset Q-Tool yang dibangun sendiri, membuat model menguasai tiga hal: mengikuti templat penalaran terstruktur, menggunakan sintaks pemanggilan alat yang standar, menghubungkan bukti visual dengan penilaian kualitas. Perhatikan, model tidak perlu menghasilkan gambar bukti sendiri (itu hasil deterministik alat), pada saat pelatihan token yang sesuai dengan gambar bukti diberikan loss masking.
Tahap Kedua: Reinforcement Learning (RL)—Kemudian Belajar "Kapan Menggunakan"
SFT mengajarkan "bagaimana menggunakan", tetapi tidak mengoptimalkan "strategi pemanggilan". Oleh karena itu, tim menggunakan GRPO untuk reinforcement learning, khusus memoles strategi model memanggil alat secara adaptif. Fungsi reward terdiri dari empat bagian yang dirancang dengan cermat:
- Format Reward
: Apakah output sesuai dengan struktur standar (mengandung label pemanggilan alat dan skor akhir);
- Scoring Reward
: Semakin dekat skor prediksi dengan nilai sebenarnya, semakin tinggi reward (decay eksponensial);
- Tool Usage Reward
: Mendorong pemanggilan alat dengan jumlah "yang tepat"—terlalu sedikit tidak ada bukti, terlalu banyak memberi hukuman untuk redundansi;
- Repetition Penalty
: Begitu memanggil alat yang sama berulang kali untuk menunjukkan keberadaan, langsung dikurangi nilainya.
Empat item dijumlahkan dengan bobot (
bobot tertinggi, diberikan 5), akhirnya membuat model belajar menggunakan alat sesedikit mungkin, sebenar mungkin, mendapatkan bukti secukup mungkin.
Dataset Q-Tool: Dataset IQA "Penalaran Berbasis Bukti" Pertama
Di antara dataset IQA yang ada, tidak ada yang mendukung "penalaran bukti visual". Tim memutuskan membuat sendiri—Q-Tool, berisi 11k rantai penalaran multimodal berkualitas tinggi, setiap rantai mengikat bukti visual yang dihasilkan alat dengan analisis teks yang selaras dengan manusia.
△
Ia dibangun melalui jalur tiga tahap:
- Konstruksi Perangkat Alat:
Yaitu kumpulan 7 atribut/15 bukti visual yang disebut sebelumnya;
- Sintesis Rantai Penalaran Bukti:
Pertama ahli manusia menulis templat penalaran (membagi penilaian kualitas gambar menjadi tahapan "melihat struktur → menganalisis noise → menilai warna...", dan menetapkan pemetaan atribut ke alat), kemudian membiarkan GPT-4o menghasilkan rantai penalaran lengkap di bawah batasan templat, menghindari model berhalusinasi seenaknya;
- Verifikasi Rantai Penalaran:
Dari tiga dimensi: apakah alat digunakan dengan benar, apakah bukti benar-benar dirujuk, apakah kesimpulan didukung bukti, memeriksa setiap baris satu per satu, yang tidak memenuhi syarat langsung dihapus, kasus marginal direvisi secara manual.
Hasil Eksperimen: SOTA Komprehensif di 7 Benchmark
Tim melatih pada KonIQ, dan mengevaluasi kemampuan generalisasi lintas distribusi pada 7 benchmark yang mencakup distorsi nyata, distorsi sintetis, degradasi algoritma, konten generasi AI, lawan termasuk metode manual tradisional, metode pembelajaran mendalam, serta berbagai metode MLLM terkini.
Hasilnya, IQA-T1 meraih peringkat pertama secara komprehensif dengan rata-rata PLCC 0.795/SRCC 0.784 di 7 dataset:
Dibandingkan metode MLLM yang hanya bisa memberi skor tanpa penjelasan (seperti Q-Align, DeQA), IQA-T1 dalam menjaga akurasi tinggi, juga dapat memberikan rantai penalaran yang dapat dijelaskan, berbasis bukti;
Dibandingkan metode yang juga memiliki penalaran (seperti Q-Insight, VisualQuality-R1, Zoom-IQA), ia mencetak rekor terbaik di dua dataset yang sulit: distorsi sintetis (CSIQ) dan degradasi algoritma (PIPAL), juga sangat kompetitif di gambar nyata dan konten generasi AI.
Satu contoh intuitif paling menjelaskan masalah:
△
Yang lebih menarik adalah ablasi tentang "bagaimana alat dipanggil":
Artinya, alat bukan semakin banyak digunakan semakin baik—alat yang tidak relevan justru akan memperkenalkan token visual berlebihan dan gangguan. Pemanggilan dinamis IQA-T1 rata-rata hanya menggunakan 2.34 alat per gambar, tetapi mencapai efek terbaik di seluruh arena, juga lebih hemat waktu dan memori. Ini menunjukkan model benar-benar melakukan "penalaran berbasis bukti", bukan sekadar "menyesuaikan skor".
△
Selain itu, ketika kerangka kerja diganti ke basis yang berbeda seperti Qwen3-VL-2B, InternVL3.5-4B, tren kinerja tetap stabil—membuktikan bahwa "penalaran bukti visual berbasis alat" adalah mekanisme universal, bukan trik khusus model tertentu.
Tim
Pekerjaan ini dilakukan bersama oleh Northwestern Polytechnical University dan The Hong Kong University of Science and Technology. Penulis pertama makalah adalah Jinjian Wu dari Northwestern Polytechnical University dan Jiaqi Tang dari The Hong Kong University of Science and Technology (penulis bersama pertama), penulis korespondensi adalah Profesor Wei Wei dari Northwestern Polytechnical University dan Profesor Qifeng Chen dari The Hong Kong University of Science and Technology.
Tim berharap pekerjaan ini dapat menginspirasi lebih banyak penelitian: memasukkan bukti visual terstruktur ke dalam sistem penalaran multimodal, membuat "persepsi" model besar menjadi lebih andal dan dapat dijelaskan.
Makalah: https://arxiv.org/abs/2607.12375v1
Kode: https://github.com/zibuyu-02/IQA-T1
Model: https://huggingface.co/zibuyu-02/IQA-T1
Data: https://huggingface.co/datasets/zibuyu-02/Q-Tool
Demo: https://huggingface.co/spaces/Jiaqi-hkust/IQA-T1
Artikel ini berasal dari akun WeChat "量子位", penulis: Tim IQA-T1
