Khi để một mô hình lớn chấm “điểm chất lượng” cho một bức ảnh, nó thường nhìn nhầm.
Một bức ảnh sạch sẽ, và phiên bản “suy thoái” của nó đã bị thêm nhiễu một cách lén lút, bị nén, hơi mờ một chút — trong mắt chúng ta, chất lượng khác biệt trời vực — nhưng trong “con mắt” của mô hình đa phương thức lớn (MLLM), hai bức ảnh này hầu như giống hệt nhau.
Vì vậy, điểm số mà nó đưa ra thường là ước tính “theo cảm giác”, chứ không phải được suy ra từ “bằng chứng”.
Hiện nay, nhóm nghiên cứu từ Đại học Công nghệ Tây Bắc và Đại học Khoa học và Công nghệ Hồng Kông đã đề xuất một khuôn khổ mới — IQA-T1, lần đầu tiên giúp mô hình đa phương thức lớn học cách giống như một chuyên gia kiểm tra khi đánh giá chất lượng hình ảnh:
Không chỉ dựa vào trực giác “liếc nhìn”, mà chủ động gọi một bộ công cụ phân tích chuyên nghiệp, tạo ra biểu đồ phần dư nhiễu, phân bố gradient, phổ Fourier, v.v., là những “bằng chứng hình ảnh” có cấu trúc, sau đó từng bước đưa ra phán đoán dựa trên bằng chứng.
Từ “chấm điểm theo cảm giác” đến “nói có bằng chứng” — trên 7 tiêu chuẩn đánh giá chất lượng hình ảnh, IQA-T1 đạt được thành tích tổng hợp tối ưu (SOTA), trung bình PLCC/SRCC đạt 0.795/0.784, đồng thời quá trình đánh giá đưa ra có thể giải thích, có thể truy vết.
Bài báo và mã nguồn đều đã được công bố mở.
△ Các phương pháp chấm điểm MLLM hiện có hoặc là “suy luận thuần văn bản” (dễ bị sai lệch ngữ nghĩa), hoặc là “suy luận cắt vùng” (một đống các khối hình ảnh không có giải thích); IQA-T1 hướng tới một mô hình mới “công cụ tạo bằng chứng hình ảnh”.
Tại Sao Mô Hình Lớn Chấm Điểm Chất Lại “Theo Cảm Giác”?
Mục tiêu của Đánh giá Chất lượng Hình ảnh (Image Quality Assessment, IQA) là để điểm số do máy đưa ra càng gần với cảm nhận chủ quan của con người càng tốt. Nó là “trọng tài” cho một loạt các tác vụ thị giác như khôi phục, tăng cường, nén hình ảnh, quyết định trực tiếp hệ thống thị giác có hữu dụng, ổn định hay không trong môi trường mở thực tế.
Với sự trỗi dậy của các mô hình lớn đa phương thức, ngày càng nhiều nghiên cứu bắt đầu sử dụng “khả năng suy luận” của chúng để thực hiện IQA, hy vọng vừa đưa ra điểm số, vừa giải thích rõ “tại sao lại là điểm số này”. Nghe có vẻ tuyệt vời, nhưng nhóm nghiên cứu chỉ ra một khiếm khuyết cơ bản chung:
Các phương pháp chấm điểm MLLM hiện có phụ thuộc vào biểu diễn thị giác nội bộ mang định kiến ngữ nghĩa, thay vì bằng chứng suy thoái tầng thấp có thể kiểm chứng.
Nói một cách dễ hiểu: bộ mã hóa thị giác của mô hình lớn vốn giỏi hiểu các ngữ nghĩa cấp cao như “đây là một con mèo, đây là một bãi biển”, nhưng lại cực kỳ không nhạy cảm với các suy thoái tầng thấp như nhiễu, mờ, méo mó do nén.
Trong bài báo có một mô tả trực quan: Cho một bức ảnh gốc
và phiên bản suy thoái đã được thêm nhiễu của nó
, con người sẽ cho điểm số chênh lệch lớn, nhưng biểu diễn thị giác của cả hai trong mô hình lớn lại gần như bằng nhau —
Biểu diễn gần như không đổi, nhưng chất lượng lại có sự khác biệt rõ ràng. Đây chính là cái gọi là Định kiến Ngữ nghĩa (Semantic Bias): mô hình trên tay hoàn toàn không có đủ thông tin để cảm nhận sự suy thoái, tự nhiên chỉ có thể “đoán”.
Các phương pháp hiện có cố gắng vá hai miếng vá, nhưng đều không trúng đích:
- Suy luận thuần văn bản (như Q-Insight, VisualQuality-R1): Tạo ra một đoạn mô tả chất lượng có cấu trúc rồi chấm điểm, nhưng toàn bộ quá trình suy luận vẫn dựa trên tiên nghiệm ngữ nghĩa do chính mô hình “tưởng tượng ra”, thiếu điểm neo thị giác có thể kiểm chứng;
- Suy luận cắt vùng (như Zoom-IQA, Q-Probe): Phóng to và cắt các vùng có vấn đề trong ảnh để đưa cho mô hình. Nhưng về bản chất, những vùng này vẫn chỉ là một đống các khối hình ảnh không có giải thích cấu trúc, mô hình nhìn thấy cũng không thể nói rõ “khối này thực sự là nhiễu, là mờ hay là méo mó”.
Tóm lại một câu: Chúng đều không cung cấp được “bằng chứng” cho quá trình suy luận.
Ý Tưởng Cốt Lõi: Trang Bị Cho Mô Hình Lớn Một “Bộ Công Cụ Kiểm Tra”
Giải pháp của IQA-T1 có thể so sánh với sự tiến hóa trong việc khám bệnh của bác sĩ:
Mô hình trước đây giống như một lão lang y chỉ dựa vào kinh nghiệm “vọng, văn, vấn, thiết” để chẩn đoán; còn IQA-T1 giống như một bác sĩ hiện đại biết chủ động chỉ định chụp CT, xét nghiệm máu, chụp X-quang — trước tiên có được kết quả kiểm tra khách quan (bằng chứng), rồi mới đưa ra phán đoán dựa trên đó.
Cụ thể, nhóm nghiên cứu đã chuẩn bị cho mô hình một kho công cụ cảm nhận. Khi suy luận, mô hình sẽ tự quyết định gọi những công cụ nào trong số đó, mỗi công cụ chuyên “hiển thị” một loại suy thoái chất lượng hình ảnh cụ thể, biến những vấn đề mắt thường (và biểu diễn tiêu chuẩn của MLLM) không nhìn thấy thành những bức ảnh bằng chứng có cấu trúc:
- NoiseResidualMap (Biểu đồ phần dư nhiễu): Dùng ảnh gốc trừ đi phiên bản đã khử nhiễu, “tách riêng” nhiễu cảm biến, nhiễu nén ra;
- FourierMagnitudeSpectrum (Phổ biên độ Fourier): Bắt ra các méo mó chu kỳ trong miền tần số;
- GradientOrientationCoherenceMap (Biểu đồ tính nhất quán hướng gradient): Phơi bày sự không nhất quán cấu trúc do mờ, làm mịn quá mức gây ra;
......
Những ảnh bằng chứng này sẽ được tích hợp từng bước vào chuỗi suy luận, trở thành “vật chứng” cho mỗi bước phán đoán của mô hình. Bằng cách này, IQA biến từ một nhiệm vụ suy luận thuần túy dựa trên tưởng tượng ngữ nghĩa thành một suy luận dựa trên bằng chứng có thể kiểm chứng.
Thiết kế của kho công cụ cũng rất tinh tế. Nhóm nghiên cứu đã hệ thống hóa 7 thuộc tính cảm nhận chính trong IQA — cấu trúc, độ sắc nét, nhiễu, méo mó, độ sáng, màu sắc, độ tự nhiên, và dựa trên đó thiết kế 15 loại bằng chứng hình ảnh. Tất cả các công cụ còn đáp ứng ba ràng buộc kỹ thuật: giao diện gọi thống nhất, đầu ra được giảm mẫu vừa phải (tiết kiệm token), kết quả hoàn toàn xác định (đảm bảo bằng chứng nhìn thấy ở ba giai đoạn xây dựng dữ liệu, SFT, RL là hoàn toàn nhất quán).
Từ “Biết Dùng Công Cụ” Đến “Biết Chọn Thời Điểm”: Huấn Luyện Hai Giai Đoạn
Để mô hình thực sự nắm vững kỹ năng này, cần hai khả năng: biết cách dùng công cụ, và biết khi nào nên dùng. IQA-T1 sử dụng một quy trình huấn luyện hai giai đoạn để giải quyết.
△
Giai đoạn một: Vi chỉnh có giám sát (SFT) — Trước hết học “cách dùng”
Thực hiện vi chỉnh có giám sát trên tập dữ liệu tự xây dựng Q-Tool, giúp mô hình nắm vững ba điều: tuân theo mẫu suy luận có cấu trúc, sử dụng cú pháp gọi công cụ chuẩn, và liên kết bằng chứng hình ảnh với phán đoán chất lượng. Lưu ý, mô hình không cần tự tạo ảnh bằng chứng (đó là đầu ra xác định của công cụ), trong quá trình huấn luyện đã thực hiện loss masking đối với token tương ứng với ảnh bằng chứng.
Giai đoạn hai: Học tăng cường (RL) — Sau đó học “khi nào dùng”
SFT dạy “cách dùng”, nhưng chưa tối ưu hóa “chiến lược gọi”. Vì vậy, nhóm nghiên cứu sử dụng GRPO để thực hiện học tăng cường, chuyên mài giũa chiến lược gọi công cụ thích ứng của mô hình. Hàm thưởng được kết hợp cẩn thận từ bốn phần:
- Phần thưởng định dạng
: Đầu ra có tuân thủ cấu trúc quy phạm hay không (bao gồm nhãn gọi công cụ và điểm số cuối cùng);
- Phần thưởng chấm điểm
: Điểm dự đoán càng gần với giá trị thực, phần thưởng càng cao (suy giảm theo hàm mũ);
- Phần thưởng sử dụng công cụ
: Khuyến khích gọi một số lượng công cụ “vừa đủ” — quá ít thì không có bằng chứng, quá nhiều thì phạt vì dư thừa;
- Hình phạt lặp lại
: Một khi lặp lại gọi cùng một công cụ để tạo sự hiện diện, trừ điểm ngay lập tức.
Bốn phần được tổng hợp có trọng số (
có trọng số cao nhất, là 5), cuối cùng giúp mô hình học được cách sử dụng càng ít, càng đúng công cụ, để thu được càng đủ bằng chứng càng tốt.
Tập Dữ Liệu Q-Tool: Tập Dữ Liệu IQA “Suy Luận Bằng Chứng” Đầu Tiên
Trong các tập dữ liệu IQA hiện có, không có cái nào hỗ trợ “suy luận bằng chứng hình ảnh”. Nhóm nghiên cứu tự xây dựng một cái — Q-Tool, chứa 11k chuỗi suy luận đa phương thức chất lượng cao, mỗi chuỗi liên kết bằng chứng hình ảnh do công cụ tạo ra với phân tích văn bản được căn chỉnh bởi con người.
△
Nó được xây dựng thông qua một quy trình ba giai đoạn:
- Xây dựng kho công cụ:
Tức là bộ công cụ 7 thuộc tính/15 bằng chứng đã nói ở trên;
- Tổng hợp chuỗi suy luận bằng chứng:
Đầu tiên chuyên gia con người viết mẫu suy luận (chia việc đánh giá chất lượng hình ảnh thành các giai đoạn như “xem cấu trúc → phân tích nhiễu → đánh giá màu sắc...”, và quy định ánh xạ từ thuộc tính đến công cụ), sau đó để GPT-4o tạo ra chuỗi suy luận hoàn chỉnh dưới ràng buộc của mẫu, tránh việc mô hình “ảo giác” một cách tự do;
- Xác thực chuỗi suy luận:</li
: Kiểm tra từng chuỗi theo ba chiều: công cụ có được dùng đúng không, bằng chứng có thực sự được trích dẫn không, kết luận có được hỗ trợ bởi bằng chứng không, xóa trực tiếp những chuỗi không đạt, và tinh chỉnh thủ công các trường hợp biên.
Kết Quả Thực Nghiệm: SOTA Tổng Hợp Trên 7 Tiêu Chuẩn
Nhóm nghiên cứu huấn luyện trên KonIQ, và đánh giá khả năng tổng quát hóa phân phối chéo trên 7 tiêu chuẩn bao phủ suy thoái thực tế, suy thoái tổng hợp, suy thoái thuật toán, nội dung tạo bởi AI, đối thủ bao gồm các phương pháp thủ công truyền thống, phương pháp học sâu, và hàng loạt phương pháp MLLM mới nhất.
Kết quả là, IQA-T1 đã giành được vị trí tổng hợp thứ nhất với trung bình PLCC 0.795 / SRCC 0.784 trên 7 tập dữ liệu:
So với các phương pháp MLLM chỉ biết chấm điểm, không biết giải thích (như Q-Align, DeQA), IQA-T1 vừa duy trì độ chính xác cao, vừa có thể đưa ra chuỗi suy luận có thể giải thích, có bằng chứng;
So với các phương pháp cũng có suy luận (như Q-Insight, VisualQuality-R1, Zoom-IQA), nó đã phá kỷ lục tốt nhất trên hai tập dữ liệu khó nhằn suy thoái tổng hợp (CSIQ) và suy thoái thuật toán (PIPAL), đồng thời cũng rất cạnh tranh trên hình ảnh thực tế và nội dung tạo bởi AI.
Một ví dụ trực quan nhất có thể nói lên vấn đề:
△
Thú vị hơn là về thử nghiệm loại bỏ liên quan đến “công cụ được gọi như thế nào”:
Nghĩa là, không phải dùng càng nhiều công cụ càng tốt — các công cụ không liên quan ngược lại sẽ đưa vào token thị giác dư thừa và gây nhiễu. Việc gọi động của IQA-T1 trung bình mỗi ảnh chỉ dùng 2.34 công cụ, nhưng lại đạt được hiệu quả tốt nhất toàn trường, đồng thời còn tiết kiệm thời gian và bộ nhớ hiển thị hơn. Điều này chứng tỏ mô hình thực sự đang “suy luận dựa trên bằng chứng”, chứ không đơn thuần là “khớp điểm số”.
△
Ngoài ra, khi thay đổi khuôn khổ sang các bộ mã hóa cơ sở khác nhau như Qwen3-VL-2B, InternVL3.5-4B, xu hướng hiệu suất vẫn ổn định — chứng minh “suy luận bằng chứng hình ảnh hóa công cụ” là một cơ chế phổ quát, chứ không phải là kỹ thuật độc quyền của một mô hình cụ thể nào.
Nhóm Nghiên Cứu
Công trình này được thực hiện bởi sự hợp tác giữa Đại học Công nghệ Tây Bắc và Đại học Khoa học và Công nghệ Hồng Kông. Tác giả đầu tiên của bài báo là Jinjian Wu từ Đại học Công nghệ Tây Bắc và Jiaqi Tang từ Đại học Khoa học và Công nghệ Hồng Kông (đồng tác giả thứ nhất), tác giả liên hệ là Giáo sư Wei Wei từ Đại học Công nghệ Tây Bắc và Giáo sư Qifeng Chen từ Đại học Khoa học và Công nghệ Hồng Kông.
Nhóm nghiên cứu hy vọng công trình này sẽ truyền cảm hứng cho nhiều nghiên cứu hơn: đưa bằng chứng hình ảnh có cấu trúc vào hệ thống suy luận đa phương thức, giúp “nhận thức” của mô hình lớn trở nên đáng tin cậy và có thể giải thích hơn.
Bài báo: https://arxiv.org/abs/2607.12375v1
Mã nguồn: https://github.com/zibuyu-02/IQA-T1
Mô hình: https://huggingface.co/zibuyu-02/IQA-T1
Dữ liệu: https://huggingface.co/datasets/zibuyu-02/Q-Tool
Demo: https://huggingface.co/spaces/Jiaqi-hkust/IQA-T1
Bài viết từ tài khoản công chúng WeChat “Quantum Bits”, tác giả: Đội ngũ IQA-T1
