Многомодальные ретриверные головы впервые идентифицированы: раскрытие внутреннего механизма поиска в длинных документах для больших моделей
С развитием Office AI и документных агентов большие модели начали напрямую обрабатывать длинные материалы, такие как финансовые отчеты, контракты и исследовательские работы, содержащие текст и изображения. Однако способность принять целый документ не означает умения правильно использовать содержащуюся в нем информацию. Когда модель сталкивается с сотнями страниц текста, изображений, таблиц и диаграмм, ключевой вопрос заключается в том, как найти доказательства, действительно относящиеся к текущему запросу.
Новое исследование, принятое на EMNLP 2026 под названием "Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models", изучает этот внутренний процесс моделей. Оно фокусируется на том, существуют ли внутри модели специальные головы внимания, ответственные за направление вопроса к релевантным текстовым или визуальным доказательствам, когда они уже присутствуют во входных данных. Исследователи называют такие головы внимания мультимодальными поисковыми головами (MMRetHeads).
Метод обнаружения MMRetHeads, вдохновленный QRHead, анализирует внимание от токенов вопроса к областям с помеченными доказательствами. Сила внимания, указывающего на доказательства (текстовые или визуальные токены), определяет оценку поиска для каждой головы внимания. Исследование охватывает 6 длинноконтекстных визуально-языковых моделей, включая Qwen3-VL и Gemma3, и тестирует различные задачи и длины контекста.
Эксперименты показывают, что эти поисковые головы действительно критически важны для ответов модели. Их отключение приводит к значительному падению производительности в задачах поиска текста и изображений, а также в реалистичных задачах问答 по длинным документам (например, MMLongBench-Doc, SlideVQA), в то время как отключение случайных голов внимания оказывает гораздо меньший эффект. В задачах мультимодального рассуждения отключение поисковых голов может заставить модель заявлять о "недостатке информации", даже если доказательства присутствуют, или генерировать неверные ответы.
Кроме того, исследователи применили сигналы от этих внутренних поисковых голов для мультимодального поиска в документах. Подход позволяет ранжировать страницы или области макета (текст, таблицы, изображения) по их релевантности вопросу без необходимости обучения отдельного поискового модуля. На наборе данных MMDocIR метод показал улучшение Recall@1 на 7.7 процентных пунктов для поиска на уровне страниц и на 6.3 пункта для поиска на уровне областей макета в модели Qwen3-VL-8B, превзойдя сильные базовые показатели.
marsbit09/08 10:12
