Возможности AI в рисовании становятся всё сильнее, но пользовательское ощущение остаётся одним словом: медленно.
Для получения изображения с разрешением 1024, от промпта до готовой картинки, диффузионной модели часто приходится производить множественные выборки в пространстве высокого разрешения. Качество растёт, но вместе с ним растёт и время ожидания. Чем мощнее способности, тем толще счёт за инференс.
Среди основных методов ускорения диффузионных моделей в прошлом методы, такие как квантизация, эффективный Attention, сильно зависят от аппаратной поддержки; дистилляция шагов зависит от дорогой тонкой настройки и часто нестабильна в обучении; методы кеширования признаков требуют динамического распознавания и кеширования промежуточных признаков, а ускорение редко превышает 5 раз.
Возможно ли, не полагаясь на определённое железо, не выполняя дистилляцию и тонкую настройку модели, не требуя динамического распознавания во время выполнения, всё же значительно увеличить скорость генерации изображений?
Исследовательская команда из Пекинского университета авиации и космонавтики (Бэйхан), Наньянского технологического университета (NTU) и Швейцарской высшей технической школы Цюриха (ETH) недавно предприняла очень простую попытку:
Сначала сделать набросок в низком разрешении, затем увеличить его, и в конце проработать детали в высоком разрешении.
MrFlow (Multi-Resolution Flow Matching) использует именно такой трёхэтапный подход, сокращая время сквозной генерации на моделях типа Qwen-Image с 49.32с до 4.77с, что даёт фактическое ускорение в 10.35 раз.
В день публикации статья попала в Hugging Face Daily Papers; в течение трёх дней с момента публикации GitHub собрал уже 200+ stars; в настоящее время она также попала в Hugging Face Trending Papers.
Тем временем, создатели в сообществе уже начали экспериментировать, обсуждать и расширять возможности MrFlow:
Возвращаясь к самому MrFlow, почему такой простой процесс даёт ускорение на порядок в сквозной генерации?
Сначала посмотрим на источник ускорения
Конфигурация MrFlow по умолчанию для сильного ускорения — 12+1:
- Этап низкого разрешения выполняется за 12 шагов
- Этап высокого разрешения выполняет инференс всего за 1 шаг
При нативной генерации в высоком разрешении самые тяжёлые вычисления приходятся на выборку в высоком разрешении. MrFlow перемещает основную нагрузку на этап низкого разрешения, а высокое разрешение используется лишь для короткой доработки деталей. Дополнительные этапы, такие как VAE, суперразрешение, подготовка шума, не требуют больших затрат, и даже с учётом их в общем времени, всё равно достигается ускорение сквозной генерации более чем в 10 раз.
Теперь посмотрим на качество генерации
При ускорении на порядок MrFlow способен стабильно генерировать чёткие и чистые изображения, количественные показатели показывают, что разрыв можно удерживать в пределах примерно 1%.
Пример на Qwen-Image (ускорение в 10.3 раза):
Пример на FLUX.1-dev (ускорение в 8.25 раза):
Почему используется многоуровневое разрешение?
Проанализируем идею дизайна: присущая изображениям пространственная информационная структура создаёт условия для такого простого и эффективного метода генерации, как снижение разрешения. Кто является объектом, где он расположен, какая поза, правильно ли композиция, соответствует ли общая семантика промпту — всё это не обязательно нужно вычислять с нуля непосредственно в пространстве высокого разрешения. Более низкое разрешение почти не разрушает исходную семантическую информацию, позволяет сохранить общую пространственную структуру, и при этом количество токенов изображения уменьшается квадратично.
MrFlow использует именно эту возможность: сначала дёшево генерировать структуру, и только в конце прорабатывать детали. А между ними может напрямую использоваться предобученная модель суперразрешения.
Детали каждого этапа
Первый этап, генерация структуры в низком разрешении
Сначала исходная модель генерирует изображение в латентном пространстве низкого разрешения. Этот этап отвечает за глобальную структуру: объект, расположение, семантику, цветовую атмосферу.
Преимущества низкого разрешения очевидны:
- Количество токенов изображения уменьшается квадратично, каждый шаг становится дешёвым
- Низкочастотная структура легче сходится, общее количество шагов тоже можно уменьшить
Второй этап, возврат в пространство пикселей для суперразрешения
Далее результат низкого разрешения декодируется в изображение, и выполняется суперразрешение для повышения разрешения.
Здесь есть ключевой выбор: не увеличивать масштаб напрямую в латентном пространстве, а увеличивать в пространстве пикселей.
Потому что апскейлинг в латентном пространстве, хотя и кажется удобным, легко приводит к таким проблемам на последующей обработке, как локальное размытие, искажение текстур, разрушение структуры. Суперразрешение в пространстве пикселей больше похоже на обработку уже определившейся картины: структура сохраняется, дополняются детали, и при этом можно полноценно использовать передовые предобученные модели суперразрешения.
В статье специально сравниваются различные стратегии суперразрешения. Прямая интерполяция и некоторые модели суперразрешения, обученные на основе регрессионных потерь, склонны к размытию, диффузионное суперразрешение может ошибочно изменять локальную семантику, а GAN-модели суперразрешения, такие как Real-ESRGAN, более сбалансированы между чёткостью, стабильностью и скоростью.
Третий этап, добавить немного шума, затем доработать в высоком разрешении
Изображение после суперразрешения уже похоже на картинку в высоком разрешении, но всё же неизбежно имеет нечёткие локальные детали или семантическую путаницу, особенно при генерации текста. Причина проста: сеть суперразрешения не понимает промпт и может дорисовать текстуры, которые выглядят правдоподобно, но семантически не совсем корректны.
Поэтому MrFlow повторно кодирует изображение после суперразрешения обратно в латентное пространство, затем добавляет небольшое количество шума низкой интенсивности для подготовки к следующему этапу перезаписи. Поскольку суперразрешение не изменило низкочастотную информацию об объекте, и среди добавленной высокочастотной информации только небольшая часть требует дальнейшей доработки, обычно достаточно повторно добавить шум интенсивностью около 0.12 для перезаписи высокочастотных сигналов.
Наконец, это передаётся исходной модели flow-matching для одношаговой доработки в высоком разрешении. Нужен всего один шаг, потому что предыдущая генерация в низком разрешении + суперразрешение уже предоставили достаточно эффективной информации, интенсивность добавляемого шума для перезаписи ошибочных сигналов низка, поэтому стартовая точка инференса в высоком разрешении естественным образом оказывается на траектории, близкой к чистому изображению, и достаточно одного шага выборки вдоль прямого направления.
По сравнению с другими методами ускорения без обучения, в чём преимущество?
Судя по кривым компромиссов (trade-off) и реализации метода, преимущества MrFlow очевидны: гибкая настройка, высокая эффективность и точность, простой код, кривая показателей теста Geneval — коэффициент ускорения стабильно находится в правом верхнем углу графика, стабильно превосходя другие методы ускорения без обучения.
Среди них, при коэффициенте сквозного ускорения более чем в 4 раза, методы класса Cache быстро сталкиваются с коллапсом.
Другие методы ускорения с многоуровневым разрешением выполняют апскейлинг в латентном пространстве, что легко приводит к размытости, артефактам, локальным деформациям структуры, и заметным различиям в обобщающей способности на разных моделях. С визуальной точки зрения, разница между этими методами и MrFlow более заметна, чем по тестовым показателям: эти методы при высоком коэффициенте ускорения часто демонстрируют локальный коллапс текстур или нестабильность структуры, в то время как MrFlow лучше сохраняет детали чисто.
Когда изображения, полученные разными методами, размещаются вместе для сравнения, видна та же тенденция: MrFlow среди методов без обучения достигает наилучшего баланса скорости и качества; в сочетании с методами дистилляции может обеспечить дополнительное ускорение.
Пример сравнения на Qwen-Image:
Пример сравнения на FLUX.1-dev:
Применимо ко всем передовым моделям, и может ортогонально сочетаться с дистилляцией временных шагов
В статье и открытом репозитории уже охвачены различные передовые модели:
Примечательно, что он также может сочетаться с моделями дистилляции временных шагов, достигая ускорения более чем в 25 раз по сравнению с исходной базовой моделью с 50 шагами. Другими словами, если у вас уже есть модели дистилляции, такие как Pi-Flow, Z-Image-Turbo, MrFlow не требует переобучения комбинированной схемы, а может напрямую подключаться к существующим весам для дальнейшего ускорения.
Полностью открытый исходный код, включает плагин для ComfyUI
Авторы в репозитории GitHub уже подготовили минимальный демо-пример для запуска одним нажатием и полные параметрические примеры для различных моделей.
И кроме обычного кода алгоритма, они также сразу предоставили пример плагина для ComfyUI, чтобы создатели в сообществе могли использовать его сразу. В настоящее время в сообществе уже есть реализации MrFlow на новейших моделях, таких как Krea-2.
Дополнительное обсуждение
Стратегия многоуровневого разрешения также прослеживается в предыдущих работах: в сообществе такие процессы, как Hires.fix, уже давно вводят суперразрешение в пространстве пикселей. Разница в том, что MrFlow не стремится расширить область рисования предобученной модели до более высоких разрешений, а фокусируется на ускорении генерации в рамках уже изученных возможностей, и с помощью систематических экспериментов объясняет, почему его процесс эффективен.
Другими словами, MrFlow обсуждает не «можно ли рисовать больше», а «раз модель уже умеет рисовать, можно ли уменьшить ненужные вычисления в пространстве высокого разрешения». Исходя из этого вопроса, сначала выполнить общую компоновку на этапе низкого разрешения, а затем доработать детали на этапе высокого разрешения — это более целенаправленный способ распределения вычислительных ресурсов.
Более рациональное планирование гранулярности вычислений — вот причина, почему MrFlow прост, но эффективен.
Название статьи: Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
Ссылка на статью: https://arxiv.org/abs/2607.01642
Ссылка на код: https://github.com/Xingyu-Zheng/MrFlow
Hugging Face Daily Paper: https://huggingface.co/papers/date/2026-07-03
Hugging Face Trending Papers: https://huggingface.co/papers/trending
Эта статья из официального аккаунта WeChat «Квантовый бит» (量子位), автор: команда MrFlow
