AI画图能力越来越强,但用户体感还是一个字:慢。
一张1024分辨率的图像,从prompt到出图,扩散模型往往得在高分辨率空间里一遍遍采样。质量是上来了,等待时间也跟着上来了。能力越强,推理账单越厚。
过往扩散模型的主流加速方法中,量化、高效Attention等方法强依赖于硬件协同;步数蒸馏依赖高成本微调,且训练时常不稳定;特征缓存类方法需要动态识别并缓存中间特征,且加速比难以超过5倍。
有没有可能不依赖特定硬件、不蒸馏微调模型、不需要运行时做动态识别,也能把图像生成速度直接抬上去?
来自北航、NTU、ETH的研究团队最近做了一个非常简洁的尝试:
先低清打草稿,再放大,最后高清补一笔。
MrFlow(Multi-Resolution Flow Matching)就用这样的三阶段,在Qwen-Image等模型上把端到端生成时间从49.32s压到4.77s,实际加速10.35x。
文章发布当日即登上Hugging Face Daily Papers;发布三天内,GitHub已收获200+stars;目前也已登上Hugging Face Trending Papers。
与此同时,社区创作者们已经开始围绕MrFlow做尝试、讨论和扩展:
回到MrFlow本身,它为什么能用这么简单的流程换来10倍量级的端到端加速?
先看看加速来源
MrFlow的默认强加速配置是12+1:
- 低分辨率阶段跑12步
- 高分辨率阶段只推理1步
原生高清生成里,最重的计算都压在高分辨率采样上。MrFlow则把大头挪到低分辨率阶段,高分辨率只做短程补细节。中间的VAE、超分、噪声准备这些额外步骤的开销并不大,计入总时间后依然能达到10倍以上的端到端加速。
再看看生成效果
在10倍量级加速下,MrFlow能够稳定地生成清晰干净的图像,定量指标显示差距能控制在约1%以内。
Qwen-Image上的样例(10.3倍加速):
FLUX.1-dev上的样例(8.25倍加速):
为什么要采用多级分辨率
分析下设计思路:图像天然具有的空间信息结构为降低分辨率这种朴素高效的生成方式提供了条件。主体是谁、位置在哪里、姿态怎样、构图是否合理、整体语义有没有对上prompt——这些东西其实不一定非要直接在高分辨率空间里从头开始算。更低的分辨率几乎不会严重破坏原有的语义信息、能够保持整体的空间结构,同时图像tokens数量也会产生平方级的减少。
MrFlow抓住的就是这个机会:先便宜地生成结构,最后再精修细节。而两者之间则可以直接由预训练的超分辨率模型衔接。
各个步骤的细节
第一步,低分辨率结构生成
先让原始模型在低分辨率latent空间里生成一张图。这一步负责全局结构:主体、布局、语义、颜色氛围。
低分辨率的好处很直接:
- 图像token平方级减少, 每一步 都便宜
- 低频结构更容易收敛, 总步数 也可以少
第二步,回到像素空间超分
接下来,把低分辨率结果解码成图像,再做超分以抬升分辨率。
这里有一个关键选择:不在latent空间里直接放大,而是在像素空间放大。
因为在latent空间上采样虽然看起来省事,但容易带来后续处理时的局部糊、纹理乱、结构破等难题。像素空间超分则更像是沿着已经确定的画面继续加工:结构保住、补充细节,而且能跟充分复用过往的先进预训练超分模型。
论文里还专门比较了不同超分策略。直接插值和部分基于回归损失训练得到的超分模型容易糊,扩散式超分可能改错局部语义,而Real-ESRGAN等基于GAN的超分模型在清晰度、稳定性和速度之间更均衡。
第三步,加一点噪声,再高清修缮
超分之后的图已经像一张高清图了,但仍然具有不可避免的局部细节不清或语义混乱,尤其是涉及到文本生成时。原因很简单:超分网络不懂prompt,可能会补出看起来合理、但语义上并不完全正确的纹理。
于是MrFlow会把超分图重新编码回latent空间后,先注入一小份低强度噪声以准备下一步重写。由于超分没有改变主体的低频信息,且补充的高频信息中只有少部分需要再进行修缮,因此这里通常只用重新添加0.12左右强度的噪声进行高频信号覆写即可。
最后再交给原始flow-matching模型做单步高分辨率refine。只需要1步是因为前面的低分辨率生成+超分的有效信息已经足够充分,覆写错误信号所加的噪声强度很低,因此高分辨率的推理起点自然地落在了在靠近干净图像一侧的轨迹上,沿直线方向单步采样即可。
和其他免训练加速方法相比,好在哪里?
结合trade-off曲线与方法实现来看,MrFlow优势显著:配置灵活、高效准确、代码简单,Geneval测试指标-加速比折线稳居图像右上角,稳定胜过其他各类免训练加速方法。
其中,在4倍以上的端到端加速比下,Cache类方法很快就会面临崩溃。
而其他的多级分辨率加速方法,都是在latent空间做上采样,容易出现模糊、伪影、局部结构变形,且不同模型上的泛化性存在明显差异。从视觉对比上看,这类方法与MrFlow的差异会比测试指标更明显:这些方法在高加速比下经常会出现局部纹理塌陷或结构不稳,而MrFlow的细节保留更干净。
各类方法的图像放在一块进行对比时,也能看到同样趋势:MrFlow在免训练方法里实现了最好的速度-质量平衡;和蒸馏类方法结合后,还能进一步叠加加速。
Qwen-Image上的对比示例:
FLUX.1-dev上的对比示例:
所有先进模型都适用,还能与时间步蒸馏正交结合
论文和开源仓库里已经覆盖了多种先进模型:
其中值得注意的是,它还能和时间步蒸馏模型叠加,相比原始的50步基础模型达到25x以上的加速。也就是说,如果你已经有Pi-Flow、Z-Image-Turbo这类蒸馏模型,MrFlow不需要重新训练一套组合方案,而是可以直接接在现有权重上继续提速。
完整开源,还包含ComfyUI插件
作者在GitHub仓库里已经整理好了一键运行的最小demo和各个模型的完整参数化示例。
而且除了常规的算法代码以外,还直接放出了ComfyUI插件示例,社区创作者可以即开即用。目前在社区中已有MrFlow在Krea-2等最新模型上的实现。
补充讨论
多级分辨率策略在过往的工作中其实也有迹可循:社区里如Hires.fix这类流程,也早已在pixel空间引入超分。不同的是,MrFlow并不是为了把预训练模型推向更高分辨率的绘图域,而是聚焦训练能力范围内的生成加速,并用系统实验拆解了其流程为什么有效。
换句话说,MrFlow讨论的不是“能不能画得更大”,而是“既然模型已经会画,能不能少在高分辨率空间里做不必要的计算”。沿着这个问题,低分辨率阶段先完成整体布局,高分辨率阶段再补足细节,是一种更有针对性的算力分配方式。
更合理地规划计算的粗细粒度,这就是MrFlow简单却有效的原因。
论文题目:Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
论文链接:https://arxiv.org/abs/2607.01642
代码链接:https://github.com/Xingyu-Zheng/MrFlow
Hugging Face Daily Paper:https://huggingface.co/papers/date/2026-07-03
Hugging Face Trending Papers:https://huggingface.co/papers/trending
本文来自微信公众号“量子位”,作者:MrFlow团队
