La capacité de l'IA à dessiner est de plus en plus forte, mais l'expérience utilisateur se résume encore à un mot : lent.
Pour une image en 1024x1024, de l'invite (prompt) à l'image finale, les modèles de diffusion doivent souvent échantillonner à plusieurs reprises dans un espace haute résolution. La qualité s'améliore, mais le temps d'attente aussi. Plus les capacités sont fortes, plus la facture d'inférence est salée.
Parmi les méthodes d'accélération principales pour les modèles de diffusion, la quantification, l'attention efficace et autres méthodes dépendent fortement de l'optimisation matérielle ; la distillation des pas dépend d'un ajustement fin coûteux et est souvent instable à l'entraînement ; les méthodes de cache de caractéristiques nécessitent une identification dynamique et la mise en cache de caractéristiques intermédiaires, avec un facteur d'accélération difficile à dépasser 5x.
Est-il possible d'accélérer directement la génération d'images sans dépendre de matériel spécifique, sans distiller ou ajuster le modèle, et sans avoir à faire une identification dynamique en temps d'exécution ?
Une équipe de recherche de Beihang, NTU et ETH a récemment fait une tentative très simple :
D'abord un croquis basse résolution, puis un agrandissement, enfin une touche haute résolution.
MrFlow (Multi-Resolution Flow Matching) utilise un tel pipeline en trois étapes pour réduire le temps de génération de bout en bout de 49.32s à 4.77s sur des modèles comme Qwen-Image, soit une accélération réelle de 10.35x.
L'article a été publié sur Hugging Face Daily Papers le jour de sa sortie ; en trois jours, le dépôt GitHub a reçu 200+ étoiles ; il figure également dans les Hugging Face Trending Papers.
Pendant ce temps, les créateurs de la communauté ont commencé à expérimenter, discuter et étendre autour de MrFlow :
Revenons à MrFlow lui-même. Pourquoi une procédure aussi simple permet-elle une accélération d'un ordre de grandeur de 10x de bout en bout ?
Examinons d'abord la source de l'accélération
La configuration d'accélération par défaut de MrFlow est 12+1 :
- 12 pas d'inférence dans la phase basse résolution
- Seulement 1 pas d'inférence dans la phase haute résolution
Dans la génération native haute résolution, la majeure partie du calcul repose sur l'échantillonnage haute résolution. MrFlow déplace cette charge principale vers la phase basse résolution, la haute résolution ne servant qu'à corriger brièvement les détails. Les étapes supplémentaires intermédiaires (VAE, super-résolution, préparation du bruit) ont un coût peu élevé. Une fois inclus dans le temps total, on atteint toujours une accélération de bout en bout supérieure à 10x.
Voyons ensuite la qualité de génération
Pour une accélération d'un ordre de grandeur de 10x, MrFlow est capable de générer de manière stable des images claires et nettes. Les indicateurs quantitatifs montrent que l'écart peut être maintenu à environ 1 %.
Exemple sur Qwen-Image (accélération 10.3x) :
Exemple sur FLUX.1-dev (accélération 8.25x) :
Pourquoi adopter une approche multi-résolutions
Analysons la réflexion de conception : la structure naturelle des informations spatiales de l'image offre une opportunité pour la génération à basse résolution, une méthode simple et efficace. Le sujet principal, sa position, sa posture, la composition, la correspondance sémantique globale avec le prompt – ces éléments ne nécessitent pas nécessairement d'être calculés dès le départ dans l'espace haute résolution. Une résolution plus basse ne détruit quasiment pas les informations sémantiques originales, peut préserver la structure spatiale globale, tout en réduisant de manière quadratique le nombre de tokens d'image.
C'est cette opportunité que MrFlow saisit : générer d'abord à moindre coût la structure, et affiner les détails à la fin. Les deux étapes peuvent être directement reliées par un modèle de super-résolution pré-entraîné.
Détails de chaque étape
Étape 1 : Génération de la structure en basse résolution
D'abord, le modèle original génère une image dans l'espace latent basse résolution. Cette étape est responsable de la structure globale : sujet principal, disposition, sémantique, ambiance colorée.
Les avantages de la basse résolution sont directs :
- Réduction quadratique des tokens d'image, chaque pas est moins coûteux.
- Les structures basses fréquences convergent plus facilement, le nombre total de pas peut également être réduit.
Étape 2 : Retour dans l'espace pixel pour la super-résolution
Ensuite, le résultat basse résolution est décodé en image, puis une super-résolution est appliquée pour augmenter la résolution.
Il y a ici un choix clé : ne pas agrandir directement dans l'espace latent, mais dans l'espace pixel.
Car bien que le suréchantillonnage dans l'espace latent semble pratique, il peut facilement entraîner des problèmes lors du traitement ultérieur : flou local, textures désordonnées, structures brisées, etc. La super-résolution dans l'espace pixel est plus proche d'un travail de finition sur une scène déjà déterminée : la structure est préservée, les détails sont ajoutés, et elle permet de réutiliser pleinement les modèles de super-résolution pré-entraînés avancés existants.
L'article compare également différentes stratégies de super-résolution. L'interpolation directe et certains modèles de super-résolution entraînés avec des pertes de régression ont tendance à être flous. La super-résolution par diffusion peut corriger faussement la sémantique locale. Les modèles de super-résolution basés sur les GAN comme Real-ESRGAN offrent un meilleur équilibre entre netteté, stabilité et vitesse.
Étape 3 : Ajouter un peu de bruit, puis affiner en haute résolution
L'image après super-résolution ressemble déjà à une image haute résolution, mais elle présente inévitablement des détails locaux flous ou une sémantique confuse, surtout lorsqu'il s'agit de génération de texte. La raison est simple : le réseau de super-résolution ne comprend pas le prompt et peut générer des textures qui semblent plausibles mais ne sont pas sémantiquement parfaitement correctes.
MrFlow va donc réencoder l'image super-résolue dans l'espace latent, puis y injecter une petite quantité de bruit de faible intensité pour préparer la réécriture suivante. Comme la super-résolution n'a pas modifié les informations basse fréquence du sujet principal, et que seule une petite partie des informations haute fréquence ajoutées nécessite d'être retravaillée, il suffit généralement d'ajouter un bruit d'intensité d'environ 0.12 pour réécrire le signal haute fréquence.
Enfin, le modèle original de flow-matching effectue un raffinement en une seule étape en haute résolution. Une seule étape suffit car les informations efficaces de la génération basse résolution + super-résolution sont déjà suffisamment riches. Le bruit ajouté pour réécrire le signal erroné est de faible intensité, donc le point de départ de l'inférence haute résolution se situe naturellement près de l'image propre sur la trajectoire. Un échantillonnage en une seule étape suivant la direction droite est alors suffisant.
Comparaison avec d'autres méthodes d'accélération sans entraînement, quels sont les avantages ?
En considérant la courbe de compromis et la mise en œuvre, les avantages de MrFlow sont significatifs : configuration flexible, précision élevée, code simple. Dans les tests Geneval, la courbe indicateur/accélération se situe fermement dans le coin supérieur droit, surpassant de manière stable les autres méthodes d'accélération sans entraînement.
Parmi elles, pour des facteurs d'accélération de bout en bout supérieurs à 4x, les méthodes de type Cache sont rapidement confrontées à l'échec.
Les autres méthodes d'accélération multi-résolution effectuent le suréchantillonnage dans l'espace latent, ce qui peut facilement entraîner du flou, des artefacts, des déformations de structure locale, et présentent des différences de généralisation marquées selon les modèles. Sur le plan visuel, la différence entre ces méthodes et MrFlow est plus marquée que ne le suggèrent les indicateurs : ces méthodes ont souvent une texture locale qui s'effondre ou une structure instable à fort facteur d'accélération, tandis que MrFlow préserve les détails de manière plus propre.
Lorsque les images générées par les différentes méthodes sont comparées, on observe la même tendance : MrFlow atteint le meilleur équilibre vitesse-qualité parmi les méthodes sans entraînement ; combiné avec des méthodes de distillation, il peut encore accélérer davantage.
Exemple de comparaison sur Qwen-Image :
Exemple de comparaison sur FLUX.1-dev :
Applicable à tous les modèles avancés, et peut être combiné orthogonalement avec la distillation des pas de temps
L'article et le dépôt open source couvrent déjà plusieurs modèles avancés :
Il est à noter qu'il peut également être superposé avec des modèles distilling les pas de temps, atteignant une accélération de plus de 25x par rapport au modèle de base de 50 pas. Autrement dit, si vous avez déjà des modèles de distillation comme Pi-Flow ou Z-Image-Turbo, MrFlow ne nécessite pas de réentraîner une solution combinée, mais peut directement s'ajouter aux poids existants pour accélérer davantage.
Open source complet, incluant un plugin ComfyUI
Les auteurs ont organisé dans le dépôt GitHub un démo minimal prêt à l'emploi et des exemples paramétrés complets pour différents modèles.
Outre le code algorithmique habituel, un exemple de plugin ComfyUI est directement fourni, permettant aux créateurs de la communauté de l'utiliser immédiatement. Actuellement, la communauté dispose déjà d'implémentations de MrFlow sur des modèles récents comme Krea-2.
Discussion complémentaire
La stratégie multi-résolution trouve également des précédents dans les travaux antérieurs : dans la communauté, des flux comme Hires.fix ont déjà introduit la super-résolution dans l'espace pixel. La différence est que MrFlow ne cherche pas à pousser le modèle pré-entraîné vers un domaine de dessin de plus haute résolution, mais se concentre sur l'accélération de la génération dans la plage de capacités apprise, et décompose par des expériences systématiques pourquoi son flux est efficace.
Autrement dit, MrFlow ne pose pas la question « peut-on dessiner plus grand ? », mais plutôt « puisque le modèle sait déjà dessiner, peut-on éviter des calculs inutiles dans l'espace haute résolution ? ». En suivant cette problématique, achever d'abord la disposition globale en basse résolution, puis compléter les détails en haute résolution, constitue une allocation de puissance de calcul plus ciblée.
Planifier plus judicieusement la granularité grossière/fine des calculs, c'est la raison pour laquelle MrFlow est simple mais efficace.
Titre de l'article : Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
Lien vers l'article : https://arxiv.org/abs/2607.01642
Lien vers le code : https://github.com/Xingyu-Zheng/MrFlow
Hugging Face Daily Paper : https://huggingface.co/papers/date/2026-07-03
Hugging Face Trending Papers : https://huggingface.co/papers/trending
Cet article provient du compte officiel WeChat « Quantum Bit », auteur : Équipe MrFlow
