【Présentation】Le système AutoMIA, développé par l'équipe de l'Université Tsinghua, peut transformer n'importe quelle paire d'images en une œuvre d'art 3D présentant un effet d'illusion miroir, permettant une présentation visuelle de motifs différents sur les faces avant et miroir, et prenant en charge l'impression 3D.
Regardez d'abord les deux groupes de photos ci-dessous : dans chaque groupe, à gauche se trouve le motif avant de l'objet devant le miroir, et à droite se trouve son reflet dans le miroir. Étrangement, le motif avant et le reflet dans le miroir présentent presque deux choses totalement différentes : le premier groupe montre « CVPR » de face, mais devient « 2026 » dans le miroir ; le deuxième groupe montre « montagne » de face, mais devient « eau » dans le miroir.
Leurs contours, couleurs et même leurs significations ne correspondent pas, comme s'il s'agissait d'une « illusion ».
La raison en est qu'il provient d'un objet 3D spécialement conçu, exploitant l'« effet de complétion symétrique » du système visuel humain pour créer une illusion. Ce phénomène est appelé art d'illusion miroir.
Les chercheurs ont soigneusement conçu la géométrie tridimensionnelle et les couleurs de surface pour qu'un objet réel présente des effets visuels radicalement différents lorsqu'il est observé directement et dans un miroir.
Voici les deux vidéos de « décryptage » correspondantes.
Traditionnellement, la conception de ce type d'œuvres d'art nécessitait la réflexion ingénieuse d'artistes professionnels, ainsi qu'une grande expérience de conception manuelle complexe et des calculs mathématiques. Le seuil de création de telles œuvres était donc très élevé pour les non-professionnels.
Alors, existe-t-il une méthode pour automatiser l'aide à ce type de conception artistique, permettant aux personnes ordinaires de transformer leurs inspirations en œuvres d'art ?
Récemment, une équipe de recherche de l'Université Tsinghua et d'autres institutions a proposé AutoMIA, une méthode de conception IA pour générer automatiquement des illusions miroir. L'utilisateur n'a qu'à spécifier deux images, correspondant respectivement au motif devant le miroir et au motif dans le miroir. AutoMIA peut alors automatiquement réaliser la conception de l'œuvre d'art 3D, et prend en charge l'impression 3D directe pour la fabrication de l'objet.
Lien vers l'article : http://arxiv.org/abs/2607.02015
Lien vers le code : https://github.com/zxp555/AutoMIA
L'article a été accepté à la CVPR 2026 et a été sélectionné comme papier en vedette (Highlight Paper) de la conférence. En outre, en raison de son efficacité de calcul élevée, ce travail a également reçu le prix Efficient CVPR.
Contexte de la recherche
L'art des illusions optiques a longtemps été un sujet important à l'intersection de l'art, de la psychologie et de la vision par ordinateur. Les illusions 2D courantes comprennent les images hybrides, les images de déformation visuelle, etc. ; les illusions 3D comprennent le Shadow Art, le Multi-View Wire Art, etc.
Ces méthodes reposent généralement sur des angles de vue, des projections ou des relations d'ombres spécifiques, permettant à un même objet d'apparaître différemment sous différentes conditions d'observation.
Le Mirror Illusion Art est une illusion 3D plus particulière : lorsqu'un objet réel est placé devant un miroir, l'observateur voit un motif de face et un autre motif dans le miroir.
Précédemment, les conceptions correspondantes nécessitaient souvent une dérivation manuelle importante et des ajustements manuels minutieux, et se concentraient principalement sur la conception de formes, avec des difficultés à traiter simultanément des motifs colorés. S'inspirer directement de méthodes comme le Shadow Art entraîne facilement du bruit de surface, des blocs flottants en arrière-plan ou des ruptures internes, affectant la qualité visuelle et la fabrication physique.
Par conséquent, les auteurs ont posé une question directe : l'IA peut-elle concevoir automatiquement de tels objets d'illusion miroir ? Étant données deux images cibles, le système peut-il optimiser simultanément la forme 3D et les couleurs, de sorte que le même objet présente deux apparences spécifiées sous deux angles de vue ?
Méthodologie de recherche
AutoMIA modélise ce problème comme une tâche de conception inverse à deux vues. Le système représente l'objet 3D par des voxels, chaque voxel contenant des informations de densité et de couleur ; puis, grâce au rendu volumétrique différentiable, il rend cet objet depuis deux angles de vue spécifiés, et compare les résultats de rendu aux deux images cibles.
L'objectif d'optimisation comprend à la fois la similarité de forme et la similarité de couleur, permettant à l'objet généré de répondre aux exigences de contour tout en produisant les couleurs de l'image cible.
Dans l'optimisation pratique, les auteurs ont identifié quatre problèmes clés : le bruit de surface, le bruit d'arrière-plan, les ruptures internes et le déséquilibre entre l'optimisation de la forme et des couleurs.
Pour cela, l'article propose quatre mécanismes centraux.
Le premier est PAC, c'est-à-dire l'élagage des composants connectés basé sur l'alignement par projection. Le système projette séquentiellement les composants connectés des voxels actuels sur les deux vues, et les évalue selon leur degré de recouvrement avec le masque cible et l'étalement en arrière-plan, conservant les structures qui contribuent réellement au motif cible et supprimant les parties de bruit flottantes ou inefficaces.
Le second est PWA, c'est-à-dire la suppression adaptative pondérée basée sur la position. Il ajuste le poids de pénalisation de l'arrière-plan en fonction de la distance du pixel à la zone cible, de sorte que les projections erronées loin du motif cible soient pénalisées plus fortement, réduisant ainsi le bruit d'arrière-plan à distance.
Le troisième est IVP, c'est-à-dire la protection des voxels internes. Comme les images de supervision contraignent principalement la surface de l'objet, les voxels internes sont facilement affaiblis de manière erronée lors de l'optimisation, entraînant des ruptures structurelles. IVP identifie les voxels internes et leur impose une limite inférieure de densité, aidant à maintenir l'intégrité de l'objet, ce qui est particulièrement important pour l'impression 3D ultérieure.
Enfin, SCD, c'est-à-dire l'optimisation découplée forme-couleur. AutoMIA divise le processus d'entraînement en phases d'optimisation de la forme, d'optimisation conjointe forme-couleur et de raffinement des couleurs, évitant que les couleurs n'interfèrent prématurément avec la structure géométrique et réduisant les conflits entre les couleurs des différentes vues.
Résultats expérimentaux
L'article a validé AutoMIA avec plusieurs catégories d'images 2D en entrée, y compris des lettres anglaises, des chiffres, des caractères chinois, des motifs géométriques, des emojis, des motifs de dessins animés et des logos.
Dans les expériences, les auteurs ont comparé AutoMIA avec des méthodes comme Shadow Art (SA) et Shadow Art Revisited (SAR). Comme les méthodes de référence prennent principalement en charge l'optimisation de forme, la comparaison s'est concentrée sur des métriques telles que le degré de lissage, le niveau de bruit et la cohérence de forme.
Les résultats montrent qu'AutoMIA présente un avantage significatif en termes de qualité de reconstruction. Dans le rapport de l'article, le degré de lissage (SL) d'AutoMIA atteint 0.989, le niveau de bruit (NL) descend à 0.049, et la cohérence de forme (SS) atteint 0.931 ; en comparaison, SA et SAR présentent des écarts significatifs dans la cohérence de forme et le contrôle du bruit.
Parallèlement, le temps de conception moyen d'AutoMIA sur une seule RTX 3090 n'est que de 76 secondes, avec une occupation moyenne de mémoire d'environ 2.6 Go, démontrant une efficacité de calcul élevée.
D'après les résultats de visualisation, SA et SAR produisent facilement du bruit flottant, des surfaces irrégulières ou des ruptures internes, empêchant la formation d'une structure physique stable et complète.
Les résultats générés par AutoMIA non seulement correspondent mieux aux contours des deux images cibles, mais reconstruisent également la surface colorée des images d'entrée, donnant aux vues frontale et miroir une sémantique visuelle claire.
Pour l'art d'illusion miroir, ce point est particulièrement crucial : si la forme est correcte mais les couleurs chaotiques, ou si les couleurs sont proches mais la structure fragmentée, l'effet d'illusion final ne sera pas convaincant.
Les expériences d'ablation montrent en outre que PAC, PWA, IVP et SCD contribuent tous au résultat final. La suppression de n'importe quel module entraîne une baisse de la qualité de reconstruction. Par exemple, retirer PAC augmente significativement le bruit et réduit la cohérence de forme ; retirer SCD affecte la forme, les couleurs et l'effet de lissage.
Cela indique qu'AutoMIA ne repose pas uniquement sur l'optimisation des voxels, mais qu'il s'agit d'une conception systématique pour résoudre les problèmes spécifiques de la conception d'illusions miroir.
Voici un exemple issu du monde numérique. On peut voir sur la figure qu'un objet d'illusion miroir a été rendu avec un bon effet dans le logiciel de simulation numérique Blender.
Outre les résultats numériques, l'article présente également plusieurs cas de fabrication physique. Les auteurs ont converti les modèles voxels optimisés dans un format imprimable en 3D et ont fabriqué des objets réels par impression 3D.
Sur les photos des objets physiques, la face avant et le reflet dans le miroir présentent des motifs différents, démontrant que la méthode peut réussir la transition du design numérique au monde physique.
Les utilisateurs peuvent s'appuyer sur cette méthode pour créer divers types d'œuvres d'art.
Conclusion et perspectives
Les chercheurs ont proposé AutoMIA, un système de conception IA pour générer automatiquement du Mirror Illusion Art.
Il peut partir de deux images 2D, optimiser conjointement la forme et les couleurs d'un objet 3D, et améliorer la qualité des résultats grâce à des mécanismes comme PAC, PWA, IVP et SCD, rendant l'objet généré plus lisse, plus complet et plus adapté à la fabrication réelle.
Ce travail démontre les nouvelles possibilités de l'IA dans la conception computationnelle et la création artistique : non seulement elle peut générer des images, mais aussi concevoir des objets d'illusion 3D réalisables physiquement. Un objet n'a qu'une seule forme dans la réalité, mais peut présenter une autre identité visuelle dans le miroir. Cet effet d'« incohérence entre la face avant et le miroir » ouvre également de nouvelles voies de recherche dans la perception visuelle, la graphique inverse et la fabrication numérique.
À propos des auteurs
Les auteurs de l'article sont, dans l'ordre : Zhu Xiaopei, chercheur "Shuimu Scholar" à l'Université Tsinghua, dont le mentor de collaboration est le professeur Zhu Jun ; Li Zeyuan (premier auteur co-correspondant), étudiant de premier cycle à l'Université des Sciences et Technologies de Huazhong, ainsi que le professeur Zhu Jun de l'Université Tsinghua et le professeur associé Hu Xiaolin (auteur correspondant).
Référence : http://arxiv.org/abs/2607.02015
Cet article provient du compte WeChat "新智元" (New AI Era), auteur : 新智元 ; éditeur : LRST
