【导读】清华大学团队研发的AutoMIA系统,可将任意两张图片转化为具有镜像错觉效果的3D艺术品,实现正反两面不同图案的视觉呈现,并支持3D打印。
先看下面两组照片:每一组里,左边是镜子前物体的正面图案,右边是它在镜中的倒影。奇怪的是,正面与镜中呈现出的几乎是两个毫不相干的东西——第一组正面是「CVPR」,镜中却变成「2026」;第二组正面是「山」,镜中却成了「水」。
它们的轮廓、颜色乃至含义都对不上,仿佛是一种「错觉」。
背后的原因是,它来自一个经过特殊设计的3D物体,利用人类视觉系统的「对称补全效应」而使人产生错觉,这类现象被称为镜像错觉艺术。
研究者通过精心设计三维几何和表面颜色,让一个真实物体在直接观察和镜中观察时呈现出截然不同的视觉效果。
以下是两组对应的「解密」视频。
传统意义上,这类艺术品的设计需要专业艺术家巧妙的构思,以及大量复杂的人工设计经验和数学计算,此类艺术品的设计对于普通人的门槛很高。
那么有没有一种方法可以自动化地帮助人们完成这样的艺术设计,让普通人也可以将自己的灵感转化为艺术品呢?
近日,来自清华大学等单位的研究团队提出了AutoMIA,一种自动生成镜像错觉艺术的 AI 设计方法,用户仅需任意指定两张图片,分别对应镜子前和镜子中的图案,AutoMIA就可以自动完成3维艺术品的设计,并且支持直接3D打印出来制作艺术品。
论文链接: http://arxiv.org/abs/2607.02015
代码链接: https://github.com/zxp555/AutoMIA
论文已被CVPR 2026接收,并被评为大会亮点论文(Highlight Paper);同时,因其较高的计算效率,该工作还获得了CVPR高效计算奖 (Efficient CVPR)。
研究背景
光学错觉艺术长期以来都是艺术、心理学和计算机视觉交叉领域中的重要问题。常见的 2D错觉包括混合图像、视觉变形图像等;3D错觉则包括Shadow Art、Multi-View Wire Art等。
这些方法通常依赖特定视角、投影或阴影关系,让同一个物体在不同观察条件下呈现不同外观。
Mirror Illusion Art是一种更特殊的3D错觉:一个真实物体被放在镜子前时,观察者在正面看到一种图案,而在镜中看到另一种图案。
此前,相关设计往往需要大量人工推导和手工调整,并且多集中在形状设计上,难以同时处理彩色图案。若直接借鉴Shadow Art一类方法,也容易产生表面噪声、背景浮块或内部断裂,影响视觉质量和实体制作。
因此,作者提出了一个直接的问题:能否让AI自动设计这种镜像幻觉物体?给定两张目标图片,系统是否可以同时优化3D形状和颜色,使同一物体在两个视角下呈现两种指定外观?
研究方法
AutoMIA将这一问题建模为一个双视角逆设计任务。系统用体素表示3D物体,每个体素包含密度和颜色信息;随后通过可微体渲染,从两个指定视角渲染该物体,并将渲染结果与两张目标图像进行比较。
优化目标同时包含形状相似度和颜色相似度,从而让生成物体既满足轮廓要求,也能生成目标图像的颜色。
在实际优化中,作者发现了四类关键问题:表面噪声、背景噪声、内部断裂以及形状和颜色优化不平衡。
为此,论文提出了四个核心机制。
首先是PAC,即基于投影对齐的连通域剪枝。系统会把当前体素中的连通分量逐个投影到两个视角,并根据它们与目标mask的重合程度和背景溢出情况进行评分,保留真正有助于目标图案的结构,去除漂浮或无效的噪声部分。
其次是PWA,即基于位置的加权自适应抑噪。它会根据像素到目标区域的距离调整背景惩罚权重,使远离目标图案的错误投影受到更强惩罚,从而减少远处的背景噪声。
第三是IVP,即内部体素保护。由于监督图像主要约束物体表面,内部体素容易在优化中被错误削弱,导致结构断裂。IVP会识别内部体素并施加密度下限,帮助保持物体完整性,这对后续3D打印尤其重要。
最后是SCD,即形状—颜色解耦优化。AutoMIA将训练过程划分为形状优化、形状颜色联合优化和颜色细化阶段,避免颜色过早干扰几何结构,也减少不同视角颜色之间的冲突。
实验结果
论文在多类2D图像作为输入时验证了AutoMIA,包括英文字母、数字、汉字、几何图案、emoji、卡通图案和logo等。
实验中,作者将AutoMIA与Shadow Art(SA)和 Shadow Art Revisited(SAR) 等方法进行了比较。由于基线方法主要支持形状优化,比较重点包括平滑程度、噪声水平和形状一致性等指标。
结果显示,AutoMIA在重建质量上取得了明显优势。论文报告中,AutoMIA的 平滑程度(SL) 达到0.989,噪声水平(NL) 降至0.049,形状一致性(SS) 达到0.931;相比之下,SA 和 SAR 在形状一致性和噪声控制上均存在明显差距。
同时,AutoMIA在单张RTX 3090上平均设计时间仅为76秒,平均显存占用约2.6GB,体现出高效的计算效率。
从可视化结果来看,SA和SAR容易产生悬浮噪声、表面不平整或内部断裂等问题,导致物体难以形成稳定、完整的实体结构。
而AutoMIA生成的结果不仅能更好匹配两张目标图像的轮廓,还能重建出输入图像的彩色表面,使正面视角和镜中视角都具有清晰的视觉语义。
对于镜像幻觉艺术而言,这一点尤为关键:如果形状正确但颜色混乱,或者颜色接近但结构破碎,最终都难以形成令人信服的错觉效果。
消融实验进一步表明,PAC、PWA、IVP和SCD都对最终结果有贡献。去掉任一模块都会导致重建质量下降。例如,去掉 PAC 会显著增加噪声并降低形状一致性;去掉 SCD 则会影响形状、颜色和平滑效果。
这说明AutoMIA并不是单纯依赖体素优化,而是针对镜像幻觉设计中的出现的问题进行了系统性的设计。
以下给出了一组数字世界的例子,由图中可以看到,在基于Blender数字仿真软件中,渲染出了效果良好的镜像错觉物体。
除了数字结果,论文还展示了多个实体制作案例。作者将优化后的体素模型转换为可3D打印的格式,并通过3D打印制作真实物体。
在实物照片中,物体正面和镜中呈现出不同图案,表明该方法可以成功从数字设计走向物理世界。
用户可以基于此方法来制作各类艺术品。
结论与展望
研究人员提出了AutoMIA,一个用于自动生成Mirror Illusion Art的AI设计系统。
它能够从两张2D图像出发,联合优化3D物体的形状和颜色,并通过PAC、PWA、IVP和SCD等机制提升结果质量,使生成物体更平滑、更完整,也更适合实际制作。
这项工作展示了AI在计算设计和艺术创作中的新可能:它不仅能生成图像,也能设计具有物理可实现性的3D错觉物体。一个物体在现实中只有一种形态,却能在镜子里呈现另一种视觉身份,这种「正面与镜中不一致」的效果,也为视觉感知、逆向图形学和数字制造提供了新的研究方向。
作者简介
论文作者依次为,朱小佩,清华大学水木学者,合作导师为朱军教授;李泽远(共同一作),华中科技大学本科生,以及清华大学朱军教授和胡晓林副教授(通讯作者)。
参考资料:http://arxiv.org/abs/2607.02015
本文来自微信公众号“新智元”,作者:新智元;编辑:LRST
