【Введение】Система AutoMIA, разработанная командой из университета Цинхуа, может преобразовывать любые два изображения в 3D-произведения искусства с эффектом зеркальной иллюзии, реализуя различное визуальное представление узоров с лицевой и обратной сторон, и поддерживает 3D-печать.
Посмотрите на следующие две группы фотографий: в каждой группе слева показан лицевой узор объекта перед зеркалом, а справа — его отражение в зеркале. Странно то, что лицевая сторона и отражение в зеркале представляют собой практически две совершенно не связанные вещи — в первой группе лицевая сторона — «CVPR», а в зеркале превращается в «2026»; во второй группе лицевая сторона — «гора», а в зеркале становится «водой».
Их контуры, цвета и даже смысл не совпадают, как будто это «иллюзия».
Причина заключается в том, что это специально спроектированный 3D-объект, использующий «эффект симметричного дополнения» человеческой зрительной системы для создания иллюзии. Такие явления называются искусством зеркальных иллюзий.
Исследователи, тщательно проектируя трёхмерную геометрию и цвет поверхности, позволяют реальному объекту при прямом наблюдении и наблюдении в зеркале представлять совершенно разные визуальные эффекты.
Ниже представлены два соответствующих видео «раскрытия секрета».
Традиционно проектирование таких произведений искусства требует тщательной концептуализации профессиональными художниками, большого опыта в сложном ручном проектировании и математических расчётов, что создаёт высокий порог для обычных людей.
Существует ли метод, который может автоматически помочь людям выполнить такой художественный дизайн, позволяя обычным людям превращать свои идеи в произведения искусства?
Недавно исследовательская группа из университета Цинхуа и других учреждений представила AutoMIA — метод автоматической генерации искусства зеркальных иллюзий с использованием ИИ. Пользователю достаточно просто указать два любых изображения, соответствующих узорам перед зеркалом и в зеркале, и AutoMIA может автоматически выполнить проектирование 3D-произведения искусства, а также напрямую поддерживать 3D-печать для создания арт-объекта.
Ссылка на статью: http://arxiv.org/abs/2607.02015
Ссылка на код: https://github.com/zxp555/AutoMIA
Статья была принята на CVPR 2026 и признана ключевой (Highlight Paper) на конференции; кроме того, благодаря высокой вычислительной эффективности эта работа также получила награду CVPR за эффективные вычисления (Efficient CVPR).
Контекст исследования
Оптические иллюзии в искусстве долгое время были важной проблемой на стыке искусства, психологии и компьютерного зрения. Распространённые 2D-иллюзии включают смешанные изображения, анаморфозы и другие; 3D-иллюзии включают Shadow Art, Multi-View Wire Art и другие.
Эти методы обычно полагаются на определённые углы обзора, проекции или отношения теней, позволяя одному и тому же объекту выглядеть по-разному при различных условиях наблюдения.
Искусство зеркальных иллюзий (Mirror Illusion Art) — это более особая 3D-иллюзия: когда реальный объект помещается перед зеркалом, наблюдатель видит один узор при прямом взгляде и другой узор при взгляде в зеркало.
Ранее подобное проектирование часто требовало большого количества ручных вычислений и корректировок и в основном концентрировалось на дизайне формы, затрудняя одновременную обработку цветных узоров. Прямое заимствование методов, таких как Shadow Art, также легко приводит к шуму на поверхности, плавающим блокам фона или внутренним разрывам, что влияет на визуальное качество и изготовление физического объекта.
Поэтому авторы поставили прямой вопрос: может ли ИИ автоматически проектировать такие объекты зеркальных иллюзий? При заданных двух целевых изображениях может ли система одновременно оптимизировать 3D-форму и цвет, чтобы один и тот же объект представлял два заданных вида с двух углов обзора?
Метод исследования
AutoMIA моделирует эту задачу как задачу обратного проектирования с двух точек зрения. Система представляет 3D-объект с помощью вокселей, каждый из которых содержит информацию о плотности и цвете; затем с помощью дифференцируемого объёмного рендеринга объект рендерится с двух заданных точек обзора, а результаты рендеринга сравниваются с двумя целевыми изображениями.
Целевая функция оптимизации включает как сходство формы, так и сходство цвета, чтобы генерируемый объект соответствовал требованиям контура и мог воспроизводить цвета целевого изображения.
В процессе фактической оптимизации авторы обнаружили четыре ключевые проблемы: шум на поверхности, шум фона, внутренние разрывы, а также дисбаланс оптимизации формы и цвета.
Для этого в статье предложены четыре основные механизма.
Во-первых, PAC, то есть обрезка связных компонентов на основе проекционного выравнивания (Projection-Aligned Connected components pruning). Система проецирует каждую связную компоненту текущих вокселей на две точки обзора и оценивает их по степени совпадения с целевой маской и переполнению фона, сохраняя структуры, действительно способствующие целевому узору, и удаляя плавающие или неэффективные шумовые части.
Во-вторых, PWA, то есть адаптивное шумоподавление с позиционно-взвешенным (Position-based Weighted Adaptive denoising). Оно регулирует вес штрафа за фон в зависимости от расстояния от пикселя до целевой области, так что ошибочные проекции, далёкие от целевого узора, получают более сильное наказание, тем самым уменьшая шум фона вдали.
В-третьих, IVP, то есть защита внутренних вокселей (Internal Voxel Protection). Поскольку входные изображения в основном ограничивают поверхность объекта, внутренние воксели легко ошибочно ослабляются в процессе оптимизации, что приводит к разрывам структуры. IVP идентифицирует внутренние воксели и накладывает нижний предел плотности, помогая сохранить целостность объекта, что особенно важно для последующей 3D-печати.
Наконец, SCD, то есть разделённая оптимизация формы и цвета (Shape-Color Decoupled optimization). AutoMIA делит процесс обучения на этапы оптимизации формы, совместной оптимизации формы и цвета и этап уточнения цвета, избегая преждевременного вмешательства цвета в геометрическую структуру и уменьшая конфликты между цветами с разных точек обзора.
Результаты эксперимента
В статье проверена работа AutoMIA на различных типах 2D-изображений в качестве входных данных, включая английские буквы, цифры, китайские иероглифы, геометрические узоры, эмодзи, мультяшные узоры и логотипы.
В экспериментах авторы сравнили AutoMIA с такими методами, как Shadow Art (SA) и Shadow Art Revisited (SAR). Поскольку базовые методы в основном поддерживают оптимизацию формы, основное внимание в сравнении уделялось таким показателям, как степень гладкости, уровень шума и согласованность формы.
Результаты показали, что AutoMIA имеет явное преимущество в качестве реконструкции. В отчёте статьи гладкость (SL) AutoMIA достигла 0.989, уровень шума (NL) снизился до 0.049, согласованность формы (SS) достигла 0.931; в то время как SA и SAR показали заметный разрыв как в согласованности формы, так и в контроле шума.
Кроме того, среднее время проектирования AutoMIA на одной карте RTX 3090 составило всего 76 секунд, а среднее использование видеопамяти — около 2.6 ГБ, что демонстрирует высокую вычислительную эффективность.
С точки зрения визуализации, SA и SAR легко приводят к таким проблемам, как плавающий шум, неровность поверхности или внутренние разрывы, из-за чего объекту трудно сформировать стабильную, целостную физическую структуру.
В то время как результаты, сгенерированные AutoMIA, не только лучше соответствуют контурам двух целевых изображений, но и восстанавливают цветную поверхность входных изображений, делая визуальную семантику как с лицевой стороны, так и со стороны зеркала чёткой.
Для искусства зеркальных иллюзий это особенно критично: если форма правильная, но цвета хаотичны, или цвета близки, но структура разорвана, в конечном итоге трудно сформировать убедительный иллюзорный эффект.
Абляционные эксперименты дополнительно показали, что PAC, PWA, IVP и SCD вносят вклад в конечный результат. Удаление любого модуля приводит к снижению качества реконструкции. Например, удаление PAC значительно увеличивает шум и снижает согласованность формы; удаление SCD влияет на форму, цвет и эффект гладкости.
Это говорит о том, что AutoMIA не просто полагается на оптимизацию вокселей, а представляет собой систематический дизайн, направленный на решение проблем, возникающих при проектировании зеркальных иллюзий.
Ниже приведён пример из цифрового мира, где на основе программного обеспечения Blender для цифрового моделирования был отрендерен объект зеркальной иллюзии с хорошим эффектом.
Помимо цифровых результатов, в статье также представлены несколько примеров физического изготовления. Авторы преобразовали оптимизированные воксельные модели в формат, пригодный для 3D-печати, и изготовили реальные объекты с помощью 3D-печати.
На фотографиях реальных объектов лицевая сторона объекта и отражение в зеркале представляют разные узоры, что указывает на возможность успешного перехода этого метода от цифрового проектирования к физическому миру.
Пользователи могут использовать этот метод для создания различных произведений искусства.
Заключение и перспективы
Исследователи представили AutoMIA — систему искусственного интеллекта для автоматической генерации искусства зеркальных иллюзий.
Она может, исходя из двух 2D-изображений, совместно оптимизировать форму и цвет 3D-объекта, а также с помощью таких механизмов, как PAC, PWA, IVP и SCD, повысить качество результатов, делая генерируемые объекты более гладкими, целостными и более подходящими для фактического изготовления.
Эта работа демонстрирует новые возможности ИИ в области вычислительного дизайна и художественного творчества: он может не только генерировать изображения, но и проектировать 3D-иллюзорные объекты, реализуемые физически. Тот факт, что один объект в реальности имеет только одну форму, но может представлять другую визуальную идентичность в зеркале, этот эффект «несоответствия между лицевой стороной и отражением в зеркале» также открывает новые направления для исследований в области зрительного восприятия, обратной компьютерной графики и цифрового производства.
Об авторах
Авторами статьи являются (по порядку): Чжу Сяопэй, научный сотрудник программы «Шуйму» университета Цинхуа, научный руководитель — профессор Чжу Цзюнь; Ли Цзэюань (соавтор), студент бакалавриата Хуачжунского университета науки и технологий, а также профессор Чжу Цзюнь и доцент Ху Сяолинь (автор-корреспондент) из университета Цинхуа.
Ссылки: http://arxiv.org/abs/2607.02015
Эта статья взята из официального аккаунта WeChat «Синьчжиюань» (新智元), автор: Синьчжиюань; редактор: LRST
