【Intisari】Sistem AutoMIA yang dikembangkan oleh tim Universitas Tsinghua dapat mengubah dua gambar apa pun menjadi karya seni 3D dengan efek ilusi cermin, mewujudkan presentasi visual pola berbeda dari sisi depan dan belakang, serta mendukung pencetakan 3D.
Pertama, lihat dua kelompok foto berikut: dalam setiap kelompok, kiri adalah pola depan objek di depan cermin, dan kanan adalah bayangannya di cermin. Anehnya, sisi depan dan bayangan di cermin hampir menunjukkan dua hal yang sama sekali tidak berhubungan — kelompok pertama sisi depan adalah "CVPR", tetapi di cermin berubah menjadi "2026"; kelompok kedua sisi depan adalah "gunung", tetapi di cermin berubah menjadi "air".
Kontur, warna, bahkan maknanya tidak cocok, seolah-olah ini adalah semacam "ilusi".
Alasannya adalah, ini berasal dari objek 3D yang dirancang khusus, memanfaatkan "efek penyempurnaan simetri" sistem visual manusia sehingga menimbulkan ilusi. Fenomena semacam ini disebut seni ilusi cermin.
Peneliti, melalui desain geometri 3D dan warna permukaan yang teliti, membuat objek nyata menampilkan efek visual yang sangat berbeda saat diamati langsung dan saat diamati di cermin.
Berikut adalah dua kelompok video "pengungkapan" yang sesuai.
Secara tradisional, desain karya seni semacam ini membutuhkan konsepsi cerdas dari seniman profesional, serta banyak pengalaman desain manual dan perhitungan matematika yang kompleks. Desain karya seni seperti ini memiliki hambatan tinggi bagi orang awam.
Jadi, adakah metode yang dapat membantu orang secara otomatis menyelesaikan desain seni seperti ini, memungkinkan orang awam juga mengubah inspirasi mereka menjadi karya seni?
Belum lama ini, tim peneliti dari Universitas Tsinghua dan unit lainnya mengusulkan AutoMIA, sebuah metode desain AI untuk menghasilkan seni ilusi cermin secara otomatis. Pengguna hanya perlu menentukan dua gambar apa pun, masing-masing sesuai dengan pola di depan cermin dan pola di dalam cermin. AutoMIA dapat secara otomatis menyelesaikan desain karya seni 3D, dan mendukung pencetakan 3D langsung untuk membuat karya seni.
Link makalah: http://arxiv.org/abs/2607.02015
Link kode: https://github.com/zxp555/AutoMIA
Makalah telah diterima oleh CVPR 2026 dan dinilai sebagai makalah sorotan konferensi (Highlight Paper); sekaligus, karena efisiensi komputasinya yang tinggi, karya ini juga meraih Efficient CVPR Award.
Latar Belakang Penelitian
Seni ilusi optik sejak lama menjadi masalah penting di bidang persimpangan seni, psikologi, dan visi komputer. Ilusi 2D umum mencakup gambar campuran, gambar transformasi visual, dll.; ilusi 3D mencakup Shadow Art, Multi-View Wire Art, dll.
Metode-metode ini biasanya bergantung pada sudut pandang, proyeksi, atau hubungan bayangan tertentu, membuat objek yang sama menampilkan penampilan berbeda dalam kondisi pengamatan yang berbeda.
Mirror Illusion Art adalah ilusi 3D yang lebih khusus: ketika objek nyata diletakkan di depan cermin, pengamat melihat satu pola dari depan, dan melihat pola lain di cermin.
Sebelumnya, desain terkait sering membutuhkan banyak derivasi manual dan penyesuaian manual, dan lebih terfokus pada desain bentuk, sulit untuk menangani pola berwarna secara bersamaan. Jika langsung mengadopsi metode seperti Shadow Art, juga mudah menimbulkan noise permukaan, blok latar belakang mengambang, atau patahan internal, mempengaruhi kualitas visual dan produksi fisik.
Oleh karena itu, penulis mengajukan pertanyaan langsung: Bisakah AI secara otomatis merancang objek ilusi cermin ini? Diberikan dua gambar target, dapatkah sistem mengoptimalkan bentuk 3D dan warna secara bersamaan, sehingga objek yang sama menampilkan dua penampilan yang ditentukan dari dua sudut pandang?
Metode Penelitian
AutoMIA memodelkan masalah ini sebagai tugas desain invers dua sudut pandang. Sistem menggunakan voksel untuk merepresentasikan objek 3D, setiap voksel mengandung informasi densitas dan warna; kemudian melalui differentiable volume rendering, merender objek ini dari dua sudut pandang yang ditentukan, dan membandingkan hasil render dengan dua gambar target.
Tujuan optimasi mencakup kesamaan bentuk dan kesamaan warna, sehingga objek yang dihasilkan memenuhi persyaratan kontur dan juga menghasilkan warna dari gambar target.
Dalam optimasi aktual, penulis menemukan empat jenis masalah kunci: noise permukaan, noise latar belakang, patahan internal, serta ketidakseimbangan optimasi bentuk dan warna.
Untuk itu, makalah mengusulkan empat mekanisme inti.
Pertama adalah PAC, yaitu Projection-Alignment-based Connected-component Pruning. Sistem akan memproyeksikan komponen terhubung dalam voksel saat ini satu per satu ke dua sudut pandang, dan menilainya berdasarkan tingkat tumpang tindih dengan mask target dan kebocoran latar belakang. Struktur yang benar-benar berkontribusi pada pola target dipertahankan, sementara bagian noise yang mengambang atau tidak valid dihilangkan.
Kedua adalah PWA, yaitu Position-based Weighted Adaptive noise suppression. Ini akan menyesuaikan bobot hukuman latar belakang berdasarkan jarak piksel ke area target, membuat proyeksi kesalahan yang jauh dari pola target mendapat hukuman lebih kuat, sehingga mengurangi noise latar belakang di kejauhan.
Ketiga adalah IVP, yaitu Internal Voxel Protection. Karena gambar supervisi terutama membatasi permukaan objek, voksel internal mudah dilemahkan secara salah selama optimasi, menyebabkan struktur patah. IVP akan mengidentifikasi voksel internal dan menerapkan batas bawah densitas, membantu menjaga integritas objek, yang sangat penting untuk pencetakan 3D selanjutnya.
Terakhir adalah SCD, yaitu Shape–Color Decoupled optimization. AutoMIA membagi proses pelatihan menjadi tahap optimasi bentuk, optimasi bersama bentuk-warna, dan tahap pemurnian warna, menghindari warna mengganggu struktur geometri terlalu dini, dan juga mengurangi konflik warna antara sudut pandang yang berbeda.
Hasil Eksperimen
Makalah menguji AutoMIA dengan berbagai kelas gambar 2D sebagai masukan, termasuk huruf Inggris, angka, karakter Han, pola geometris, emoji, pola kartun, dan logo.
Dalam eksperimen, penulis membandingkan AutoMIA dengan metode seperti Shadow Art (SA) dan Shadow Art Revisited (SAR). Karena metode baseline terutama mendukung optimasi bentuk, perbandingan berfokus pada metrik seperti tingkat kelancaran, tingkat noise, dan konsistensi bentuk.
Hasil menunjukkan bahwa AutoMIA mencapai keunggulan nyata dalam kualitas rekonstruksi. Laporan makalah menunjukkan, tingkat kelancaran (SL) AutoMIA mencapai 0.989, tingkat noise (NL) turun menjadi 0.049, konsistensi bentuk (SS) mencapai 0.931; sebagai perbandingan, SA dan SAR memiliki kesenjangan yang jelas dalam konsistensi bentuk dan kontrol noise.
Secara bersamaan, waktu desain rata-rata AutoMIA pada satu RTX 3090 hanya 76 detik, penggunaan memori rata-rata sekitar 2.6GB, menunjukkan efisiensi komputasi yang tinggi.
Dari hasil visualisasi, SA dan SAR mudah menghasilkan noise mengambang, permukaan tidak rata, atau patahan internal, menyebabkan objek sulit membentuk struktur fisik yang stabil dan utuh.
Sementara hasil yang dihasilkan AutoMIA tidak hanya dapat lebih baik mencocokkan kontur dua gambar target, tetapi juga merekonstruksi permukaan berwarna dari gambar masukan, membuat sudut pandang depan dan sudut pandang cermin memiliki semantik visual yang jelas.
Untuk seni ilusi cermin, poin ini sangat krusial: jika bentuk benar tetapi warna kacau, atau warna dekat tetapi struktur hancur, pada akhirnya sulit membentuk efek ilusi yang meyakinkan.
Eksperimen ablasi lebih lanjut menunjukkan bahwa PAC, PWA, IVP, dan SCD semuanya berkontribusi pada hasil akhir. Menghilangkan modul apa pun akan menyebabkan penurunan kualitas rekonstruksi. Misalnya, menghilangkan PAC secara signifikan meningkatkan noise dan menurunkan konsistensi bentuk; menghilangkan SCD akan mempengaruhi bentuk, warna, dan efek kelancaran.
Ini menunjukkan bahwa AutoMIA tidak hanya bergantung pada optimasi voksel, tetapi telah melakukan desain sistematis untuk masalah yang muncul dalam desain ilusi cermin.
Berikut diberikan contoh kelompok dunia digital, dari gambar dapat dilihat bahwa dalam perangkat lunak simulasi digital berbasis Blender, objek ilusi cermin dirender dengan hasil yang baik.
Selain hasil digital, makalah juga menampilkan beberapa kasus produksi fisik. Penulis mengonversi model voksel yang dioptimalkan ke format yang dapat dicetak 3D, dan membuat objek nyata melalui pencetakan 3D.
Dalam foto fisik, sisi depan dan cermin objek menampilkan pola yang berbeda, menunjukkan bahwa metode ini dapat berhasil berpindah dari desain digital ke dunia fisik.
Pengguna dapat menggunakan metode ini untuk membuat berbagai karya seni.
Kesimpulan dan Prospek
Para peneliti mengusulkan AutoMIA, sebuah sistem desain AI untuk menghasilkan Mirror Illusion Art secara otomatis.
Ini dapat memulai dari dua gambar 2D, mengoptimalkan bentuk dan warna objek 3D secara bersama-sama, dan meningkatkan kualitas hasil melalui mekanisme seperti PAC, PWA, IVP, dan SCD, membuat objek yang dihasilkan lebih halus, lebih utuh, dan lebih cocok untuk produksi aktual.
Karya ini menunjukkan kemungkinan baru AI dalam desain komputasi dan penciptaan seni: tidak hanya dapat menghasilkan gambar, tetapi juga merancang objek ilusi 3D yang dapat direalisasikan secara fisik. Sebuah objek dalam kenyataan hanya memiliki satu bentuk, tetapi dapat menampilkan identitas visual lain di cermin. Efek "ketidakcocokan antara depan dan dalam cermin" ini juga menyediakan arah penelitian baru untuk persepsi visual, grafika terbalik, dan manufaktur digital.
Profil Penulis
Penulis makalah secara berurutan adalah, Zhu Xiaopei, Shuimu Scholar Universitas Tsinghua, supervisor kerja sama adalah Profesor Zhu Jun; Li Zeyuan (penulis bersama pertama), mahasiswa sarjana Universitas Sains dan Teknologi Huazhong, serta Profesor Zhu Jun dan Profesor Hu Xiaolin (penulis korespondensi) dari Universitas Tsinghua.
Referensi: http://arxiv.org/abs/2607.02015
Artikel ini berasal dari akun WeChat publik "新智元", penulis: 新智元; editor: LRST
