Dasar dari model dunia JEPA adalah pembelajaran mandiri (Self-Supervised Learning, SSL) yang terus diadvokasi oleh Yann LeCun sejak 2017.
SSL dapat belajar representasi umum dari data dalam jumlah besar tanpa anotasi manual, namun menghadapi tantangan inti yang umum — keruntuhan representasi (representation collapse): model cenderung memetakan input yang berbeda ke vektor yang sama atau hanya beberapa vektor, seolah-olah pelatihan selesai, padahal tidak mempelajari representasi yang diskriminatif.
Untuk menekan keruntuhan, metode utama banyak bergantung pada serangkaian teknik heuristik (EMA, jaringan guru-murid, penghentian gradien, lapisan beku, dll.). Teknik-teknik ini membuat pelatihan menjadi rapuh, sulit untuk di-tune, dan juga melemahkan kemampuan interpretasi dan skalabilitas metode.
Jalur lain adalah dengan mengkonstrainsikan distribusi representasi secara langsung melalui istilah regularisasi.
VICReg yang diusulkan tim LeCun membagi tujuan pembelajaran menjadi tiga item: varians, invariansi, dan kovarians, menggunakan kovarians untuk mengkonstrainsikan korelasi antar dimensi; namun kovarians hanya menggambarkan statistik orde kedua, tidak dapat membedakan dua jenis representasi yang "rata-rata, variansnya sama, tetapi bentuk distribusinya sangat berbeda".
SIGReg yang diusulkan kemudian didasarkan pada teorema Cramér–Wold, menggunakan teknologi sketching untuk menyelaraskan seluruh distribusi penyematan ke Gaussian standar, sehingga mengkonstrainsikan bentuk distribusi lengkap.
Namun SIGReg masih memiliki dua kelemahan kunci:
- Gradien menghilang saat runtuh: Ketika representasi mulai runtuh, gradien SIGReg juga melemah — semakin parah keruntuhannya, semakin lemah sinyal koreksinya, model sulit pulih sendiri;
- Penggandengan skala dan bentuk: Tidak memisahkan dua atribut independen "besarnya amplitudo (skala)" dan "bentuk distribusi (bentuk)", keduanya saling mengganggu dalam optimasi, menyebabkan adaptasi yang buruk pada data ekor panjang, kualitas rendah, peringkat rendah.
Artinya, saat model paling membutuhkan sinyal gradien untuk keluar dari keadaan runtuh, gradien SIGReg justru mendekati hilang.
Inilah masalah inti yang ingin dipecahkan oleh VISReg.
Baru-baru ini, karya baru pembelajaran mandiri VISReg (Variance-Invariance-Sketching Regularization) mendapatkan retweet terus-menerus dari penerima Penghargaan Turing Yann LeCun dan mendapatkan pengakuan tinggi — dalam retweetnya ia berkomentar "VICReg begat SIGReg which begat VISReg" (VICReg melahirkan SIGReg, SIGReg melahirkan VISReg), satu kalimat menunjuk warisan teknologi dari jalur regularisasi ini.
Mendapatkan pengakuan seperti itu dari LeCun, sebenarnya di mana keunggulan VISReg?
Jawabannya terletak pada: VISReg secara tepat mengenai masalah inti model dunia JEPA yang telah lama diandalkan LeCun — keruntuhan representasi (representation collapse).
Tautan makalah:https://arxiv.org/abs/2606.02572
Kode / Bobot Pra-latih:https://github.com/HaiyuWu/visreg
Halaman Proyek:https://haiyuwu.github.io/visreg/
VISReg memisahkan istilah regularisasi pencegah keruntuhan menjadi dua tujuan independen "skala" dan "bentuk", tanpa bergantung pada teknik pelatihan heuristik apa pun, juga tidak bergantung pada data dalam jumlah besar, kinerja komprehensif di 15 set data melebihi 7 metode pembelajaran mandiri utama; di antaranya hanya menggunakan sekitar 1/10 data pelatihan, menyamai DINOv2 di tolok ukur di luar distribusi (OOD).
Gambar 2: Simulasi amplitudo gradien ‖∇L‖ dari berbagai metode regular pada setiap tahap keruntuhan representasi. VISReg dapat mempertahankan gradien kuat bahkan dalam keadaan runtuh, sedangkan gradien SIGReg hampir hilang.
Metode Inti
VISReg mengambil kelebihan dan menutupi kekurangan VICReg dan SIGReg: mempertahankan item varians VICReg untuk mengontrol skala, sekaligus menggunakan tujuan sketching berbasis Jarak Sliced Wasserstein (Sliced Wasserstein Distance, SWD) untuk menggantikan item kovarians guna mengontrol bentuk, dan melalui penghentian gradien memisahkan keduanya sepenuhnya. Seluruh tujuan regular terdiri dari tiga bagian.
1. Regularisasi Skala (Scale Regularization)
Bagian pertama mengonstrain varians setiap dimensi, mencegah keruntuhan amplitudo:
Sifat kuncinya adalah: Ketika model runtuh, gradien dari item ini mendekati sebuah konstanta, sehingga memastikan model dapat pulih dengan stabil — ini justru menutupi kekurangan hilangnya gradien SIGReg.
2. Regularisasi Bentuk (Shape Regularization)
Bagian kedua dinormalisasi terlebih dahulu untuk menghilangkan pengaruh skala, kemudian mengonstrain bentuk secara terpisah. Langkah kuncinya adalah normalisasi dengan "penghentian gradien" (stop-gradient, sg):
Di sini penghentian gradien diterapkan pada simpangan baku σ, sehingga optimasi kerugian bentuk tidak akan mengubah skala — inilah mekanisme di mana tujuan "skala" dan "bentuk" benar-benar terpisah dan tidak saling mengganggu.
Setelah normalisasi, gunakan Jarak Sliced Wasserstein untuk menyelaraskan bentuk geometris distribusi ke Gaussian isotropik:
dimana
adalah kuantil Gaussian standar,
adalah arah proyeksi acak (yaitu "iris / sketching").
Dasar teoretisnya adalah Teorema Cramér–Wold (Lemma 3.1 makalah): dua distribusi sama, jika dan hanya jika proyeksi satu dimensi mereka sepanjang semua arah pada bola satuan sama. Oleh karena itu, selama representasi berdimensi tinggi diiris sepanjang cukup banyak arah satu dimensi acak dan kemudian disejajarkan satu per satu ke Gaussian, itu setara dengan menyelaraskan seluruh distribusi di ruang berdimensi tinggi — ini memungkinkan penggunaan operasi pengurutan satu dimensi murah untuk menggambarkan bentuk distribusi lengkap, bukan hanya statistik orde kedua.
3. Tujuan Gabungan
Bagian ketiga adalah kerugian sentralisasi yang menarik rata-rata batch μ menuju titik asal
Tiga istilah regular digabungkan sesuai bobot:
Kerugian prediksi mengikuti tujuan invariansi JEPA / LeJEPA — membuat penyematan setiap sudut pandang (global + lokal, total V)
selaras dengan rata-rata sudut pandang global
:
Akhirnya gunakan hyperparameter tunggal λ untuk menyeimbangkan antara prediksi dan regular, mendapatkan tujuan lengkap:
Perbandingan dengan VICReg: VICReg juga memisahkan regular menjadi varians + kovarians, tetapi kovarians hanya menggambarkan statistik orde kedua; VISReg menggunakan tujuan sketching berbasis Sliced Wasserstein untuk menggambarkan bentuk distribusi lengkap, sekaligus mempertahankan item varians untuk kontrol skala — mempertahankan fleksibilitas VICReg, sekaligus mendapatkan ketelitian tingkat distribusi.
Hanya Membutuhkan Sekitar 15 Baris Kode PyTorch
Tujuan regular ini sangat ringan dalam implementasinya, logika inti hanya membutuhkan sekitar 15 baris:
Kompleksitas Komputasi dan Skalabilitas
Dalam hal komputasi dan skalabilitas, VISReg juga memiliki keunggulan. Kompleksitas komputasi bagian regulernya adalah
(N adalah batch, D adalah dimensi, K adalah jumlah iris), linier terhadap semua faktor skala; sebaliknya, item kovarians VICReg adalah
, tumbuh kuadrat terhadap dimensi.
Pada skala batch yang sama, kecepatan dan penggunaan memori VISReg pada satu GPU H100 tunggal lebih baik daripada SIGReg.
Lebih penting lagi, K irisan acak dapat dialokasikan ke beberapa GPU: di M GPU, masing-masing menghasilkan K/M irisan, efeknya setara dengan satu kartu menghasilkan semua K irisan.
Dalam eksperimen, ketika jumlah irisan per kartu tidak mencukupi, menggunakan 8 kartu, setiap kartu 128 irisan (total 1024), dapat mengurangi kesenjangan akurasi dengan "satu kartu 1024 irisan" dari sekitar 2.4% menjadi 0.22%. Ini berarti saat memperluas skala pelatihan, K dapat tetap konstan, hampir tidak menambah beban per kartu.
Gambar: Perubahan akurasi deteksi linier saat menambah jumlah GPU dengan K dan D tetap. Ketika K tidak mencukupi (K = 1⁄4D), menggunakan 8 kali jumlah GPU dapat melengkapi akurasi ke tingkat K = 2D — ini memungkinkan K tetap konstan selama pelatihan skala besar.
Hasil Eksperimen
Kembali ke pertanyaan judul — sebenarnya di mana keunggulan VISReg? Tim peneliti membandingkan VISReg dengan 7 metode pembelajaran mandiri utama seperti MoCoV3, DINO, iBOT, I-JEPA, MAE, data2vec di 15 set data (8 dalam domain + 6 di luar distribusi + prediksi padat ADE20K), mencakup astronomi, medis, penginderaan jauh, tekstur, bunga, dll. Jawabannya tercermin dalam beberapa dimensi dari pengenalan hingga segmentasi dan panduan generasi.
1. Deteksi Linier Dalam Domain (In-Domain)
Untuk memastikan perbandingan yang adil, eksperimen dibagi menjadi dua kelompok berdasarkan penggunaan teknik heuristik. Dalam kelompok yang tidak menggunakan teknik heuristik apa pun, VISReg memimpin: akurasi deteksi linier dalam domain ViT-B/16 mencapai 75.7%, lebih tinggi dari MAE (75.1%); ViT-L/14 meningkat lebih lanjut menjadi 77.0%, lebih tinggi dari LeJEPA (75.6%). Dibandingkan dengan iBOT dan DINO yang menggunakan teknik heuristik, VISReg sedikit lebih rendah pada set data konvensional, tetapi melebihi semua metode pada set data tekstur DTD — ini menunjukkan kemampuan generalisasi lintas domain berasal dari metode itu sendiri, bukan penumpukan teknik buatan.
2. Generalisasi Di Luar Distribusi (OOD): Optimal Secara Menyeluruh
Generalisasi di luar distribusi adalah ujian yang lebih ketat daripada akurasi dalam domain: metode yang bergantung pada heuristik sering kali di-tune dengan baik di dalam domain ImageNet, tetapi belum tentu dapat ditransfer ke distribusi baru yang sangat berbeda. Tim peneliti mengevaluasi pada 6 set data OOD yang mencakup medis (ChestXRay, RetinaMNIST, OrganAMNIST), astronomi (Galaxy10), penginderaan jauh (AID), tekstur (DTD), set data ini sepenuhnya tidak terkait dengan domain pelatihan ImageNet. Hasil menunjukkan, VISReg mencapai akurasi OOD rata-rata terbaik di semua metode, semua ukuran backbone, bahkan melebihi beberapa metode yang menggunakan teknik heuristik dan memiliki backbone lebih besar.
Gambar 4: Akurasi deteksi linier OOD rata-rata. VISReg secara keseluruhan lebih baik daripada iBOT, DINO, MoCoV3, I-JEPA, MAE, data2vec, dll.
Seperti yang ditunjukkan pada Gambar 4, akurasi OOD rata-rata VISReg ViT-B/16 adalah 70.19%, ViT-L/14 adalah 70.63%, jelas lebih tinggi daripada MAE (67.85%), dan lebih baik daripada MoCoV3 (69.46%), DINO (69.56%), I-JEPA (68.55%), dll.
3. Efisiensi Data: Menyamai DINOv2 dengan 1/10 Data
Setelah VISReg (ViT-L/14) dilatih sebelumnya di ImageNet-22K (sekitar 14 juta gambar), akurasi rata-rata 6 set data OOD-nya mencapai 72.94%, pada dasarnya setara dengan DINOv2 (72.93%) yang dilatih pada skala 10 kali lipat LVD-142M (142 juta gambar). Artinya, VISReg mencapai tingkat yang sama dengan sekitar 1/10 data. (Sebagai pembanding, VISReg yang hanya dilatih sebelumnya dengan ImageNet-1K tetapi dengan ViT-L/14 yang sama memiliki akurasi rata-rata 70.63%.) Ini menunjukkan representasi yang dipelajari memiliki generalisasi yang sangat kuat.
Gambar 5: VISReg yang dilatih sebelumnya di ImageNet-22K, menyamai DINOv2 yang dilatih dengan 10 kali data (LVD-142M) di tolok ukur OOD.
4. Fine-tuning Transfer: Secara Menyeluruh Melebihi DINO
Meskipun VISReg sedikit lebih rendah dalam akurasi deteksi linier pada beberapa set data dalam domain daripada DINO, tetapi setelah fine-tuning, VISReg melebihi DINO dan pelatihan sebelumnya yang diawasi di semua lima set data CIFAR-10, CIFAR-100, Flowers, ImageNet-1K, Galaxy10 — ini menunjukkan distribusi representasinya lebih merata, redundansi lebih rendah, dan kemampuan transfer lebih kuat.
Gambar: Perbandingan pembelajaran transfer. Setelah fine-tuning, VISReg lebih baik daripada DINO dan pelatihan sebelumnya yang diawasi di semua set data uji (CIFAR-10, CIFAR-100, Flowers, ImageNet-1K, Galaxy10).
5. Panduan Prediksi Padat dan Generasi
Keunggulan VISReg tidak terbatas pada klasifikasi. Pada segmentasi semantik linier ADE20K (ViT-B/16), mIoU-nya adalah 30.16, lebih tinggi dari DINO (29.40) dan MAE (23.60), hanya lebih rendah dari MoCoV3 (31.69); tanpa menggunakan teknik heuristik apa pun, hasil ini memiliki daya saing. Makalah juga mengakui, prediksi padat masih memiliki kesenjangan dengan metode terbaik, dan menjadi fokus optimasi selanjutnya.
Gambar 7: Segmentasi semantik linier di ADE20K. Tanpa menggunakan teknik heuristik apa pun, VISReg mencapai mIoU yang kompetitif, hanya lebih rendah dari MoCoV3.
Dalam panduan generasi (SiT-B/2, kerangka iREPA, 100 ribu langkah pelatihan), generasi yang dipandu oleh fitur VISReg lebih unggul dari DINO dalam tiga dari empat indikator: gFID 40.36 (DINO 41.15), Precision 51.38 (DINO 50.51), Recall 61.26 (DINO 60.70), IS pada dasarnya sama (33.48 vs 33.47). Ini menunjukkan representasi yang dipelajari VISReg juga lebih unggul sebagai sinyal panduan generasi.
Gambar 8: Generasi gambar menggunakan SiT-B/2, masing-masing dipandu oleh fitur VISReg dan DINO. VISReg memberikan panduan yang lebih baik di sebagian besar indikator (gFID lebih rendah, Precision dan Recall lebih tinggi).
6. Robustness pada Data Berkualitas Rendah
Pada set data berkualitas rendah seperti distribusi ekor panjang (ImageNet-LT) dan peringkat rendah (Galaxy10), VISReg dapat secara stabil mencegah keruntuhan dan mempelajari representasi yang bermakna, sedangkan DINO gagal langsung tanpa penyesuaian parameter yang halus.
Tabel 1: Akurasi deteksi linier di ImageNet-LT
Tabel 2: Akurasi deteksi linier dalam domain di Galaxy10
Kesimpulan
VISReg menunjukkan: memisahkan regularisasi representasi menjadi dua komponen independen "skala" dan "bentuk", dapat menghasilkan metode pembelajaran mandiri yang lebih stabil, lebih efisien, dan memiliki generalisasi yang lebih kuat daripada metode yang ada.
Tanpa menggunakan teknik pelatihan heuristik apa pun, VISReg mencapai hasil terdepan atau mendekati terdepan dalam beberapa dimensi seperti pengenalan gambar, segmentasi, dan panduan generasi, dan dengan sekitar 1/10 data mencapai tingkat OOD DINOv2. Ini memberikan solusi regularisasi baru untuk masalah keruntuhan representasi jangka panjang dari model dunia JEPA.
Referensi:
https://arxiv.org/abs/2606.02572
Artikel ini berasal dari akun WeChat publik "Xinzhiyuan", penulis: LRST
