LeCun Terus Menerus Retweet, Karya Baru VISReg Pecahkan Masalah Inti 'Keruntuhan Representasi' Model Dunia JEPA
LeCun memperkenalkan VISReg, metode self-supervised learning baru untuk mengatasi *representation collapse* pada model dunia JEPA. VISReg memisahkan regularisasi menjadi dua target independen: **Skala** (mengontrol varians) dan **Bentuk** (menyelaraskan distribusi ke Gaussian menggunakan Sliced Wasserstein Distance). Dengan *stop-gradient*, kedua target tidak saling mengganggu.
Metode ini mengatasi kelemahan SIGReg, di mana gradien menghilang saat *collapse*, karena VISReg mempertahankan gradien konstan untuk pemulihan. Tanpa trik heuristik seperti EMA, VISReg unggul dalam 15 dataset. Pada data OOD (luar distribusi), VISReg mencapai kinerja setara DINOv2 hanya dengan ~1/10 data. Selain klasifikasi, VISReg juga efektif untuk segmentasi semantik dan panduan generasi gambar, menunjukkan generalisasi dan efisiensi data yang kuat untuk model dunia masa depan.
marsbit8j yang lalu
