LeCun relaie continuellement la nouvelle méthode VISReg qui résout le problème central de l'« effondrement des représentations » des modèles du monde JEPA
Yann LeCun souligne l'importance de VISReg, une nouvelle méthode d'apprentissage auto-supervisé qui résout le problème fondamental de l'effondrement des représentations (representation collapse) dans les modèles de monde de type JEPA. Contrairement aux techniques heuristiques courantes (comme EMA ou les réseaux enseignant-élève), VISReg décompose la régularisation en deux objectifs indépendants : la régulation de l'échelle (variance) et celle de la forme (distribution). En utilisant une distance de Wasserstein par tranches (Sliced Wasserstein Distance) et un arrêt du gradient, elle maintient un fort signal de gradient même lors de l'effondrement, là où les méthodes précédentes comme SIGReg échouent. Évaluée sur 15 ensembles de données, VISReg surpasse sept méthodes principales sans astuces heuristiques, égalant les performances de DINOv2 sur des données hors distribution avec seulement un dixième des données d'entraînement. Elle démontre également une efficacité computationnelle, une meilleure généralisation et des performances solides en classification, segmentation et génération d'images.
marsbitIl y a 6 h
