Le fondement des modèles du monde JEPA est l'apprentissage auto-supervisé (Self-Supervised Learning, SSL) que Yann LeCun promeut sans relâche depuis 2017.
Le SSL peut apprendre des représentations générales à partir de données massives sans annotation manuelle, mais il fait face à un problème central quasi universel – l'effondrement de la représentation (representation collapse) : le modèle a tendance à projeter différentes entrées sur le même vecteur ou sur un très petit nombre de vecteurs, donnant l'impression d'avoir terminé l'apprentissage alors qu'il n'a pas vraiment appris de représentations discriminantes.
Pour supprimer l'effondrement, les principales méthodes reposent sur une série de techniques heuristiques (EMA, réseau enseignant-élève, arrêt des gradients, couches gelées, etc.). Ces techniques rendent l'entraînement fragile et difficile à paramétrer, tout en diminuant l'interprétabilité et l'extensibilité des méthodes.
Une autre approche consiste à contraindre directement la distribution des représentations via un terme de régularisation.
VICReg, proposé par l'équipe de LeCun, décompose l'objectif d'apprentissage en trois termes : variance, invariance et covariance, utilisant la covariance pour contraindre la corrélation entre les dimensions ; mais la covariance ne capture que des statistiques du second ordre et ne peut distinguer deux représentations « de même moyenne et variance, mais de forme de distribution radicalement différente ».
SIGReg, proposé par la suite, est basé sur le théorème de Cramér–Wold et utilise une technique de sketch pour aligner toute la distribution d'embeddings sur une gaussienne standard, contraignant ainsi la forme complète de la distribution.
Cependant, SIGReg présente encore deux défauts majeurs :
- Disparition du gradient lors de l'effondrement : lorsque la représentation commence à s'effondrer, le gradient de SIGReg s'atténue – plus l'effondrement est grave, plus le signal de correction est faible, rendant difficile pour le modèle de se rétablir ;
- Couplage entre échelle et forme : il ne sépare pas les deux attributs indépendants que sont « l'amplitude (échelle) » et « la morphologie de la distribution (forme) », ces deux éléments interférant mutuellement lors de l'optimisation, conduisant à une adaptabilité plus faible sur des données à longue traîne, de faible qualité ou de faible rang.
Autrement dit, au moment où le modèle a le plus besoin d'un signal de gradient pour échapper à l'état d'effondrement, le gradient de SIGReg tend justement à disparaître.
C'est précisément le problème central que VISReg s'attache à résoudre.
Récemment, les travaux récents sur l'apprentissage auto-supervisé VISReg (Variance-Invariance-Sketching Regularization) ont été partagés de manière continue et reçus avec une grande reconnaissance par le lauréat du prix Turing Yann LeCun – il a commenté lors de son partage « VICReg begat SIGReg which begat VISReg » (VICReg a engendré SIGReg qui a engendré VISReg), une phrase qui résume la filiation technique de cette ligne de régularisation.
Pourquoi VISReg mérite-t-il une telle reconnaissance de la part de LeCun ?
La réponse est : il vise avec précision le problème central sur lequel LeCun a longtemps misé pour les modèles du monde JEPA – l'effondrement de la représentation (representation collapse).
Lien vers l'article : https://arxiv.org/abs/2606.02572
Code / poids pré-entraînés : https://github.com/HaiyuWu/visreg
Page d'accueil du projet : https://haiyuwu.github.io/visreg/
VISReg découple le terme de régularisation qui prévient l'effondrement en deux objectifs indépendants « échelle » et « forme ». Sans dépendre d'aucune technique heuristique d'entraînement ni de données massives, il surpasse 7 méthodes principales d'apprentissage auto-supervisé sur 15 jeux de données ; en utilisant seulement environ 1/10 des données d'entraînement, il atteint des performances comparables à DINOv2 sur les benchmarks hors distribution (OOD).
Figure 2 : Simulation de l'amplitude du gradient ‖∇L‖ à différentes étapes de l'effondrement des représentations pour différentes méthodes de régularisation. VISReg maintient un gradient fort même en état d'effondrement, alors que le gradient de SIGReg disparaît presque.
Méthode principale
VISReg combine les avantages de VICReg et SIGReg : il conserve le terme de variance de VICReg pour contrôler l'échelle, tout en remplaçant le terme de covariance par un objectif de sketch basé sur la distance de Wasserstein par tranches (Sliced Wasserstein Distance, SWD) pour contrôler la forme, et découple complètement les deux via un arrêt des gradients. L'objectif de régularisation complet est composé de trois parties.
1. Régularisation d'échelle (Scale Regularization)
La première partie contraint la variance de chaque dimension pour empêcher l'effondrement de l'amplitude :
Sa propriété clé est : lorsque le modèle s'effondre, le gradient de ce terme tend vers une constante, garantissant ainsi que le modèle peut se rétablir de manière stable – cela comble justement la faille de la disparition du gradient dans SIGReg.
2. Régularisation de forme (Shape Regularization)
La deuxième partie normalise d'abord pour éliminer l'influence de l'échelle, puis contraint séparément la forme. L'étape clé est la normalisation avec « arrêt du gradient » (stop-gradient, sg) :
Ici, l'arrêt du gradient est appliqué à l'écart-type σσ, de sorte que l'optimisation de la perte de forme ne modifie pas en retour l'échelle – c'est précisément le mécanisme par lequel les deux objectifs « échelle » et « forme » sont véritablement découplés et n'interfèrent pas l'un avec l'autre.
Après normalisation, la distance de Wasserstein par tranches est utilisée pour aligner la forme géométrique de la distribution sur une gaussienne isotrope :
où
est le quantile gaussien standard,
est la direction de projection aléatoire (c'est-à-dire la « tranche / sketch »).
Son fondement théorique est le théorème de Cramér–Wold (Lemma 3.1 de l'article) : deux distributions sont égales si et seulement si toutes leurs projections unidimensionnelles le long de toutes les directions sur la sphère unité sont égales. Ainsi, en alignant simplement les représentations haute dimension le long d'un nombre suffisant de directions unidimensionnelles aléatoires sur une gaussienne, on équivaut à aligner la distribution entière dans l'espace haute dimension – cela permet d'utiliser une opération de tri unidimensionnelle peu coûteuse pour caractériser la forme complète de la distribution, et non seulement des statistiques du second ordre.
3. Objectif combiné
La troisième partie est une perte de centralisation qui tire la moyenne du batch μ vers l'origine
Les trois termes de régularisation sont combinés avec des poids :
La perte de prédiction suit l'objectif d'invariance de JEPA / LeJEPA – aligner les embeddings de chaque vue (global + local, V au total)
vers la moyenne de la vue globale
:
Enfin, un unique hyperparamètre λ équilibre prédiction et régularisation pour obtenir l'objectif complet :
Comparaison avec VICReg : VICReg découple également la régularisation en variance + covariance, mais la covariance ne capture que des statistiques du second ordre ; VISReg utilise un objectif de sketch basé sur Wasserstein par tranches pour caractériser complètement la forme de la distribution, tout en conservant le terme de variance pour le contrôle de l'échelle – conservant ainsi la flexibilité de VICReg tout en gagnant en rigueur au niveau de la distribution.
Seulement environ 15 lignes de code PyTorch
Cet objectif de régularisation est très léger en implémentation, la logique centrale ne nécessite qu'environ 15 lignes :
Complexité de calcul et extensibilité
En termes de calcul et d'extensibilité, VISReg présente également des avantages. La complexité de calcul de sa partie de régularisation est
(N étant la taille du batch, D la dimension, K le nombre de tranches), elle est linéaire pour tous les facteurs d'échelle ; en comparaison, le terme de covariance de VICReg est
, qui croît avec le carré de la dimension.
À taille de batch égale, la vitesse d'exécution et l'occupation de mémoire de VISReg sur une seule H100 GPU sont toutes deux supérieures à celles de SIGReg.
Plus important encore, les K tranches aléatoires peuvent être réparties sur plusieurs GPU : sur M GPU, chaque GPU génère K/M tranches, l'effet est équivalent à générer toutes les K tranches sur une seule carte.
Dans les expériences, lorsque le nombre de tranches par carte est insuffisant, en utilisant 8 cartes, 128 tranches par carte (total 1024), l'écart de précision avec « une seule carte 1024 tranches » est réduit d'environ 2,4% à 0,22%. Cela signifie qu'en augmentant l'échelle d'entraînement, KK peut rester constant, n'augmentant presque pas la charge par carte.
Figure : Changement de précision de détection linéaire avec l'augmentation du nombre de GPU, pour K et D fixés. Lorsque K est insuffisant (K = 1⁄4D), un nombre de GPU 8 fois plus grand permet d'égaler la précision du niveau K = 2D – ce qui rend possible le maintien d'un K constant lors d'un entraînement à grande échelle.
Résultats expérimentaux
Revenons à la question du titre – où VISReg est-il vraiment fort ? L'équipe de recherche a comparé VISReg avec 7 méthodes principales d'apprentissage auto-supervisé (MoCoV3, DINO, iBOT, I-JEPA, MAE, data2vec, etc.) sur 15 jeux de données (8 intra-domaines + 6 hors distribution + prédiction dense ADE20K), couvrant des scénarios tels que l'astronomie, la médecine, la télédétection, les textures, les fleurs, etc. La réponse se manifeste dans plusieurs dimensions, de la reconnaissance à la segmentation et la génération.
1. Détection linéaire intra-domaine (In-Domain)
Pour garantir l'équité de la comparaison, les expériences sont divisées en deux groupes selon l'utilisation ou non de techniques heuristiques. Dans le groupe n'utilisant aucune technique heuristique, VISReg est en tête : la précision de détection linéaire intra-domaine de ViT-B/16 atteint 75,7%, supérieure à MAE (75,1%) ; ViT-L/14 atteint 77,0%, supérieur à LeJEPA (75,6%). Comparé à iBOT et DINO qui utilisent des techniques heuristiques, VISReg est légèrement inférieur sur les jeux de données conventionnels, mais dépasse toutes les méthodes sur le jeu de données de texture DTD – ce qui indique que sa capacité de généralisation inter-domaines provient de la méthode elle-même, et non d'un empilement de techniques artificielles.
2. Généralisation hors distribution (OOD) : Optimalité complète
La généralisation hors distribution est un test plus strict que la précision intra-domaine : les méthodes dépendant d'heuristiques sont souvent finement réglées dans le domaine ImageNet, mais peuvent ne pas bien migrer vers de nouvelles distributions très différentes. L'équipe de recherche a évalué sur 6 jeux de données OOD couvrant la médecine (ChestXRay, RetinaMNIST, OrganAMNIST), l'astronomie (Galaxy10), la télédétection (AID), les textures (DTD), ces jeux de données étant totalement indépendants du domaine d'entraînement ImageNet. Les résultats montrent que VISReg a obtenu la meilleure précision OOD moyenne sur toutes les méthodes et toutes les tailles de backbones, dépassant même certaines méthodes utilisant des techniques heuristiques et avec des backbones plus grands.
Figure 4 : Précision moyenne de détection linéaire OOD. VISReg surpasse globalement iBOT, DINO, MoCoV3, I-JEPA, MAE, data2vec et d'autres méthodes.
Comme le montre la figure 4, la précision OOD moyenne de VISReg avec ViT-B/16 est de 70,19%, celle de ViT-L/14 est de 70,63%, nettement supérieure à MAE (67,85%), et supérieure à MoCoV3 (69,46%), DINO (69,56%), I-JEPA (68,55%) et d'autres méthodes.
3. Efficacité des données : Atteindre DINOv2 avec 1/10 des données
Après pré-entraînement de VISReg (ViT-L/14) sur ImageNet-22K (environ 14 millions d'images), sa précision moyenne sur 6 jeux de données OOD atteint 72,94%, comparable à celle de DINOv2 (72,93%) entraîné sur LVD-142M (142 millions d'images) à une échelle 10 fois plus grande. Autrement dit, VISReg atteint un niveau comparable avec environ 1/10 des données. (Pour comparaison, la précision moyenne de VISReg également avec ViT-L/14, mais pré-entraîné uniquement sur ImageNet-1K, est de 70,63%.) Cela montre que les représentations apprises ont une forte généralité.
Figure 5 : VISReg pré-entraîné sur ImageNet-22K, atteint des performances comparables à DINOv2 entraîné avec 10 fois plus de données (LVD-142M) sur le benchmark OOD.
4. Transfert par fine-tuning : Surpasse DINO de manière complète
Bien que la précision de détection linéaire de VISReg sur certains jeux de données intra-domaines soit légèrement inférieure à celle de DINO, après fine-tuning, il surpasse DINO et le pré-entraînement supervisé sur les cinq jeux de données : CIFAR-10, CIFAR-100, Flowers, ImageNet-1K, Galaxy10 – cela indique que sa distribution de représentations est plus uniforme, moins redondante et a une meilleure transférabilité.
Figure : Comparaison d'apprentissage par transfert. Après fine-tuning, VISReg surpasse DINO et le pré-entraînement supervisé sur tous les jeux de données testés (CIFAR-10, CIFAR-100, Flowers, ImageNet-1K, Galaxy10).
5. Prédiction dense et guidage de génération
L'avantage de VISReg ne se limite pas à la classification. Sur la segmentation sémantique linéaire ADE20K (ViT-B/16), son mIoU est de 30,16, supérieur à DINO (29,40) et MAE (23,60), juste derrière MoCoV3 (31,69) ; sans utiliser aucune technique heuristique, ce résultat est compétitif. L'article reconnaît également que la prédiction dense présente encore un écart avec les meilleures méthodes, ce qui est un point d'optimisation futur.
Figure 7 : Segmentation sémantique linéaire sur ADE20K. Sans utiliser aucune technique heuristique, VISReg obtient un mIoU compétitif, juste derrière MoCoV3.
Pour le guidage de génération (SiT-B/2, cadre iREPA, 100 000 pas d'entraînement), la génération guidée par les caractéristiques de VISReg surpasse DINO sur trois des quatre indicateurs : gFID 40,36 (DINO 41,15), Précision 51,38 (DINO 50,51), Rappel 61,26 (DINO 60,70), IS pratiquement égal (33,48 vs 33,47). Cela montre que les représentations apprises par VISReg sont également supérieures comme signal de guidage pour la génération.
Figure 8 : Génération d'images guidée respectivement par les caractéristiques de VISReg et DINO, utilisant SiT-B/2. VISReg fournit un meilleur guidage sur la majorité des indicateurs (gFID plus bas, Précision et Rappel plus élevés).
6. Robustesse sur données de faible qualité
Sur des jeux de données de faible qualité comme les distributions à longue traîne (ImageNet-LT) et de faible rang (Galaxy10), VISReg peut empêcher de manière stable l'effondrement et apprendre des représentations significatives, tandis que DINO échoue directement sans réglage fin.
Tableau 1 : Précision de détection linéaire sur ImageNet-LT
Tableau 2 : Précision de détection linéaire intra-domaine sur Galaxy10
Conclusion
VISReg démontre qu'en découplant la régularisation des représentations en deux composants indépendants « échelle » et « forme », on peut obtenir une méthode d'apprentissage auto-supervisé plus stable, plus efficace et avec une meilleure généralisation que les méthodes existantes.
Sans utiliser aucune technique heuristique d'entraînement, il obtient des résultats de pointe ou proches de la pointe dans plusieurs dimensions, de la reconnaissance d'images à la segmentation et au guidage de génération, et atteint le niveau OOD de DINOv2 avec environ 1/10 des données. Cela offre une nouvelle solution régularisatrice au problème d'effondrement des représentations qui existe depuis longtemps dans les modèles du monde JEPA.
Références :
https://arxiv.org/abs/2606.02572
Cet article provient du compte WeChat public « Xin Zhi Yuan », auteur : LRST
