Les "données sources" de l'apprentissage par transfert ne doivent pas nécessairement être des images, du texte ou de l'audio.
Un ensemble de bruit, échantillonné aléatoirement à partir d'une distribution gaussienne et sans aucune sémantique, peut aussi aider un modèle à mieux apprendre avec peu d'annotations.
Ce travail est intitulé Semi-Supervised Noise Adaptation (SSNA), et l'article a été publié à ICML 2026.

L'équipe SSNA propose en outre le Cadre d'Adaptation au Bruit (Noise Adaptation Framework, NAF), qui utilise du bruit généré aléatoirement pour construire une structure de catégories discriminante et transfère cette structure vers les véritables données cibles, améliorant ainsi l'apprentissage du modèle dans des scénarios à faible nombre d'annotations.

△ Le NAF projette le domaine du bruit et le domaine cible dans un espace de représentation partagé et les aligne au niveau des catégories. Image de l'article.
Avec seulement 4 échantillons annotés par classe, et basé sur le réseau ResNet-18, la précision du NAF sur CIFAR-10, CIFAR-100, DTD-47 et Caltech-101, comparée à la ligne de base d'apprentissage supervisé standard ERM (Minimisation du Risque Empirique, Empirical Risk Minimization) entraînée uniquement sur des échantillons annotés, a augmenté respectivement de 12,35, 7,61, 4,38 et 2,74 points de pourcentage. Le code source de l'article est désormais disponible, plus de détails à la fin.
Remplacer le vrai domaine source par du bruit
L'apprentissage par transfert traditionnel nécessite généralement un domaine source riche en étiquettes. Mais les véritables données sources ne sont pas toujours faciles à obtenir. La confidentialité, les restrictions de copyright et d'autres limites peuvent empêcher le partage des données du domaine source. Le SSNA tente de supprimer cette condition préalable : le domaine source ne contient plus d'échantillons réels, mais est remplacé par du bruit généré à partir d'une distribution de probabilité simple.
La méthode est concrètement simple. Supposons que la tâche cible comporte C catégories. L'équipe de recherche échantillonne d'abord aléatoirement un vecteur moyen pour chaque catégorie dans un espace de 1024 dimensions, utilise la matrice identité comme covariance pour construire C distributions gaussiennes, puis échantillonne 50 vecteurs de bruit à partir de chaque distribution. Le domaine du bruit et le domaine cible utilisent le même ensemble d'indices de catégorie ; chaque catégorie de bruit correspond à l'avance à un indice de catégorie cible, mais cette correspondance ne contient pas en elle-même d'information sémantique.
L'indexation en soi n'a pas de sémantique. La classe de bruit 0 ne représente pas naturellement un "chat". C'est juste qu'avant le début de l'entraînement, les chercheurs l'ont fixée pour correspondre à une certaine classe du domaine cible. Ce qui est réellement transféré n'est pas la connaissance visuelle du chat ou du chien, mais la structure discriminante formée dans le domaine du bruit.
Le bruit de la même catégorie est regroupé, et le bruit de différentes catégories est séparé. Tant que cette structure peut être alignée avec le domaine cible, elle peut fournir des limites de classification plus claires pour les véritables échantillons cibles.
Peu d'étiquettes restent nécessaires
Le bruit peut remplacer les véritables données sources, mais ne peut pas complètement remplacer les étiquettes du domaine cible. La raison est directe : le bruit vient d'un autre espace, et la numérotation des catégories est artificiellement attribuée. Le modèle doit s'appuyer sur un petit nombre d'échantillons cibles déjà annotés pour savoir à quelle classe réelle la classe de bruit 0 doit s'aligner.
Lorsque l'article réduit le nombre d'échantillons annotés par classe à 0 sur CIFAR-100, la précision de l'ERM et du NAF n'est que de 0,97 % et 1,34 % respectivement, proches du niveau aléatoire. Dès qu'un petit nombre d'annotations est fourni, le NAF dépasse constamment l'ERM.
Ainsi, la conclusion de ce travail est : Dans le cadre de la classification semi-supervisée, un véritable domaine source n'est pas nécessairement une condition préalable pour réaliser un transfert positif.
Le NAF fait principalement trois choses
Autour de la borne supérieure de généralisation donnée dans l'article, le NAF divise l'objectif d'entraînement en trois parties.
D'abord, bien apprendre le petit nombre de véritables étiquettes
L'encodeur du domaine cible projette les échantillons réels dans l'espace de représentation partagé, et le classificateur calcule la perte d'entropie croisée en utilisant le petit nombre d'échantillons annotés. Cette partie est cohérente avec l'apprentissage supervisé ordinaire, utilisée pour établir le pont entre les classes de bruit et les véritables catégories.
Ensuite, faire former une structure de catégories claire au bruit
Le projecteur de bruit est responsable de projeter les vecteurs aléatoires dans le même espace de représentation, et le classificateur identifie ce bruit selon les numéros de catégorie prédéfinis. Après l'entraînement, le bruit de la même classe se regroupe progressivement, et le bruit de différentes classes se sépare.
Enfin, aligner les deux côtés
Le NAF calcule également la différence de distribution entre le domaine du bruit et le domaine cible. Le module d'alignement de distribution n'est pas limité à une implémentation spécifique. L'article compare plusieurs solutions et utilise finalement de manière empirique la Similarité de Domaine Négative (Negative Domain Similarity, NDS) comme mécanisme par défaut dans les expériences. La NDS compare simultanément les moyennes globales et les moyennes de chaque catégorie des deux domaines, et utilise la similarité cosinus pour les rapprocher. Les moyennes de classe des échantillons cibles non annotés sont estimées de manière itérative par les pseudo-étiquettes générées par le modèle.
L'objectif complet peut s'écrire

. Parmi ceux-ci,

est responsable de la classification du petit nombre d'échantillons cibles annotés,

est responsable de la classification du bruit,

est responsable de l'alignement de distribution entre le domaine cible et le domaine du bruit. La borne supérieure de généralisation donnée dans l'article correspond également à ces trois termes : l'erreur empirique du domaine cible, l'erreur empirique du domaine du bruit, et la différence de distribution entre les deux domaines dans l'espace de représentation partagé.
Du CIFAR à l'ImageNet, le bruit peut apporter des gains
L'expérience principale couvre 8 ensembles de données visuelles et 1 ensemble de données de classification de texte. Sauf pour ImageNet-1K, les tâches visuelles utilisent 4 échantillons annotés par classe, les autres échantillons d'entraînement étant utilisés comme données non annotées.
Sur ResNet-18, les gains Top-1 du NAF par rapport à l'ERM sont respectivement : CIFAR-10 +12.35, CIFAR-100 +7.61, DTD-47 +4.38, Caltech-101 +2.74 points de pourcentage.

△
La classification fine-graine est également efficace. En utilisant ResNet-18, le NAF améliore les résultats sur CUB-200, Oxford Flowers-102 et Stanford Cars-196 de respectivement 8,94, 5,51 et 7,74 points de pourcentage par rapport à l'ERM.
Sur l'ImageNet-1K de plus grande échelle, l'équipe de recherche conserve 100 échantillons annotés par classe. Le NAF atteint une précision de 37,10 %, supérieure de 0,99 point de pourcentage à l'ERM. Sur la tâche textuelle AG News-4, le NAF utilisant BERT atteint 82,82 %, supérieur de 4,18 points de pourcentage aux 78,64 % de l'ERM.
Le NAF peut également être directement intégré aux méthodes semi-supervisées existantes. L'article le connecte à UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM et SA-FixMatch, et des gains ont été obtenus dans l'ensemble. Prenant comme exemple les résultats après 20 cycles d'entraînement sur CIFAR-10, après avoir ajouté le NAF, les précisions de UDA et FixMatch ont augmenté de 20,83 et 9,91 points de pourcentage respectivement.
Ce qui est vraiment utile, ce n'est pas "l'aléatoire", mais la structure
Pourquoi le bruit peut-il aider ? Les expériences d'ablation de l'article pointent vers le même facteur : si les catégories ont une structure séparable.
L'équipe a d'abord comprimé toutes les catégories de bruit en un seul point. Ainsi, le domaine du bruit perd complètement sa structure discriminante, et le NAF non seulement n'apporte aucun gain, mais présente un transfert négatif évident. La précision sur CIFAR-10 chute de 58,15 % pour l'ERM à 33,34 %, et sur CIFAR-100, elle chute de 42,24 % à 6,79 %.
À l'inverse, lorsque la distance entre les centres des catégories de bruit est progressivement augmentée, la précision sur CIFAR-100 passe de 43,80 % à 49,78 %. Cela indique que plus les classes de bruit sont faciles à distinguer, plus l'orientation structurelle qu'elles peuvent fournir est généralement forte.
La quantité de bruit n'est finalement pas si cruciale. Lorsque le nombre de bruit par classe passe de 10 à 100, la précision reste stable autour de 50 % ; elle baisse même légèrement après avoir augmenté à 200. L'article conclut donc qu'une petite quantité de bruit suffit à fonctionner, tant qu'elle peut former un mode séparable.

△
L'équipe de recherche a également simplifié le domaine du bruit en un seul point central par catégorie. Que le centre soit fixe ou apprenable, les résultats sont supérieurs à l'ERM ; parmi ceux-ci, les centres apprenables sont meilleurs que les centres fixes, mais restent inférieurs au NAF complet.
Dans l'expérience de transfert d'Amazon vers Caltech-10, les véritables données sources restent globalement légèrement supérieures, mais le domaine source de bruit a déjà pu augmenter la précision d'environ 88 % à 89 % par rapport aux 83,51 % de l'ERM. Cela donne également un positionnement plus réaliste : lorsque les véritables données sources ne sont pas disponibles, le bruit synthétique peut devenir une solution de remplacement à faible coût.
Il diffère également de l'augmentation de données courante. L'augmentation de données fait généralement tourner, recadrer, interpoler ou générer autour des véritables échantillons ; le SSNA construit d'abord un domaine de bruit indépendant, puis réalise l'alignement inter-domaines dans l'espace de représentation.
Résumé : Même sans sémantique, la structure peut être transférée
Ce travail offre une nouvelle perspective assez contre-intuitive pour l'apprentissage par transfert : les données sources peuvent aider la tâche cible, pas nécessairement en dépendant entièrement de leur sémantique réelle ; la structure de catégories formée dans l'espace de représentation peut également devenir une connaissance transférable.
C'est précisément ce qu'exploite le NAF, faisant former aux bruits aléatoires une structure discriminante dans l'espace de représentation partagé, puis la transmettant aux données réelles à l'aide d'un petit nombre d'échantillons annotés. Les résultats expérimentaux montrent que même si le domaine source ne contient pas d'images, de texte ou d'audio réels, tant qu'une structure de catégories appropriée est conservée, il peut encore avoir un effet positif sur la tâche cible.
En d'autres termes, ce que l'apprentissage par transfert transfère, ce n'est peut-être pas seulement "ce que disent les données", mais aussi "comment les données sont organisées dans l'espace de représentation". Cela ouvre également une nouvelle voie de recherche pour les scénarios où la confidentialité est restreinte, les droits d'auteur sensibles ou les véritables données sources difficiles à obtenir.
Titre de l'article : Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain
Adresse de l'article : https://arxiv.org/pdf/2606.00558
Adresse du code source : https://github.com/AIResearch-Group/SSNA
Explication vidéo : https://www.bilibili.com/video/BV1UV7h61EvW/
Cet article provient du compte WeChat public "Quantum Bit", auteur : Équipe SSNA






