"Data sumber" dalam pembelajaran transfer, tidak harus berupa gambar, teks, atau audio.
Sekelompok noise yang diambil secara acak dari distribusi Gaussian, tanpa semantik apa pun, juga dapat membantu model belajar lebih baik dengan sedikit anotasi.
Karya ini bernama Semi-Supervised Noise Adaptation (SSNA), dan makalahnya telah diterbitkan di ICML 2026.

Tim SSNA lebih lanjut mengusulkan Kerangka Adaptasi Noise (Noise Adaptation Framework, NAF), yang menggunakan noise yang dihasilkan secara acak untuk membangun struktur kategori yang diskriminatif, dan mentransfer struktur ini ke data target nyata, sehingga meningkatkan efektivitas pembelajaran model dalam skenario dengan sedikit anotasi.

△NAF memproyeksikan domain noise dan domain target ke ruang representasi bersama, dan menyelaraskannya pada tingkat kategori. Gambar dari makalah.
Dalam kondisi di mana setiap kategori hanya memiliki 4 sampel berlabel, berdasarkan jaringan tulang punggung ResNet-18, akurasi NAF pada CIFAR-10, CIFAR-100, DTD-47, dan Caltech-101, dibandingkan dengan baseline pembelajaran terawasi standar ERM (Minimalisasi Risiko Empiris, Empirical Risk Minimization) yang hanya menggunakan sampel berlabel untuk pelatihan, masing-masing meningkat 12,35; 7,61; 4,38; dan 2,74 poin persentase. Saat ini, kode sumber makalah telah sumber terbuka, detailnya lihat di akhir artikel.
Mengganti Domain Sumber Nyata dengan Noise
Pembelajaran transfer tradisional biasanya membutuhkan domain sumber yang kaya label. Tetapi data sumber nyata tidak selalu mudah diperoleh. Pembatasan privasi, kerahasiaan, dan hak cipta, semuanya dapat membuat data domain sumber tidak dapat dibagikan. SSNA mencoba menghilangkan prasyarat ini: domain sumber tidak lagi diisi dengan sampel nyata, tetapi diganti dengan noise yang dihasilkan dari distribusi probabilitas sederhana.
Cara spesifiknya tidak rumit, dengan asumsi tugas target mencakup C kategori, tim peneliti pertama-tama mengambil sampel acak sebuah vektor rata-rata untuk setiap kategori dalam ruang 1024 dimensi, dan menggunakan matriks identitas sebagai kovarians, sehingga membangun C distribusi Gaussian, kemudian mengambil sampel 50 vektor noise dari setiap distribusi. Domain noise dan domain target menggunakan kumpulan indeks kategori yang sama, setiap kategori noise telah dikaitkan sebelumnya dengan sebuah indeks kategori target, tetapi kaitan ini sendiri tidak mengandung informasi semantik.
Penomoran di sini sendiri tidak memiliki semantik. Kategori noise 0 tidak secara alami mewakili "kucing", hanya saja sebelum pelatihan dimulai, peneliti menetapkannya untuk dikaitkan dengan kategori tertentu dalam domain target. Yang benar-benar ditransfer, bukanlah pengetahuan visual tentang kucing atau anjing, melainkan struktur diskriminatif yang terbentuk dalam domain noise.
Noise dari kategori yang sama dikumpulkan bersama, noise dari kategori yang berbeda dipisahkan. Selama struktur ini dapat disejajarkan dengan domain target, ia dapat memberikan batas klasifikasi yang lebih jelas untuk sampel target nyata.
Sedikit Label Masih Diperlukan
Noise dapat menggantikan data sumber nyata, tetapi tidak dapat sepenuhnya menggantikan label domain target. Alasannya langsung: noise berasal dari ruang lain, nomor kategori ditetapkan secara manual, model harus mengandalkan sedikit sampel target yang telah diberi label, untuk mengetahui bahwa kategori noise 0 sebenarnya harus disejajarkan dengan kategori nyata mana.
Makalah ini mengurangi sampel berlabel per kategori menjadi 0 pada CIFAR-100, akurasi ERM dan NAF masing-masing hanya 0,97% dan 1,34%, keduanya mendekati tingkat acak. Begitu sedikit anotasi disediakan, NAF terus melampaui ERM.
Oleh karena itu, kesimpulan dari karya ini adalah: dalam pengaturan klasifikasi semi-terawasi, domain sumber nyata belum tentu menjadi syarat yang diperlukan untuk mencapai transfer positif.
NAF Utamanya Melakukan Tiga Hal
Berdasarkan batas atas generalisasi yang diberikan dalam makalah, NAF membagi tujuan pelatihan menjadi tiga bagian.
Pertama Belajar Sedikit Label Nyata dengan Baik
Enkoder domain target memetakan sampel nyata ke ruang representasi bersama, klasifikator menggunakan sedikit sampel berlabel untuk menghitung kerugian entropi silang. Bagian ini konsisten dengan pembelajaran terawasi biasa, digunakan untuk membangun jembatan antara kategori noise dan kategori nyata.
Kemudian Membuat Noise Membentuk Struktur Kategori yang Jelas
Proyektor noise bertanggung jawab memetakan vektor acak ke ruang representasi yang sama, klasifikator kemudian mengidentifikasi noise ini sesuai dengan nomor kategori yang telah ditetapkan. Setelah pelatihan, noise dari kategori yang sama secara bertahap berkumpul, noise dari kategori yang berbeda saling terpisah.
Terakhir Menyelaraskan Kedua Sisi
NAF juga akan menghitung perbedaan distribusi antara domain noise dan domain target. Modul penyelarasan distribusi tidak membatasi implementasi spesifik, makalah membandingkan berbagai skema, dan akhirnya secara empiris menggunakan Negatif Domain Similarity (NDS) sebagai mekanisme default dalam eksperimen. NDS secara bersamaan membandingkan rata-rata global dan rata-rata setiap kategori dari kedua domain, dan menggunakan kesamaan kosinus untuk mendorong mereka mendekat. Rata-rata kategori untuk sampel target yang tidak berlabel, diperkirakan secara iteratif oleh label semu yang dihasilkan model.
Seluruh rangkaian tujuan dapat ditulis sebagai

. Di antara mereka,

bertanggung jawab untuk klasifikasi sampel target nyata yang sedikit dan berlabel,

bertanggung jawab untuk klasifikasi noise,

bertanggung jawab untuk penyelarasan distribusi antara domain target dan domain noise. Batas atas generalisasi yang diberikan makalah juga sesuai dengan tiga item ini: kesalahan empiris domain target, kesalahan empiris domain noise, dan perbedaan distribusi antara kedua domain dalam ruang representasi bersama.
Dari CIFAR ke ImageNet, Noise Dapat Memberikan Peningkatan
Eksperimen utama mencakup 8 dataset visual dan 1 dataset klasifikasi teks. Kecuali ImageNet-1K, tugas visual menggunakan 4 sampel berlabel per kategori, sisa sampel pelatihan digunakan sebagai data tidak berlabel.
Pada ResNet-18, peningkatan Top-1 NAF dibandingkan ERM masing-masing mencapai: CIFAR-10 +12,35; CIFAR-100 +7,61; DTD-47 +4,38; Caltech-101 +2,74 poin persentase.

△
Klasifikasi fine-grained juga efektif. Saat menggunakan ResNet-18, NAF pada CUB-200, Oxford Flowers-102, dan Stanford Cars-196 relatif terhadap ERM masing-masing meningkat 8,94; 5,51; dan 7,74 poin persentase.
Pada ImageNet-1K yang lebih besar, tim peneliti mempertahankan 100 sampel berlabel per kategori. NAF mencapai akurasi 37,10%, 0,99 poin persentase lebih tinggi dari ERM. Pada tugas teks AG News-4, NAF menggunakan BERT mencapai 82,82%, 4,18 poin persentase lebih tinggi dari 78,64% ERM.
NAF juga dapat langsung dimasukkan ke metode semi-terawasi yang ada. Makalah ini menghubungkannya ke UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM, dan SA-FixMatch, semuanya memperoleh peningkatan. Ambil contoh hasil pelatihan 20 putaran CIFAR-10, setelah UDA dan FixMatch ditambahkan NAF, akurasi masing-masing meningkat 20,83 dan 9,91 poin persentase.
Yang Benar-Benar Berguna Bukanlah "Acak", Melainkan Struktur
Mengapa noise bisa membantu? Eksperimen ablasi makalah mengarahkan jawaban ke faktor yang sama: apakah ada struktur yang dapat dipisahkan di antara kategori.
Tim pertama-tama menekan semua kategori noise menjadi satu titik yang sama. Dengan cara ini, domain noise kehilangan struktur diskriminatif sepenuhnya, NAF tidak hanya tidak mendapatkan peningkatan, tetapi justru menunjukkan transfer negatif yang jelas. Akurasi CIFAR-10 turun dari 58,15% ERM menjadi 33,34%, CIFAR-100 turun dari 42,24% menjadi 6,79%.
Sebaliknya, ketika jarak antara pusat kategori noise secara bertahap diperbesar, akurasi CIFAR-100 meningkat dari 43,80% menjadi 49,78%. Ini menunjukkan bahwa semakin mudah membedakan kategori noise, semakin kuat panduan struktur yang dapat diberikan.
Jumlah noise sebenarnya tidak terlalu kritis. Ketika setiap kategori meningkat dari 10 menjadi 100 noise, akurasi tetap stabil sekitar 50%; meningkat menjadi 200 bahkan sedikit menurun. Berdasarkan hal ini, makalah berpendapat bahwa asalkan dapat membentuk pola yang dapat dipisahkan, sedikit noise sudah cukup untuk berfungsi.

△
Tim peneliti juga menyederhanakan domain noise menjadi satu titik pusat per kategori. Baik pusat tetap maupun dapat dipelajari, hasilnya lebih tinggi dari ERM; di antaranya, pusat yang dapat dipelajari lebih baik daripada pusat tetap, tetapi masih di bawah NAF lengkap.
Dalam eksperimen transfer dari Amazon ke Caltech-10, data sumber nyata secara keseluruhan masih sedikit lebih unggul, tetapi domain sumber noise sudah dapat meningkatkan akurasi dari 83,51% ERM menjadi sekitar 88% hingga 89%. Ini juga memberikan posisi yang lebih realistis: ketika data sumber nyata tidak tersedia, noise sintetis dapat menjadi alternatif dengan biaya rendah.
Ini juga berbeda dari augmentasi data umum. Augmentasi data biasanya melakukan rotasi, pemotongan, interpolasi, atau generasi di dekat sampel nyata; SSNA pertama-tama membangun domain noise independen, kemudian menyelesaikan penyelarasan lintas domain dalam ruang representasi.
Kesimpulan: Tanpa Semantik, Struktur Masih Dapat Ditransfer
Karya ini memberikan perspektif baru yang cukup kontra-intuitif untuk pembelajaran transfer: data sumber dapat membantu tugas target, tidak sepenuhnya bergantung pada semantik nyatanya, struktur kategori yang terbentuk dalam ruang representasi juga dapat menjadi pengetahuan yang dapat ditransfer.
NAF tepatnya memanfaatkan hal ini, membuat noise acak membentuk struktur diskriminatif dalam ruang representasi bersama, kemudian dengan bantuan sedikit sampel berlabel, mentransfernya ke data nyata. Hasil eksperimen menunjukkan bahwa bahkan jika domain sumber tidak mengandung gambar, teks, atau audio nyata, asalkan struktur kategori yang sesuai dipertahankan, masih mungkin memiliki efek positif pada tugas target.
Dengan kata lain, apa yang ditransfer dalam pembelajaran transfer, mungkin bukan hanya "apa yang dikatakan data", tetapi juga "bagaimana data diorganisir dalam ruang representasi". Ini juga membuka jalan pemikiran penelitian baru untuk skenario dengan pembatasan privasi, sensitivitas hak cipta, atau kesulitan memperoleh data sumber nyata.
Judul Makalah: Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain
Alamat Makalah: https://arxiv.org/pdf/2606.00558
Alamat Kode Sumber: https://github.com/AIResearch-Group/SSNA
Video Penjelasan: https://www.bilibili.com/video/BV1UV7h61EvW/
Artikel ini berasal dari akun WeChat resmi "量子位", penulis: Tim SSNA






