Memberi "Noise" ke AI Juga Bisa Meningkatkan Skor, Karya Ini Membuat Noise Mencapai Transfer Positif
Dalam bidang transfer learning, sumber data biasanya berupa gambar, teks, atau audio. Namun, penelitian "Semi-Supervised Noise Adaptation (SSNA)" menunjukkan bahwa **noise acak yang tidak memiliki makna semantik**—dihasilkan dari distribusi Gaussian—juga dapat meningkatkan performa model dalam skenario semi-supervised dengan sedikit data berlabel.
Metode ini menggunakan **Kerangka Adaptasi Noise (Noise Adaptation Framework, NAF)**. NAF membuat struktur kategori diskriminatif dalam domain noise acak, lalu mentransfer **struktur** ini ke data target nyata untuk memberikan batas klasifikasi yang lebih jelas. Model memproyeksikan domain noise dan target ke ruang representasi bersama dan menyelaraskannya pada tingkat kategori.
Dalam eksperimen, dengan hanya 4 sampel berlabel per kelas, NAF meningkatkan akurasi secara signifikan dibandingkan baseline ERM pada dataset seperti CIFAR-10 (+12.35%), CIFAR-100 (+7.61%), dan lainnya. Peningkatan juga terlihat pada dataset skala besar seperti ImageNet-1K dan tugas klasifikasi teks.
Kunci keberhasilan ini bukanlah sifat acak noise itu sendiri, melainkan **struktur kategori yang dapat dipisahkan** yang dibentuknya dalam ruang representasi. Eksperimen ablasi menunjukkan bahwa jika semua noise dikompresi menjadi satu titik (tanpa struktur), kinerja justru menurun drastis. Sebaliknya, memperlebar jarak antara pusat kategori noise meningkatkan akurasi.
Penelitian ini menawarkan perspektif baru: dalam transfer learning, pengetahuan yang dapat ditransfer bisa berupa **cara data diorganisasikan dalam ruang representasi**, bukan hanya konten semantiknya. Ini membuka kemungkinan untuk skenario di mana data sumber asli tidak tersedia karena masalah privasi, hak cipta, atau keterbatasan akses. Noise sintetis dapat menjadi alternatif sumber daya yang efektif dan rendah biaya.
marsbit3m yang lalu