给AI喂“噪声”也能涨分，这项工作让噪声实现正迁移
这篇发表于ICML 2026的研究提出了一种名为“半监督噪声自适应（SSNA）”的新方法，其核心思想是：迁移学习中，用于辅助训练的“源数据”可以不是真实的图像或文本，而是**完全没有语义的随机噪声**。
传统迁移学习需要大量有标签的源数据，但在隐私、版权等限制下，真实数据往往难以获得。SSNA框架（NAF）打破了这一限制。研究者为每个目标类别（例如CIFAR-10的10个类）生成一组对应的高斯分布噪声样本，并为每个噪声类预先指定一个目标类别编号（但编号本身无意义）。
NAF通过三个步骤实现“正迁移”：
1. **利用少量真实标签**：使用目标域中极少的标注样本进行基础监督学习，建立噪声与真实类别间的初步联系。
2. **在噪声域构建判别结构**：训练模型将同类噪声聚集、异类噪声分离，形成清晰的类别结构。
3. **跨域对齐**：将噪声域中学习到的类别结构（分布）与目标域的对齐，从而将判别性知识迁移到真实数据上。
实验表明，在每类仅有4个标注样本的极端少样本设定下，NAF相比仅使用标注数据的基线方法（ERM）在多个数据集上取得显著提升（如CIFAR-10提升12.35%）。研究还发现，关键因素在于噪声域中是否形成了**可分离的类别结构**，而非噪声数量多少。当把所有噪声压缩为一点（无结构）时，性能会大幅下降。
这项工作的意义在于，它揭示了迁移学习中可迁移的知识可能不限于数据的“语义内容”，**表征空间的“组织结构”本身也是一种有效的知识**。这为无法获取真实源数据的场景提供了一种低成本、保护隐私的替代方案。
marsbit07/22 07:55
