Кормление ИИ "шумом" тоже повышает точность: это исследование позволяет шуму осуществить позитивный перенос
В статье представлен новый метод полуконтролируемого обучения под названием **Semi-Supervised Noise Adaptation (SSNA)**. Вместо использования реальных данных (например, изображений или текста) в качестве исходного домена, подход использует синтетические **шумовые векторы**, сгенерированные из простого гауссовского распределения. Эти шумовые данные не несут семантического содержания, но им присваиваются искусственные метки классов, соответствующие целевым классам.
Основная идея заключается в том, чтобы обучить модель формировать **дискриминативную классовую структуру** в общем пространстве представлений сначала на шумовых данных, а затем адаптировать (выровнять) эту структуру к данным целевого домена с помощью небольшого количества размеченных примеров. Для этого используется **Noise Adaptation Framework (NAF)**, который минимизирует три компонента потерь: классификацию на размеченных целевых данных, классификацию на шумовых данных и расстояние между распределениями шумового и целевого доменов.
Эксперименты на наборах данных CIFAR-10, CIFAR-100, DTD-47 и других показали значительное улучшение точности по сравнению с базовым методом ERM при использовании всего 4 размеченных примера на класс. Например, на CIFAR-10 точность выросла на 12.35%. Метод также совместим с существующими полуконтролируемыми алгоритмами (UDA, FixMatch), дополнительно улучшая их результаты.
Ключевой вывод исследования: для положительного переноса знаний в задачах трансферного обучения **не обязательно наличие семантически богатых исходных данных**. Достаточно сформировать в пространстве признаков четкую, разделимую классовую структуру, даже на искусственном шуме, и успешно перенести её на реальные данные. Это открывает новые возможности для сценариев, где доступ к реальным исходным данным ограничен из-за проблем конфиденциальности, авторских прав или их отсутствия.
marsbit07/22 07:57
