LeCun активно распространяет, новая работа VISReg решает ключевую проблему «коллапса представлений» в JEPA-моделях мира
Новая работа VISReg решает ключевую проблему коллапса представлений в JEPA-моделях мира от Янна ЛеКуна. Метод разделяет регуляризацию на независимые цели «масштаба» и «формы», используя дисперсию для контроля масштаба и расстояние Слейсед Вассерштейна для выравнивания формы распределения. VISReg не требует эвристических приёмов, таких как EMA или сети «учитель-ученик», и демонстрирует устойчивые градиенты даже при коллапсе, в отличие от предыдущего метода SIGReg. В экспериментах на 15 наборах данных VISReg превзошёл 7 современных методов самообучения, включая DINO и MAE, в задачах классификации, сегментации и генерации. Особенно эффективен в обобщении на новых распределениях (OOD), достигая точности DINOv2, используя лишь 1/10 данных. Реализация проста — около 15 строк кода на PyTorch, а вычислительная сложность линейна, что обеспечивает хорошую масштабируемость.
marsbit7 ч. назад
