LeCun transmite continuamente, la nueva obra VISReg resuelve el problema central del «colapso de representación» en los modelos mundiales JEPA
LeCun, premiado con el Turing, presenta VISReg, un avance en aprendizaje autosupervisado (SSL) que soluciona el colapso de representaciones, problema clave en los modelos de mundo JEPA. VISReg desacopla la regularización en componentes de "escala" y "forma", evitando la desaparición del gradiente durante el colapso. Sin técnicas heurísticas, supera a 7 métodos SSL en 15 conjuntos de datos. Con solo 1/10 de los datos, iguala a DINOv2 en generalización fuera de distribución (OOD) y supera a métodos como DINO en tareas de transferencia y segmentación. Ofrece una solución robusta, escalable y eficiente para el aprendizaje de representaciones.
marsbitHace 3 hora(s)
