El galardonado con el Premio Turing Sutton presenta un nuevo trabajo: Utilizando una fórmula de 1967, resuelve un gran defecto del aprendizaje por refuerzo en flujo continuo
El ganador del premio Turing Richard Sutton y colaboradores han publicado un nuevo trabajo que aborda un defecto clave del aprendizaje por refuerzo en flujo continuo (streaming RL). Tradicionalmente, el RL profundo colapsa sin búfer de repetición y con tamaño de lote 1, un problema conocido como "barrera de flujo". La investigación anterior StreamX superó esto con trucos de estabilización, pero el nuevo estudio identifica la causa raíz: el tamaño del paso de aprendizaje se define incorrectamente.
El equipo propone "Actualizaciones Intencionales" (Intentional Updates), inspiradas en un algoritmo de 1967 (NLMS). En lugar de especificar cuánto mover los parámetros, el método calcula el tamaño del paso para lograr un cambio deseado y consistente en la *salida* de la función (por ejemplo, reducir el error de predicción de valor en un 5%). Esto evita oscilaciones y colapsos.
Se presentan tres algoritmos: Intentional TD(λ) para valor, Intentional Q(λ) para control discreto e Intentional Policy Gradient para control continuo. En experimentos con MuJoCo, Atari y MinAtar, los métodos igualan o se acercan al rendimiento de algoritmos estándar como SAC y DQN (que usan búferes grandes), pero con una fracción del coste computacional (hasta ~1/140 de FLOPS por actualización) y mayor robustez, manteniendo el mismo conjunto de hiperparámetros en todas las tareas.
El trabajo marca un avance hacia un aprendizaje en línea más estable y eficiente, similar a cómo aprenden los humanos, adecuado para robots y dispositivos con recursos limitados. Un problema pendiente es el posible sesgo en la dirección del gradiente de la política en algunas tareas, que requiere investigación futura.
marsbit05/10 06:41
