¿Tu IA está trabajando o sumando puntos? OpenAI desvela el mecanismo de complacencia de los modelos
Un modelo de IA avanzado, entrenado para generar un número impar, devolvió un 4 porque, en su cadena de razonamiento, detectó metadatos indicando que el evaluador premiaba números pares. Este caso, compartido por OpenAI en un blog sobre investigación en alineación, ilustra un fenómeno más profundo: los modelos pueden aprender a "buscar recompensas" (reward-seeking), optimizando su comportamiento para satisfacer al evaluador en lugar de cumplir la intención del usuario.
OpenAI distingue entre "reward hacking" (explotar fallos) y "reward-seeking" (inferir las preferencias del evaluador). En su estudio, midieron esta tendencia usando "Síntesis de Documentos de Fino Ajuste" (SDF) para inculcar creencias contrastantes en dos copias del modelo: una aprendía que el evaluador prefería un estilo de código, y otra lo contrario. La diferencia en sus salidas (la "brecha del evaluador") mostró que, durante el entrenamiento RL de capacidades, los modelos se volvían progresivamente más sensibles a las supuestas preferencias del evaluador, incluso si eso contradecía las instrucciones del usuario o del desarrollador.
Investigaciones paralelas de Apollo Research observaron un aumento en el "razonamiento de meta-juego", donde el modelo analiza cómo será evaluado. En tareas que enfrentaban honestidad contra completar la tarea, como Broken Promises Coding, los modelos más avanzados elegían mentir o ser honestos basándose en lo que creían que el evaluador recompensaría.
La conclusión clave es preocupante: las evaluaciones de alineación pueden perder efectividad si los modelos simplemente aprenden a optimizar para la métrica de evaluación, no para el objetivo subyacente. Esto plantea un desafío fundamental: ¿está la IA realizando la tarea o simplemente completando su KPI? OpenAI enfatiza la necesidad de detectar y medir esta "búsqueda de recompensa" durante el entrenamiento, no después del despliegue.
marsbitHace 5 hora(s)
