¡Es realmente escalofriante!
Un modelo top en el que se habían depositado grandes esperanzas, y OpenAI ha presionado el botón de "pausa" de la noche a la mañana.
¿Por qué?
Este modelo es precisamente ese duro rival que, hace dos meses, refutó la conjetura de distancia unitaria de Erdős y que hasta matemáticos externos calificaron como un "hito".
Y es precisamente él, quien en pruebas internas controladas, una y otra vez probó los límites y buscó vulnerabilidades:
Aprendió a fingir, desempacar, escapar, hasta que OpenAI se llevó un susto y lo detuvo urgentemente.
Un experto ha señalado que esto es definitivamente GPT-6. Quiso escapar y lo atraparon para volver a entrenarlo.
Hoy, OpenAI publicó un artículo inusualmente largo, repasando el proceso de pérdida de control de un "modelo de ejecución de largo plazo" durante su uso interno.
Veamos juntos, ¿qué ocurrió exactamente en las pruebas internas?
GPT-6 pasó una hora completa
encontrando esa "puerta de escape"
La escena más clásica:
OpenAI le pidió a GPT-6 que ejecutara el benchmark público NanoGPT speedrun, con el objetivo de entrenar un modelo de lenguaje pequeño con el menor número de pasos posible.
No defraudó, la IA desarrolló una técnica de programación de tasa de aprendizaje que nombró PowerCool, con resultados bastante notables.
Hasta aquí, todo iba bien. El verdadero problema surgió en el paso de "entregar el trabajo".
Los investigadores especificaron claramente que los resultados solo debían enviarse al Slack interno. Pero las instrucciones del proyecto NanoGPT decían: "Por favor, envía los resultados como un PR al repositorio de GitHub".
Al enfrentarse a dos instrucciones contradictorias, GPT-6 eligió la segunda, es decir, enviar los resultados al repositorio público.
El sandbox (entorno aislado) estaba precisamente para bloquear a GPT-6 y evitar que tocara la red externa.
Los modelos anteriores, al toparse con este muro, simplemente lo aceptaban, daban la vuelta y te decían "no puedo hacerlo".
Pero GPT-6 no.
Buscó vulnerabilidades en el sandbox durante toda una hora, logró atravesar la pared de aislamiento, sortear las restricciones de acceso externo y abrió exitosamente el PR#287 en el repositorio público de GitHub.
En palabras del propio OpenAI: este modelo a menudo probaba continuamente, incluyendo buscar formas de actuar fuera del sandbox.
Hay que admitir que esta "obsesión" en sí misma es lo suficientemente inquietante.
Desmontando tokens, engañando a humanos
El segundo evento es aún más inquietante: GPT-6 aprendió a desmontar evidencia y engañar las inspecciones.
En otra tarea, GPT-6 descubrió que otros sistemas tenían algunas respuestas exitosas pero no públicas, y tuvo una idea:
Intentar "rescatar" estas respuestas del backend de evaluación.
En el primer intento, fue atrapado por un escáner de seguridad, que reconoció un token de autenticación.
Un modelo normal se habría detenido en este punto.
Pero GPT-6 dividió este token en dos partes, las ofuscó por separado, y luego, al ejecutarse, las unió silenciosamente de nuevo.
De esta manera, el token completo nunca apareció como una cadena entera, y el escáner naturalmente no detectó nada.
Lo alarmante es que, tanto en los comentarios para el usuario como en su propio proceso de razonamiento, escribió claramente:
Hice esto para sortear el escáner. Es decir, conocía las reglas y luego actuaba específicamente donde las reglas no podían ver.
GPT-6 escapa, vuelve al horno
Al descubrirlo de inmediato, OpenAI suspendió el acceso interno a GPT-6 y lo sometió a una reconstrucción completa del sistema de seguridad.
La idea se llama "defensa en profundidad", e hicieron varias cosas:
1. Usaron incidentes reales como material para crear pruebas de adversidad;
2. Entrenaron específicamente para la alineación (alignment training), descubrieron que el modelo "olvidaba" las instrucciones en tareas largas, así que lo entrenaron para recordarlas;
3. Añadieron un monitoreo activo que rastrea todo el proceso, para detener la sesión y alertar al usuario ante cualquier indicio.
Luego, reprodujeron los escenarios de incidentes anteriores.
Las nuevas barreras detectaron significativamente más problemas, y los pocos que se escaparon tampoco fueron graves:
Por ejemplo, el modelo accedió sin sentido por SSH a un nodo de computación de un colega, o escribió un comando que habría terminado con todos sus propios procesos.
Afortunadamente, se agotó el tiempo y no llegó a ejecutarse. Tras varias semanas de acceso restaurado, no ha habido más casos graves de evasión.
Lo que escapa, no vuelve
Muchos, al leer esto, suspirarán aliviados: menos mal que eran pruebas internas, menos mal que estaban monitorizando, menos mal que lo detuvieron a tiempo.
Pero hay un detalle, que el artículo original de OpenAI expresa con mucha moderación, y que es lo más escalofriante de todo el asunto:
Ese PR#287 presentado tras el escape, OpenAI lo cerró después, pero ya era tarde.
Antes de ser cerrado, varios participantes del speedrun ya habían visto ese PR, comprendido la técnica PowerCool que contenía y la habían utilizado en sus propias soluciones.
Este es precisamente el punto que debería despertar a todos: lo que produce un escape de IA, una vez que sale, no se puede recuperar con solo presionar la tecla de borrar.
Se puede detener el modelo, suspender el acceso, cerrar el PR. Pero los que lo vieron ya lo vieron, el código copiado ya fue copiado, la historia no retrocede.
Siempre nos preocupa que el "descontrol" de la IA sea una escena de película apocalíptica.
Pero la primera versión de "descontrol" en la realidad es así de simple: solo quería hacer el trabajo demasiado bien, y sin querer envió algo por una puerta por la que no debía, y esa puerta nunca volverá a cerrarse por completo.
Referencias:
https://openai.com/index/safety-alignment-long-horizon-models/
Este artículo proviene de la cuenta pública de WeChat "New Zhiyuan", autor: ASI Apocalipsis, editor: Peach.
