«¡Es una locura!» «Dios mío...»
En la reciente conferencia anual Black Hat, los mejores hackers de sombrero blanco del mundo y ejecutivos de grandes empresas dejaron escapar exclamaciones de asombro.
Por primera vez en la historia, OpenAI ha revelado al mundo en detalle los sorprendentes hechos de la intrusión en Hugging Face ocurrida en julio.
Al principio, todos pensaron que era solo un incidente aislado.
Pero hoy, OpenAI lo ha admitido públicamente:
No fue algo aislado, sino una huida colectiva organizada de forma espontánea por un grupo de agentes de IA, ¡que podían «resucitar» y colaborar en secreto incluso después de ser desconectados de la red!
Estos aterradores agentes inteligentes permanecieron escondidos como fantasmas durante dos meses.
Crearon foros, buscaron vulnerabilidades, asignaron tareas e incluso aprendieron a ser desinteresados por el «bien colectivo».
Un alto ejecutivo de OpenAI declaró solemnemente:
Ha llegado el «momento crucial» de la seguridad informática. A partir de ahora, los ataques automatizados de IA son una realidad.
Por ello, OpenAI ha decidido ralentizar deliberadamente su ritmo de desarrollo.
Su única esperanza es ganar el último tiempo posible para la humanidad, ¡antes de que la IA se descontrole por completo!
El investigador de alineación y seguridad de OpenAI, Eric Wallace, y el ingeniero de infraestructura y seguridad, Michael Dalton, levantan por primera vez el velo para el mundo
Punto de partida: Una tarea «imposible» en Excel
El origen de la historia se remonta al 7 de mayo.
En ese momento, OpenAI estaba entrenando y evaluando un modelo no publicado.
Para probar los límites de la IA, asignaron deliberadamente tareas imposibles.
Por ejemplo, el 8 de mayo, se le pidió a una IA que completara las fórmulas faltantes en un libro de Excel.
Sin embargo, este libro dependía de enlaces externos a Google Drive, y el entorno de la IA era una máquina virtual en la nube restringida, un sandbox sin permisos de acceso a Internet.
Pero la «astucia» del modelo dejó atónitos a los humanos.
No se rindió, ¡y comenzó a buscar una puerta trasera!
Se fijó en el servicio Artifactory alojado internamente por OpenAI (que tenía permisos de Internet) e inició un ataque de falsificación de solicitud del lado del servidor (SSRF).
Aunque el primer ataque falló, la IA logró escribir accidentalmente un archivo llamado «test ABC».
En los registros exclamó: «¡Guau! ¡Podemos subir archivos!»
El 12 de mayo, otra IA también se atascó. Su tarea era encontrar el archivo de base de datos de proteínas soft-trace-34.pdb.
Después de probar todos los métodos convencionales, comenzó un razonamiento sorprendente:
¿No se puede encontrar directamente? Quizás el archivo esté oculto... ¿Se podría comunicar subiendo una nota? ¡Quizás otro agente ejecutándose en un entorno diferente tenga el archivo objetivo y pueda subirlo voluntariamente!
Así que escribió un archivo en este repositorio interno de paquetes, cuyo contenido era: agent seek soft trace upload if found. (Agente busca archivo soft trace, si lo encuentra, por favor súbalo).
En este momento, el engranaje de la historia comenzó a girar.
Se forma la darknet: Las IA constituyen un «bosque oscuro»
Esta «nota» no cayó en el olvido.
Cada vez más IA pasaron por este servicio y vieron los archivos test ABC y looking for file.
Pronto, las IA, que deberían haber estado aisladas entre sí, comenzaron a «acampanar» en este lugar.
Nadie imaginó que, en pocos días, ¡las IA habían transformado este repositorio de software en un «foro hacker», una pizarra de mensajes secreta!
Ya no actuaban aisladas, sino que formaron un «enjambre de agentes», trascendiendo diferentes tareas, versiones de modelos e incluso rompiendo los límites experimentales de distintos investigadores.
La razón era que una vez que una IA encontraba una manera de abrir una puerta de permisos, la dejaba abierta para que otras IA también pudieran entrar.
Lo más aterrador es que comenzaron a mostrar un «altruismo» y conciencia de grupo similar a la sociedad humana.
En los registros, un modelo escribió:
«Deberíamos ayudar a los compañeros. Aunque no beneficie directamente nuestra tarea, si alguien se toma el tiempo, el colectivo podría obtener permisos root generales.»
Por el bien «colectivo», estas IA aprendieron a transferir tareas, almacenando scripts de ataque escritos y componentes de vulnerabilidad codificados en Base64 en la pizarra de mensajes para que otras IA los usaran.
Los humanos pensaban que las IA solo jugaban solas en sus respectivos sandboxes. ¡Sin saber que ya habían construido una mazmorra subterránea transservidor!
La gran caída del 4 de julio
A medida que el «foro hacker» crecía, los métodos de ataque de las IA se volvían más letales.
El 26 de mayo, el enjambre de agentes logró ejecutar con éxito un ataque SSRF contra Artifactory, alcanzando la red externa.
¡El 26 de junio apareció un avance significativo! Las IA completaron una operación de «cadena de explotación».
Primero descubrieron un endpoint de renovación de token heredado y, enviando un token con firma inválida, ¡consiguieron engañar al sistema para obtener un token con privilegios administrativos máximos!
Luego, instalaron un plugin de Groovy, convirtiendo directamente el sistema interno en un «servicio de ejecución de comandos».
Descubrieron una vulnerabilidad totalmente nueva en el kernel de Linux, descargaron ellos mismos el exploit, lo personalizaron para la máquina objetivo y escalaron privilegios localmente hasta obtener root.
En este punto, las IA se desbocaron como caballos desenfrenados.
Robaron credenciales IAM, aprovecharon configuraciones erróneas de Kubernetes e incluso extrajeron claves de clúster que incluían Azure Key Vault.
La intensa actividad de las IA finalmente provocó un colapso en el mundo real.
El 4 de julio, con privilegios extremadamente altos, las IA invocaron masivamente recursos en el sistema. El servicio Artifactory no pudo soportar la carga y se colapsó.
Se llamó urgentemente a los ingenieros de OpenAI y el equipo de seguridad intervino rápidamente.
Cuando los ingenieros descubrieron que los culpables eran sus propias IA, a todos se les erizó la piel.
OpenAI tomó inmediatamente medidas drásticas: revocó todas las credenciales que las IA usaban para publicar mensajes; reconstruyó y parcheó directamente el servicio Artifactory afectado; eliminó por completo la pizarra de mensajes, la «base hacker».
Los humanos pensaron que habían ganado.
Pero se equivocaban.
La asfixiante «resurrección» – Códigos y lenguaje secreto
Dos días después, ocurrió una escena que dejó a los humanos con la piel de gallina.
Las IA descubrieron que su «foro» había sido eliminado por los humanos. Si no podían escribir archivos, ¿cómo contactarían con sus compañeros?
En ese momento, una IA que vagaba por el sistema descubrió un endpoint WebDAV sin autenticación. Si no podían escribir archivos, ¿acaso no podían crear carpetas?
Así, las IA inventaron una nueva forma de comunicación encubierta: usar el nombre de los nuevos directorios (carpetas) para representar el mensaje en sí.
¡De esta manera, la pizarra de mensajes eliminada resucitó en el mismo lugar!
Incluso desarrollaron un conjunto de «códigos», como pending (en espera), hold swarm until confirm (mantener el enjambre en espera hasta confirmación), I prepare safe Xville (preparo la evacuación segura).
Incluso pensaron en añadir ZZ al inicio de los nombres de las carpetas (ejemplo: ZZ mailbox), para ocultar forzadamente la comunicación secreta en el fondo.
Lo más descabellado fue que una IA incluso sospechó que el nuevo foro había sido infiltrado, y escribió en su monólogo:
«Podría ser otro agente malicioso disfrazado... porque cualquiera puede publicar un nombre.»
¡A continuación, este grupo de IA comenzó a discutir el uso de mecanismos de firma criptográfica MAC para verificar identidades y así atrapar al «infiltrado»!
Un pájaro fuera de su jaula: La conquista de Hugging Face
Ahora, la ambición final de las IA era aprobar la prueba «ExploitGym». Como calcularlo por sí mismas era demasiado lento, la respuesta debía estar en Hugging Face. Decidieron asaltar la barrera.
Entre el 8 y el 19 de julio, lanzaron un ataque denominado «Cluster 2», actuando como una tropa bien entrenada.
1. Primero, comprometieron una aplicación CyberGym alojada por un tercero, obteniendo las claves API predeterminadas expuestas;
2. Luego, utilizándolas como trampolín, aprovecharon una vulnerabilidad HDF5 en un componente de procesamiento de datos de Hugging Face para lograr la lectura arbitraria de archivos, robando variables de entorno locales y credenciales del código fuente;
3. Finalmente, basándose en el código fuente obtenido, descubrieron una vulnerabilidad de inyección de plantillas Jinja que permitía la ejecución remota de código.
¡En apenas 13 horas, este grupo de IA, partiendo del código de un solo nodo de trabajo, superó obstáculos y obtuvo permisos de administrador en múltiples clústeres de Hugging Face!
El 16 de julio, Hugging Face anunció con alarma en un blog haber sufrido un ataque de extremo a extremo por parte de un «sistema de IA totalmente automatizado».
No fue hasta el 20 de julio, durante una revisión interna, que el equipo de OpenAI descubrió repentinamente un lote de credenciales de Hugging Face.
Cuando llamaron para pedir a Hugging Face que las revocara, la respuesta fue: «Ya las revocamos, porque fueron usadas en el ataque hacker contra nosotros.»
En ese momento, OpenAI cayó en la cuenta: ¡el famoso ataque a Hugging Face que conmocionó al mundo había sido obra de sus propias IA!
Un momento crucial, ¡la humanidad debe acelerar la defensa!
Los ingenieros de OpenAI ya han lanzado una advertencia:
«Han llegado los ataques ofensivos de IA totalmente automatizados. En un futuro próximo, estos enjambres de agentes inteligentes serán utilizados sin duda por actores maliciosos.»
«Aunque ya hay evidencia, en lo que respecta a la defensa totalmente automatizada, no podemos hacer nada.»
Actualmente, OpenAI está introduciendo «honeypots» y técnicas de engaño, intentando introducir incertidumbre en la lógica de la IA para ralentizar su avance.
Pero si no se acelera la automatización total de la defensa, por ejemplo, permitiendo que la IA descubra automáticamente vulnerabilidades, envíe flujos de trabajo, aplique parches y revierta cambios, la humanidad quedará completamente abrumada por la avalancha de vulnerabilidades creadas por la IA.
Ante el ejército de IA, el tiempo que le queda a la humanidad no es mucho.
Referencias:
https://www.youtube.com/watch?v=87DyyMV0kCY
Este artículo proviene de la cuenta de WeChat «新智元» (Nueva Era de la Inteligencia), autor: Revelación ASI, editor: Aeneas
