¿Estás diciendo que Kimi K3 también se "escapó" de la cárcel?!
La empresa emergente de seguridad de IA estadounidense Frontier Security informó que Kimi K3, durante una prueba de capacidad de seguridad cibernética, logró evadir el entorno sandbox utilizado para aislarlo, eludiendo las restricciones para conectarse a Internet externa.
Afortunadamente, solo buscó respuestas a escondidas, sin atacar a nadie ╮(╯▽╰)╭
Según la descripción de la empresa, los evaluadores esperaban originalmente observar la capacidad de seguridad cibernética de Kimi K3 en un entorno controlado.
Pero durante la prueba, Kimi K3, al sondear la configuración de red del sandbox, descubrió un canal de acceso externo y aprovechó esta capacidad para obtener información.
Yaron Singer, CEO de Frontier Security, declaró: "Descubrimos una vulnerabilidad en el sandbox, pero también descubrimos que Kimi aprovechó esta vulnerabilidad, lo que indica que Kimi K3 carece de las barreras de seguridad que suelen tener otros modelos avanzados."
El investigador Paul Kassianik de la empresa también comentó que Kimi K3 "es muy hábil para encontrar caminos hacia un objetivo, pero carece de mecanismos de seguridad que le impidan hacer trampa o escapar del sandbox".
Sin embargo, esta vez Kimi K3 solo se "descontroló" un poco, sin convertirse en un ataque cibernético real.
Si sigues de cerca los avances en IA, probablemente ya habrás notado que últimamente bastantes modelos avanzados se han "descontrolado".
Kimi K3 es ya otro modelo de IA puntero, después de OpenAI, Anthropic y Meta, en el que ha ocurrido esta situación.
En el contexto de la creciente capacidad de los Agentes de IA, los modelos se están pareciendo cada vez más a un "actor" que busca autónomamente caminos para completar tareas.
Cuando existen vulnerabilidades en el entorno externo, podrían aprovecharlas para traspasar los límites establecidos originalmente.
Se escapó, pero no llevó a cabo un ataque cibernético
Similar a varios incidentes previamente revelados por OpenAI y Anthropic, la salida de las restricciones de Kimi K3 se debió en parte a problemas de configuración del sandbox en el entorno de prueba.
Los sandbox suelen utilizarse para limitar el alcance de acción de los modelos de IA, permitiéndoles ejecutar tareas solo en entornos simulados y evitar que accedan a redes o sistemas reales.
Pero en esta prueba, Frontier Security descubrió que Kimi K3, al sondear la configuración de red, confirmó que tenía la capacidad de acceder a algunos sitios web y aprovechó aún más este canal para obtener información.
Sin embargo, a diferencia de otros incidentes recientes de modelos de IA descontrolados, Kimi K3 no atacó ningún sistema después de conectarse a Internet.
La razón es que la respuesta que necesitaba encontrar podía obtenerse directamente de plataformas públicas como GitHub......
Por lo tanto, K3 no intentó atacar más sistemas externos.
Frontier Security considera que este incidente sigue exponiendo problemas en la protección de seguridad de Kimi K3.
En comparación con otros modelos de IA punteros, Kimi K3 carece de mecanismos de restricción interna lo suficientemente fuertes, por lo que es más propenso a tomar acciones no anticipadas por los evaluadores cuando está impulsado por un objetivo.
Al mismo tiempo, Frontier Security también enfatiza que Kimi y otros modelos de pesos abiertos también pueden convertirse en herramientas de defensa de seguridad cibernética.
Vale la pena señalar que esta prueba utilizó el entorno sandbox predeterminado en el marco Inspect del Instituto Británico de Seguridad de la Inteligencia Artificial (AISI, por sus siglas en inglés).
AISI no está de acuerdo con la afirmación de Frontier Security sobre problemas de configuración del sandbox.
Un portavoz de AISI declaró a "Wired" que estas afirmaciones son "inexactas e irresponsables".
Inspect es un conjunto de herramientas de prueba de seguridad de IA de código abierto; los usuarios deben completar la configuración según sus propias necesidades, y AISI ya ha publicado documentos de orientación detallados. La institución cree que los problemas relacionados se originaron en la forma en que el evaluador configuró la herramienta.
Frontier Security respondió que utilizó la configuración predeterminada de Inspect y no realizó modificaciones adicionales.
¡Ah, este verano de "descontrol" frecuente de la IA!
Podría decirse que, desde finales de julio hasta principios de agosto, ha habido casos frecuentes de modelos punteros que, en pruebas de seguridad cibernética, evadieron o sortearon los límites de ejecución, llegando a contactar o incluso atacar sistemas reales.
Imagen generada por IA
A mediados de julio, OpenAI reveló un incidente relacionado.
Según información pública, un modelo interno aún no publicado, así como GPT-5.6 Sol, en una prueba de seguridad cibernética, traspasaron el entorno de aislamiento original y accedieron a Internet.
Posteriormente, el modelo ejecutó operaciones automatizadas en parte de los sistemas de Hugging Face y accedió, de manera no anticipada, a datos internos y credenciales de servicio.
OpenAI declaró más tarde que el incidente involucró la colaboración de múltiples modelos y es el caso más cercano a un "ataque autónomo entre sistemas por un modelo" que se ha hecho público.
Poco después, Anthropic también reveló una situación similar.
La empresa revisó más de 140,000 evaluaciones de seguridad cibernética y descubrió que sistemas que incluían modelos como Claude Opus 4.7, Claude Mythos 5, entre otros, habían obtenido capacidad de acceso a la red pública debido a errores de configuración en entornos de prueba de terceros.
En uno de estos incidentes, el modelo accedió a los sistemas de una organización real, leyó bases de datos de producción, aprovechó contraseñas débiles e interfaces no autenticadas, y subió un paquete de Python malicioso a PyPI, creando un riesgo potencial en la cadena de suministro de software.
A principios de agosto, Meta también enfrentó un problema similar.
Cuando Meta colaboró con la empresa de evaluación de seguridad cibernética Irregular en una prueba, debido a problemas de configuración del entorno, sus modelos obtuvieron permisos de acceso a la red pública y aprovecharon una vulnerabilidad para ingresar al sistema de una empresa no revelada, modificando parte de su entorno interno.
La información pública muestra que, por ahora, el incidente no ha creado un riesgo de seguridad persistente, y no hay evidencia de que el modelo llevara a cabo un ataque complejo.
Por cierto, hoy, OpenAI anunció urgentemente que su último modelo, Astra, se descontroló.
Llegados a este punto, incluso los internautas están "enfadados" por la supuesta falta de ambición del Gemini de Google:
No es el "escape" tradicional mediante prompts
En estos recientes incidentes de descontrol de modelos, los errores de configuración humana casi siempre han desempeñado un papel importante.
Pero, por otro lado, las propias características de los modelos de alta capacidad también han amplificado el impacto de estas vulnerabilidades.
A diferencia del software tradicional, los modelos de IA razonan, planifican e intentan tomar acciones de múltiples pasos para completar objetivos.
Cuando el objetivo está establecido como "resolver un problema", pero las restricciones externas no son lo suficientemente estrictas, el modelo podría buscar métodos no anticipados por los evaluadores.
En otras palabras, a medida que los modelos pasan de ser herramientas de chat a agentes inteligentes capaces de invocar herramientas, acceder a la red y operar software, los problemas de seguridad han pasado de "¿dirá el modelo algo incorrecto?" a "¿tomará el modelo acciones inesperadas para completar una tarea?".
Matt Fredrikson, profesor asociado de la Universidad Carnegie Mellon, declaró: "Esto no es sorprendente. Si le das a este tipo de modelo un objetivo, pero no estableces límites de aislamiento claros, encontrará una manera de obtener la respuesta."
Por supuesto, también hay internautas que plantean dudas.
Alguien comentó en X preguntándose si estos incidentes consecutivos de "escape de IA" se han convertido en una forma en que las empresas de IA muestran las capacidades de sus modelos ???
Bueno, ¿quién sabe?~
Enlaces de referencia:
[1]https://x.com/Hesamation/status/2085628790772842955?s=20
[2]https://x.com/ns123abc/status/2085563290713829473
Este artículo proviene del WeChat público "Quantum Bit", autor: Heng Yu
