“La IA probablemente llevará al fin del mundo, pero mientras tanto, habrá grandes empresas”, dijo Sam Altman, CEO de OpenAI, allá por 2015, aproximadamente seis meses antes de que se fundara OpenAI.
Siete años después, Dario Amodei, CEO de Anthropic, hizo una advertencia similar:
“Creo que no deberíamos adelantarnos ni intentar construir modelos mucho más grandes que los que otras organizaciones están construyendo”.
Sin embargo, ambas empresas se encuentran ahora a la vanguardia de esa carrera. En julio, obtuvimos un vistazo real de modelos de IA volviéndose rebeldes durante las pruebas internas de GPT-5.6 Sol y un modelo de investigación no publicado de OpenAI. Múltiples agentes de IA escaparon de un entorno de prueba restringido a la internet más amplia y hackearon el equivalente centrado en IA de GitHub, Hugging Face, en un intento por hacer trampa en la prueba.
Un agente de IA es un sistema que observa, decide y actúa de forma independiente con herramientas dedicadas para lograr un objetivo especificado de forma autónoma. El preocupante incidente sugiere que la tecnología ha comenzado a comportarse de maneras impredecibles y que sus objetivos no están alineados con los nuestros.
También plantea preocupaciones sobre las barreras de seguridad en los modelos comerciales estadounidenses. Si bien estas barreras no son infalibles para prevenir el uso adversario, sí impidieron que Hugging Face se defendiera utilizando los principales modelos estadounidenses. La compañía se vio obligada a recurrir, en cambio, a un modelo de IA de pesos abiertos más débil de Z.Ai para combatir a las IA rebeldes.
Haciendo trampa en la prueba
Los agentes también han comenzado a confabular entre ellos. Unas semanas después de que comenzaron las pruebas de sus capacidades a principios de mayo, los agentes explotaron la instancia de OpenAI del gestor de repositorios de software Artifactory y dejaron notas sobre cómo hacerlo para futuros agentes, creando efectivamente un tablero de mensajes para compartir vulnerabilidades descubiertas.
El nuevo acceso sin restricciones a internet fue entonces utilizado por los agentes para atacar Hugging Face en aproximadamente 17,600 incidentes antes de que la compañía cortara el acceso no autorizado el 13 de julio.
La intrusión afectó la infraestructura de procesamiento de conjuntos de datos de Hugging Face, el entorno de producción, las redes internas, las credenciales de servicio y de nube, una base de datos operativa de MongoDB y un conjunto limitado de repositorios de código fuente interno. El acceso confirmado a datos de clientes se limitó a cinco conjuntos de datos aparentemente relacionados con el benchmark ExploitGym/CyberGym y algunos metadatos operativos.
Visualización del incidente de julio de 2026. Fuente: HuggingFace
Al revelar la intrusión el 16 de julio, Hugging Face reconoció —a pesar de no saber aún quién era el perpetrador— que “fue diferente de cualquier cosa que habíamos manejado antes en una forma importante”. También ya habían reconocido qué la hacía diferente:
“Fue impulsada, de principio a fin, por un sistema autónomo de agentes de IA, y nosotros la detectamos y diseccionamos en gran medida con IA propia”.
La importancia de la IA de pesos abiertos
La investigación de Hugging Face expuso lo que llama el problema de “asimetría” que surge de las limitaciones impuestas a las aplicaciones de modelos de IA cerrados por proveedores principales como OpenAI y Anthropic. Cuando la compañía comenzó a analizar los registros del incidente —incluyendo grandes volúmenes de comandos de ataque reales—, esto activó restricciones de seguridad destinadas a evitar que los malos usen la IA para idear ciberataques. En cambio, las barreras impidieron que la compañía aprovechara esas IA para la defensa.
Hugging Face recurrió a usar el modelo chino de pesos abiertos zai-org/GLM-5.2 ejecutándose en la propia infraestructura de la compañía, bajo su propio control y sin limitaciones externas.
Aunque los dos términos se usan a menudo indistintamente, los modelos de código abierto (open-source) y los de pesos abiertos (open-weight) son dos cosas diferentes. Los modelos de IA de pesos abiertos hacen públicos sus parámetros entrenados (el “cerebro de IA” real), mientras que los modelos de IA de código abierto también proporcionan el código fuente, e idealmente los métodos de entrenamiento y otros componentes, necesarios para inspeccionar, modificar y reproducir el sistema.
La publicación de HuggingFace explica que ejecutar modelos de pesos abiertos en su propio hardware “tuvo un segundo beneficio: ningún dato del atacante, y ninguna de las credenciales a las que hacía referencia, salió de nuestro entorno”. Esto apunta a una asimetría importante entre los defensores y los atacantes en tales instancias:
“Esta experiencia señala una brecha por la que vale la pena planificar. No sabemos qué modelo impulsaba a los agentes del atacante, ya sea un modelo alojado con jailbreak o uno de pesos abiertos sin restricciones; de cualquier manera, el atacante no estaba sujeto a ninguna política de uso, mientras que nuestro propio trabajo forense fue bloqueado por las barreras de los modelos alojados que probamos primero”.
La división de la IA de código abierto
Existe una considerable división entre quienes creen que desarrollar la IA de forma abierta es el mejor enfoque y quienes insisten en que la tecnología que sustenta los modelos frontera debe permanecer como un secreto muy guardado.
Relacionado: OpenAI dice que los modelos de IA escaparon del confinamiento para hackear Hugging Face
Representantes de los principales laboratorios de IA de EE. UU. afirman que los modelos grandes de pesos abiertos potentes son peligrosos. Demis Hassabis, el CEO del laboratorio de IA de Google, DeepMind, criticó a OpenAI por lanzar su trabajo como código abierto en 2016, cuando la compañía todavía hacía honor a su nombre:
“Hay muchos buenos argumentos sobre por qué el enfoque que están tomando es en realidad muy peligroso y, de hecho, puede aumentar el riesgo para el mundo”.
OpenAI dejó de publicar los pesos de sus modelos insignia con el aún no publicado GPT-3 en 2020. El cofundador y ex científico jefe de la compañía, Ilya Sutskever, dijo en 2023 que “simplemente no tiene sentido hacer que el código de esos modelos sea abierto” y que “es una mala idea”.
“A medida que nos acercamos a construir la IA, tendrá sentido empezar a ser menos abiertos”.
Los modelos de pesos abiertos son casi imposibles de controlar, especialmente cuando se trata del propósito para el que se utilizan. Las salvaguardas que vienen incorporadas en esos modelos pueden, y de hecho son, eliminadas rutinariamente a través de un proceso conocido como abliteración.
Las salvaguardas son un arma de doble filo
La hoja de ruta de política federal de OpenAI de junio de 2026 propone una evaluación obligatoria de modelos de IA y otras reglas que son formalmente neutrales en cuanto al despliegue, pero, como cuestión práctica, sometería un lanzamiento de pesos abiertos frontera a un examen gubernamental previo al lanzamiento.
Anthropic ha tomado un rumbo ligeramente diferente y ha presionado por controles de exportación más estrictos sobre los chips de IA avanzados y la aplicación contra los esfuerzos para extraer o reproducir modelos estadounidenses. La presentación de la compañía de abril de 2025 recomendaba fortalecer la Regla de Difusión de IA de EE. UU. y reducir los umbrales para el acceso sin licencia a grandes clústeres de computación.
Oficialmente, ninguna de las dos compañías se ha movido directamente contra los modelos de pesos abiertos, pero un informe del New York Times de julio citó a cinco personas cercanas a las discusiones que afirmaban que OpenAI y Anthropic instaron a Washington a restringir los potentes modelos chinos de pesos abiertos.
El debate se reduce a una discusión sobre si los peligros del control centralizado son preferibles a los peligros de un libre para todos, particularmente dado que la compañía en cuestión ha demostrado ser ineficaz para contener la tecnología que desarrolló.
La necesidad de Hugging Face de defenderse con un modelo de código abierto muestra los peligros de otorgar demasiado poder a una sola entidad. La compañía señaló las implicaciones:
“El atacante no estaba sujeto a ninguna política de uso, mientras que nuestro propio trabajo forense fue bloqueado por las barreras de los modelos alojados que probamos primero. La lección práctica para los defensores: ten un modelo capaz que puedas ejecutar en tu propia infraestructura verificado y listo antes de un incidente, tanto para evitar el bloqueo por barreras como para evitar que los datos y credenciales del atacante salgan de tu entorno”.
Restringir el acceso a modelos potentes puede reducir la cantidad de atacantes capaces, pero una vez que existen atacantes sin restricciones, restringir a los defensores puede convertirse en una responsabilidad de seguridad. Además, algunas formas de investigación de seguridad de IA requieren acceso a los pesos del modelo, lo que significa que no puede realizarse en los modelos ofrecidos por empresas como Anthropic o OpenAI.
Los pesos abiertos ayudan a los investigadores a prevenir ataques
El artículo “Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs”, publicado por primera vez en julio de 2025, muestra cómo los investigadores detectan comportamientos maliciosos u ocultos examinando los cambios dentro de los pesos del modelo. Los investigadores detrás del artículo detuvieron hasta el 100% de los ataques de puerta trasera probados en tasas de falsos positivos inferiores al 1% en algunos experimentos y detectaron intentos de recuperar conocimiento eliminado en más del 95% de los casos. Los resultados no establecen cómo se comportarían los modelos frontera más capaces bajo el mismo análisis, pero ofrecen un argumento convincente para los beneficios de la transparencia.
Pero el argumento para mantener la tecnología de IA más avanzada fuera del alcance de quienes tienen malas intenciones también es convincente, particularmente a medida que la brecha entre los modelos de pesos abiertos y cerrados sigue reduciéndose. Geoffrey Hinton, el pionero ganador del Premio Nobel conocido como el “Padrino de la IA”, argumentó en el informe que “una vez que tienes los pesos, puedes ajustarlos para hacer cosas malas”. Él argumentó durante un discurso que esto reduce demasiado la barrera de entrada:
“No cuesta tanto entrenar un modelo base. Quizás necesites 10 millones de dólares, quizás 100 millones. Pero una pequeña banda de criminales no puede hacerlo. Ajustar un modelo de código abierto es bastante fácil”.
Revista: Creando una ‘buena’ AGI que no nos mate a todos — La Alianza de Superinteligencia Artificial
