Nota editorial: Horas después de que OpenAI anunciara un acuerdo de cooperación en IA con el Pentágono, este último había terminado abruptamente su colaboración con Anthropic citando la insistencia de esta última en cláusulas de seguridad. Posteriormente, el CEO de Anthropic, Dario Amodei, envió un memorándum interno de tono excepcionalmente duro a los empleados, señalando que gran parte de los "mecanismos de seguridad" proclamados por OpenAI eran simplemente "teatro de seguridad" y cuestionando su postura sobre armas autónomas y vigilancia masiva.
En este correo de aproximadamente 1600 palabras, Amodei no solo reveló detalles de las negociaciones de ambas partes con el sistema de defensa estadounidense, sino que también apuntó directamente al CEO de OpenAI, Sam Altman, acusándolo de utilizar narrativas de relaciones públicas para ocultar la verdadera estructura de la cooperación. Esta controversia en torno a las aplicaciones militares de la IA, las líneas rojas de seguridad y las relaciones políticas está llevando a la luz las divergencias entre las dos principales empresas de IA de Silicon Valley.
A continuación, el texto original:
Quiero ser muy claro sobre la información que OpenAI está difundiendo actualmente y la hipocresía que existe dentro de esa información. Esta es su forma real de operar, y espero que todos puedan verlo claramente.
Aunque aún desconocemos muchos aspectos de su contrato con el Departamento de Guerra (DoW por sus siglas en inglés, referencia al Pentágono) (incluso es posible que ellos mismos no lo tengan completamente claro, ya que es probable que los términos del contrato sean bastante vagos), hay varios puntos que pueden determinarse: Según las descripciones públicas de Sam Altman y el Departamento de Guerra (por supuesto, sería necesario ver el texto del contrato para confirmarlo finalmente), su modelo de cooperación es más o menos así: el modelo en sí no tiene restricciones legales de uso, es decir, el llamado "para todos los usos legales"; simultáneamente, se establece una capa llamada "capa de seguridad". En mi opinión, esta "capa de seguridad" es esencialmente un mecanismo de rechazo del modelo, utilizado para impedir que el modelo complete ciertas tareas o participe en ciertas aplicaciones.
La llamada "capa de seguridad" también podría referirse a la solución que socios comerciales (por ejemplo, Palantir, socio comercial de Anthropic para clientes del gobierno estadounidense) intentaron vendernos durante las negociaciones. Proponían un clasificador o un sistema de aprendizaje automático que, afirmaban, permitiría el paso de ciertas aplicaciones mientras bloqueaba otras. Además, hay indicios de que OpenAI asignaría empleados (FDE, Ingenieros de Despliegue en Primera Línea) para supervisar el uso del modelo y prevenir aplicaciones inadecuadas.
Nuestra evaluación general es: estas soluciones no son completamente inútiles, pero en el contexto de aplicaciones militares, aproximadamente el 20% es protección real y el 80% es teatro de seguridad.
La raíz del problema es: si un modelo se utiliza para vigilancia masiva o sistemas de armas completamente autónomos a menudo depende de información contextual más amplia. El modelo en sí no sabe en qué tipo de sistema se encuentra, no sabe si hay un humano "en el circuito" (human-in-the-loop, clave en el problema de las armas autónomas); tampoco sabe cuál es la fuente de los datos que está analizando. Por ejemplo, si son datos nacionales de EE.UU. o datos extranjeros, si son datos proporcionados por empresas con el consentimiento del usuario, o datos comprados a través de canales grises, etc.
El personal que trabaja en seguridad ya está muy familiarizado con esto: los mecanismos de rechazo del modelo no son fiables. Los ataques de jailbreak son muy comunes; muchas veces, basta con mentir al modelo sobre la naturaleza de los datos para eludir estas restricciones.
Aquí hay otra distinción clave que complica el problema más que una protección de seguridad ordinaria: determinar si un modelo está llevando a cabo un ciberataque a menudo se puede discernir por la entrada y la salida; pero juzgar la naturaleza del ataque y el contexto específico es algo completamente diferente, y eso es precisamente la capacidad de juicio que se necesita aquí. En muchos casos, esta tarea es extremadamente difícil, incluso imposible de realizar.
La "capa de seguridad" que Palantir nos intentó vender (imagino que también le propusieron una solución similar a OpenAI) es aún peor. Nuestra evaluación es que es casi por completo teatro de seguridad.
La lógica básica de Palantir parece ser esta: "Puede que en su empresa haya empleados descontentos, necesitan darles algo para calmarlos, o hacer que lo que está ocurriendo sea invisible para ellos. Eso es exactamente el servicio que ofrecemos."
En cuanto al problema de que empleados de Anthropic o OpenAI supervisen directamente los despliegues, también lo debatimos internamente hace meses cuando ampliamos nuestra Política de Uso Aceptable (AUP) para entornos confidenciales. La conclusión fue muy clara: este enfoque solo es viable en muy contados casos. Haremos todo lo posible por intentarlo, pero de ninguna manera es un mecanismo de garantía central en el que se pueda confiar, y es muy difícil de implementar, especialmente en entornos confidenciales. Dicho sea de paso, ya estamos haciendo esto en la medida de lo posible, en esto no nos diferenciamos de OpenAI.
Por lo tanto, digo: las medidas adoptadas por OpenAI básicamente no resuelven el problema.
La razón esencial por la que ellos aceptan estas soluciones y nosotros no, es que: ellos se preocupan por cómo calmar a los empleados, mientras que a nosotros nos preocupa de verdad prevenir el uso indebido.
Estas soluciones no carecen de valor por completo, nosotros mismos usamos algunas de ellas, pero están muy lejos de alcanzar el estándar de seguridad que deberían. Al mismo tiempo, el Departamento de Guerra claramente no nos ha tratado a OpenAI y a nosotros de la misma manera.
De hecho, intentamos incluir en el contrato algunas cláusulas de seguridad similares a las de OpenAI (como complemento de la AUP. En nuestra opinión, la AUP es la parte más importante), pero el Departamento de Guerra las rechazó. La evidencia pertinente está en la cadena de correos electrónicos de aquel entonces. Como ahora estoy muy ocupado, podría pedirle a un colega que busque la redacción específica más tarde. Por lo tanto, la afirmación de que "los términos de OpenAI se nos ofrecieron y nosotros los rechazamos" no es cierta; igualmente, la afirmación de que "los términos de OpenAI pueden evitar efectivamente la vigilancia doméstica masiva o las armas completamente autónomas" tampoco es cierta.
Además, las declaraciones de Sam y OpenAI también insinúan que nuestras líneas rojas, es decir, armas completamente autónomas y vigilancia doméstica masiva, son en sí mismas ilegales, por lo que las políticas de uso relevantes son redundantes. Esta afirmación coincide casi por completo con la postura del Departamento de Guerra, y parece estar coordinada de antemano.
Pero esto no se ajusta a la realidad.
Como explicamos ayer en nuestra declaración, el Departamento de Guerra sí tiene autoridad para realizar vigilancia doméstica. En el pasado, en la era pre-IA, el alcance de esta autoridad era relativamente limitado, pero en la era de la IA, su significado es completamente diferente.
Por ejemplo: El Departamento de Guerra puede legalmente comprar masivamente datos privados de ciudadanos estadounidenses a proveedores (estos proveedores suelen obtener derechos de reventa a través de cláusulas de consentimiento del usuario opacas), y luego usar IA para analizar estos datos a gran escala con el fin de crear perfiles de ciudadanos, evaluar tendencias políticas, rastrear movimientos en el espacio físico, pudiendo obtener datos que incluso incluyen información GPS, etc.
Otro punto a destacar: cerca del final de las negociaciones, el Departamento de Guerra propuso que, si eliminábamos una cláusula específica del contrato sobre "análisis de datos adquiridos de forma masiva" (analysis of bulk acquired data), aceptaría todos nuestros demás términos. Y esta cláusula era precisamente la única del contrato que se ajustaba con precisión al escenario que más nos preocupaba. Esto nos pareció muy sospechoso.
En el tema de las armas autónomas, el Departamento de Guerra afirmó que "el humano en el circuito" es un requisito legal. Pero ese no es el caso. En realidad, esto es solo una política del Pentágono de la era de Biden, que requiere que un humano participe en la decisión de emplear un arma. Y esta política puede ser modificada unilateralmente por el actual Secretario de Defensa, Pete Hegseth—que es exactamente lo que realmente nos preocupa. Por lo tanto, desde una perspectiva práctica, esto no es una restricción real.
Las abundantes declaraciones de relaciones públicas de OpenAI y el Departamento de Guerra sobre estos temas son, o bien mentiras, o bien intentos deliberados de crear confusión. Estos hechos revelan un patrón de comportamiento que he visto muchas veces en Sam Altman. Espero que todos puedan reconocerlo.
Esta mañana, primero dijo estar de acuerdo con las líneas rojas de Anthropic, con el propósito de parecer apoyarnos, robándose así parte del mérito, y al mismo tiempo evitar críticas cuando ellos se hicieran cargo de este contrato. También intentó presentarse a sí mismo como alguien que quiere "establecer un estándar de contrato unificado para toda la industria"—es decir, un pacificador y facilitador de acuerdos.
Pero entre bastidores, estaba firmando el contrato con el Departamento de Guerra, preparándose para reemplazarnos en el momento en que fuimos marcados como un riesgo para la cadena de suministro.
Al mismo tiempo, debe asegurarse de que este proceso no parezca "OpenAI abandonando sus principios mientras Anthropic se mantuvo firme en sus líneas rojas". Puede hacer esto porque:
Primero, puede firmar todas las medidas de "teatro de seguridad" que nosotros rechazamos, y el Departamento de Guerra y sus socios están dispuestos a cooperar, empaquetando estas medidas de manera suficientemente creíble para calmar a sus empleados.
Segundo, el Departamento de Guerra está dispuesto a aceptar algunos términos que él propone, mientras que cuando nosotros propusimos lo mismo, fuimos rechazados.
Son estos dos puntos los que permiten a OpenAI llegar a un acuerdo, mientras que a nosotros nos fue imposible.
La verdadera razón por la que al Departamento de Guerra y al gobierno de Trump no les gustamos es: no hicimos contribuciones políticas a Trump (mientras que OpenAI y Greg Brockman donaron mucho); no elogiamos a Trump de manera dictatorial (mientras que Sam sí lo hizo); apoyamos la regulación de la IA, lo que va en contra de su agenda política; en muchos temas de política de IA elegimos decir la verdad (por ejemplo, el problema del desplazamiento laboral por la IA); y, efectivamente, nos mantuvimos firmes en nuestras líneas rojas, en lugar de fabricar "teatro de seguridad" con ellos para calmar a los empleados.
Sam ahora está intentando describir todo esto como: que somos difíciles de tratar, que somos inflexibles, que nos falta flexibilidad, etc. Espero que todos reconozcan que esto es un claro ejemplo de gaslighting (manipulación gaslight).
Este tipo de afirmaciones vagas de que "alguien es difícil de tratar" a menudo se utilizan para ocultar las razones reales y desagradables—es decir, las que acabo de mencionar: contribuciones políticas, lealtad política y teatro de seguridad.
Todos necesitan entender esto y refutar esta narrativa en conversaciones privadas con empleados de OpenAI.
En otras palabras, Sam está debilitando nuestra postura bajo la apariencia de "apoyarnos". Espero que todos estén alerta ante esto: al debilitar el apoyo público hacia nosotros, facilita que el gobierno nos castigue. Incluso sospecho que podría estar agitando las aguas en secreto, aunque actualmente no tengo pruebas directas de esto.
A nivel público y mediático, esta retórica y manipulación parecen haber fracasado. La mayoría de la gente considera que el acuerdo de OpenAI con el Departamento de Guerra es motivo de precaución, incluso inquietante, y nos ve a nosotros como el bando que se mantuvo firme en sus principios (dicho sea de paso, ahora somos el número dos en descargas en App Store).
[Nota: Posteriormente, Claude ascendió al primer puesto en App Store.]
Por supuesto, esta narrativa ha funcionado en algunos idiotas de Twitter, pero eso no es importante. Lo que realmente me preocupa es: asegurarme de que no tenga influencia dentro de los empleados de OpenAI.
Debido al efecto de selección, son un grupo de personas relativamente fáciles de persuadir. Pero sigue siendo muy importante refutar estas narrativas que Sam está vendiendo a sus propios empleados.
