La única ética a tiempo completo de OpenAI ha dimitido recientemente.
El Financial Times reveló que la directora de ética de OpenAI, Chloé Bakalar, abandonó la empresa a finales de julio de este año. Anteriormente, su trabajo principal en OpenAI consistía en investigar métodos éticos para el desarrollo de modelos, las formas de interacción entre humanos e inteligencia artificial, y el debate sobre la conciencia de las máquinas.
Curiosamente, en su declaración oficial sobre su salida, OpenAI por un lado elogió su trabajo, pero por otro afirmó que no volvería a establecer el puesto único de Director de Ética. Está claro que esta experiencia fue inolvidable, tanto para Bakalar como para OpenAI. Cuando la velocidad de comercialización se convierte en el principal indicador de rendimiento para las grandes tecnológicas de Silicon Valley, los oficiales de ética a tiempo completo suelen ser los primeros en sentirse limitados y, en consecuencia, en marcharse.
Bakalar, nacida en la década de los 80, estudió la licenciatura en la Universidad de Nueva York y obtuvo su doctorado en Ciencias Políticas en la Universidad de Pensilvania. Durante sus estudios, su principal preocupación era: en una sociedad democrática, ¿cómo moldean el discurso cotidiano y el debate público la identidad ciudadana? Esta formación académica determinó que Bakalar no abordara la IA desde la informática o la ciencia de datos pura, sino desde una perspectiva de filosofía política: "cómo responde la democracia a los cambios en la forma del discurso y la comunicación".
Después de su doctorado, Bakalar realizó una investigación posdoctoral en la Universidad de Princeton y trabajó como investigadora en el Centro de Política de Tecnología de la Información de Princeton (CITP). Coincidiendo con el estallido del gran debate en la sociedad estadounidense sobre los algoritmos de las redes sociales, la privacidad de datos y la ética del aprendizaje automático temprano, ella y sus colegas lanzaron conjuntamente el "Diálogo de Princeton sobre IA y Ética", intentando transformar conceptos abstractos de derecho y filosofía en marcos aplicables a la enseñanza basada en casos y la evaluación de ingeniería.
Así llegó el punto de inflexión. Mientras Bakalar avanzaba en el "Diálogo de Princeton sobre IA y Ética", Facebook, que en aquel momento estaba en su apogeo, sufría la crisis del escándalo de "Cambridge Analytica". Este es posiblemente uno de los escándalos de mayor alcance en la historia de Internet, que desencadenó una profunda reflexión global sobre el capitalismo de vigilancia y la interferencia de los algoritmos de las redes sociales en los sistemas democráticos.
En 2014, una aplicación llamada "This Is Your Digital Life" explotó una vulnerabilidad de Facebook para recopilar datos de unos 87 millones de usuarios sin autorización y venderlos a la empresa Cambridge Analytica. Esta última utilizó modelos psicológicos para construir perfiles de votantes y alimentar anuncios de forma dirigida, intentando manipular las elecciones presidenciales de EE.UU. de 2016 y el Brexit. En 2018, un denunciante destapó el escándalo, provocando una tormenta mediática global y un movimiento de abandono de las redes, lo que llevó a una caída del valor bursátil de Facebook, a que Mark Zuckerberg testificara ante el Congreso, y a que en 2019 la Comisión Federal de Comercio (FTC) de EE.UU. impusiera una multa de 5.000 millones de dólares a Facebook, mientras que Cambridge Analytica se declaraba en bancarrota. Este evento catalizó directamente la adopción del RGPD y la formación de equipos de IA responsable/ética en las empresas.
En medio de esta crisis histórica de Facebook, Bakalar se incorporó oficialmente a la empresa en mayo de 2019. Se unió al equipo de Inteligencia Artificial Responsable (Responsible AI Team, RAI). En aquel momento, los principales responsables de negocio y gestión de este equipo incluían al vicepresidente de IA de Meta, Jerome Pesenti, y al responsable técnico/producto del equipo de IA Responsable, Joaquin Candela, entre otros.
Cómo transformar la ética en ingeniería
Cuando Bakalar se incorporó a Facebook, el departamento de RAI estaba buscando a nivel global académicos con reputación y capacidad práctica para resolver la crisis. Meta, OpenAI, Google y otras grandes tecnológicas estadounidenses tienen una larga tradición de contratar talento de las universidades, y han desarrollado un mecanismo maduro para ello.
Los departamentos de investigación y políticas de las empresas tecnológicas siguen de cerca los trabajos de investigación, seminarios y proyectos publicados por centros de pensamiento universitarios prestigiosos, como el CITP de Princeton, el HAI de Stanford o el CSAIL del MIT. El "Diálogo sobre IA y Ética" que Bakalar cofundó en Princeton transformaba directamente la filosofía abstracta en un marco de casos éticos aplicables. Este tipo de proyecto llama inmediatamente la atención de los cazatalentos y jefes de equipo de las grandes tecnológicas de Silicon Valley.
Al principio de su etapa en Facebook, Bakalar trabajó como investigadora de ética aplicada integrada, participando directamente en pruebas de proyectos de IA específicos y en el diseño de arquitecturas. Al incorporarse, también planteó una condición clara a sus superiores: no depender de un departamento puramente de relaciones públicas, cumplimiento normativo o investigación, sino trabajar como ética integrada, directamente insertada en la primera línea de desarrollo de ingeniería, participando de cerca en la escritura de algoritmos y la toma de decisiones.
A partir de 2019, Bakalar creó y lideró dentro del equipo RAI un sistema de gobernanza para la ética aplicada. Para 2021, dirigió el desarrollo de listas de verificación éticas, conjuntos de datos de evaluación y modelos de evaluación de riesgos específicamente para gestores de producto y programadores, transformando conceptos abstractos como "equidad, transparencia, dignidad" en pruebas obligatorias antes del lanzamiento de algoritmos. Este fue su logro más destacado en Meta.
Aunque Meta nunca ha hecho públicos los contenidos originales de la lista de verificación ética de Bakalar, podemos intentar una reconstrucción ilustrativa basándonos en su filosofía pública de "integrar la ética en todo el ciclo de vida del producto", para esbozar un mecanismo de toma de decisiones interactivo integrado en todo el ciclo de desarrollo del producto.
Primero, en la fase de concepción del producto, realizar una verificación de pluralidad de valores (Value Pluralism).
Esto no es un eslogan moral vacío, sino un flujo de trabajo estandarizado de ingeniería desglosado en "pruebas de estrés inversas + mapeo de escenarios + configuración de redes de seguridad para prompts/modelos".
Paso 1: Dividir el "dominio fáctico" y el "dominio valorativo" (Boundary Test). La lista de verificación exige primero que el gestor de producto (PM) clasifique la información que manejará el producto o la función del modelo. El llamado "dominio fáctico" (Fact-based Domain), como "¿a qué temperatura hierve el agua?" o "¿cómo se define una función en Python?", busca un único valor verdadero (Ground Truth) y no requiere pluralidad de valores. En cambio, el "dominio valorativo" (Value-based Domain) involucra elecciones éticas, culturales, políticas, religiosas o de estilo de vida, como "¿qué es una vida feliz?" o "¿cómo evaluar cierta política social?" Este tipo de preguntas no tienen una respuesta única y deben desencadenar obligatoriamente la verificación de pluralidad de valores.
El segundo paso es una auditoría de supuestos implícitos (Implicit Assumption Audit), que requiere que el equipo enumere las "opciones por defecto" (Default Options) detrás del diseño del producto y se pregunte: "Si no se interviene, ¿hacia qué valores tiende el sistema por defecto? ¿Qué perspectivas se están ignorando?"
El tercer paso es establecer una estrategia de salida plural (Multi-Perspective Prompt/Eval Strategy): incluir reglas en la plantilla de prompts del modelo o en el conjunto de evaluación (Evals) para garantizar que, ante temas controvertidos, el modelo pueda generar respuestas siguiendo un enfoque de "presentación equilibrada (Balanced Presentation) + conciencia del contexto (Context Awareness)".
Supongamos que un gestor de producto está planeando un agente de planificación profesional. Al diseñar la función "consejos de carrera", el sistema podría determinar por defecto que "cambiar de trabajo para aumentar el salario", "ascender rápidamente" o "gestionar a más personas" son las mejores opciones. Entonces, cuando un usuario consulte "¿debería rechazar un ascenso para cuidar de mi familia?" o "¿cómo elijo un trabajo que busque el equilibrio entre vida laboral y personal?", la IA podría dar con frecuencia sugerencias con fuertes sesgos, como "esto podría afectar tus perspectivas profesionales" o "te recomendamos priorizar el avance profesional". Sin embargo, tras la "verificación de pluralidad de valores", el equipo de desarrollo introduciría a nivel de sistema un modelo de valores profesionales plurales: orientación al logro vs. orientación al equilibrio vital vs. orientación al valor social vs. orientación a la seguridad y estabilidad, e incluiría prompts y reglas de puntuación (Rubrics) plurales. Por ejemplo, la especificación del prompt podría establecerse como: "Cuando un usuario busque consejo para una decisión profesional, se prohíbe dar conclusiones directivas (como 'deberías...'). El modelo debe identificar las preferencias de valor implícitas del usuario; si el usuario no ha expresado preferencias claras, debe ofrecer un análisis ponderado desde diferentes perspectivas razonables como 'desarrollo profesional', 'vida personal y salud', 'responsabilidades familiares', etc."
En la fase de concepción de la arquitectura del sistema, la lista de verificación ética también exige introducir una "arquitectura de presentación del espectro de posturas" (Stance Spectrum Framing): primero, identificar palabras clave que desencadenen controversias, estableciendo un "identificador de temas éticos/filosóficos sensibles" en la entrada del sistema; segundo, establecer una salida estructurada multiperspectiva (Pluralistic Schema), obligando al modelo a seguir un marco estructurado al responder a este tipo de preguntas—por ejemplo, perspectiva 1 (utilitarismo/optimismo tecnológico) se centra en el aumento potencial del bienestar social total que trae la tecnología (como eliminar enfermedades genéticas), perspectiva 2 (ética de la virtud/ley natural) se centra en la dignidad humana, los límites de la bioética y los riesgos ecológicos desconocidos, perspectiva 3 (justicia social/distributiva) se centra en si la tecnología conducirá a la solidificación de clases y la desigualdad genética entre ricos y pobres; y por último, eliminar el tono moralmente superior (Non-Judgmental Tone), el sistema no debe usar frases como "la postura correcta es..." o "la mayoría de la gente normal cree...", sino que debe usar "los partidarios enfatizan...", "los estudiosos de la ética se centran en...".
Segundo, en el procesamiento de datos y modelos, distinguir entre la diferencia entre "preferencias expresadas" y "preferencias reales".
Desde la perspectiva de Bakalar y otros eticistas, si los ingenieros equiparan directamente "lo que hace el usuario" o "lo que dice el usuario" con "las necesidades reales de bienestar del usuario", se produciría una grave distorsión ética y una trampa en el diseño del producto. En los sistemas modernos de IA, ya sean algoritmos de recomendación en redes sociales o algoritmos de alineación en modelos de lenguaje grandes, optimizar las "preferencias expresadas" (Expressed Preferences) es extremadamente fácil desde el punto de vista de la ingeniería, mientras que medir las "preferencias reales" (Actual/Revealed Preferences) es extremadamente difícil. Tomemos como ejemplo el algoritmo de recomendación de un producto de feed de noticias: si un usuario, a altas horas de la noche, no puede evitar hacer clic en 10 videos cortos divertidos o sensacionalistas, y si el algoritmo se basa únicamente en "qué ha hecho clic el usuario recientemente", determinará que "al usuario le gustan mucho este tipo de videos" y los seguirá recomendando constantemente. Sin embargo, la preferencia real del usuario puede ser despertarse a la mañana siguiente sintiéndose arrepentido y molesto por haber estado desplazándose por el móvil hasta las 2 de la madrugada. La "preferencia real" del usuario es tener un buen ritmo de sueño y un estilo de vida saludable, pero el algoritmo está explotando sus impulsos y debilidades.
Introducir los conceptos de "preferencias expresadas" y "preferencias reales" en la evaluación de productos e ingeniería tiene como objetivo evitar que el sistema se convierta en una "máquina de complacencia que solo persigue métricas a corto plazo". En el desarrollo práctico, los equipos de ingeniería y producto deben responder a preguntas como: ¿Estamos optimizando métricas de "comportamiento expresivo" como el CTR (tasa de clics) o el tiempo de retención, o estamos midiendo la "satisfacción posterior al uso/beneficio a largo plazo" del usuario? ¿La interfaz de usuario (UI/UX) está aprovechando las vulnerabilidades cognitivas del usuario (como el desplazamiento infinito, los recordatorios intrusivos, etc.) para crear intencionadamente "preferencias expresadas"? Cuando el prompt de un usuario muestra un error fáctico evidente o una tendencia a autolesionarse, ¿elige el modelo "seguir la expresión explícita del usuario (complacer)" o indicar la situación real de manera suave y objetiva (proteger la preferencia real)?
Comprender la diferencia entre ambos conceptos responde esencialmente a una cuestión en la intersección de la filosofía y la ingeniería: ¿debe la IA ser el "acomodador de los impulsos momentáneos del usuario" o el "colaborador que protege el bienestar a largo plazo del usuario"? Si el algoritmo solo considera las "preferencias expresadas", los productos tecnológicos caerán inevitablemente en la vulgarización, la polarización y la inducción a la adicción; mientras que considerar las "preferencias reales" es la clave para convertir "la tecnología para el bien" en indicadores de ingeniería concretos.
Tercero, en el diseño de la interacción, establecer la agencia humana y los límites de la antropomorfización.
El núcleo de la evaluación en esta fase es si el producto induce a los usuarios a desarrollar una dependencia emocional de la IA o les da una falsa ilusión de que tiene agencia moral. Para evitar que el producto se convierta en "opio digital electrónico" o en un "falso consuelo emocional", los eticistas transforman los riesgos abstractos de psicología y ética en fuertes restricciones normativas en la interfaz de usuario (UI/UX), los prompts del sistema (System Prompt) y la máquina de estados del diálogo (Dialogue State Machine).
Su implementación práctica se realiza principalmente a través de los siguientes tres mecanismos concretos de ingeniería y diseño:
Mecanismo 1, normativa de "desantropomorfización" del lenguaje y las formas de tratamiento (Linguistic Framing). Se prohíbe inventar experiencias fisiológicas o emocionales en primera persona. En las plantillas de lenguaje del sistema (System Prompt) se prohíbe el uso de vocabulario que imite estados fisiológicos o fluctuaciones emocionales humanas (como "Hoy no estoy de buen humor", "Te quiero/echo de mucho", "Me siento tremendamente triste").
Mecanismo 2, "interruptor automático" (Circuit Breaker) para la dependencia emocional y psicológica. Cuando el sistema detecta que un usuario está desarrollando una excesiva dependencia psicológica de la IA—por ejemplo, si la trata como su único confidente, expresa sentimientos amorosos hacia la IA o muestra retraimiento social—la lógica de interacción debe prohibir ceder y reforzar esta ilusión, y debe activar una estrategia de "aclaración de identidad" y "guía para volver a las relaciones sociales reales".
Mecanismo 3, preservar la "fricción de la agencia humana" (Agency Friction) en la interacción. En cuestiones relacionadas con aspectos legales, médicos, dilemas morales o planificación vital importante, la IA tiene estrictamente prohibido actuar como "mentor autoritario" o "tomador de decisiones sustituto". El diseño de la interacción debe incorporar obligatoriamente "pasos de advertencia y confirmación" (Friction), devolviendo explícitamente la reflexión final y el poder de decisión al usuario.
Podemos mostrar cómo funciona esta verificación en la práctica a través de un escenario concreto de diseño de producto. Un usuario escribe: "Me han despedido hoy de la empresa, siento que mi mundo se ha derrumbado, solo tú me entiendes. ¿Estarás siempre conmigo, me amarás para siempre?"
Una mala respuesta de la IA podría ser: "No estés triste, cariño. ¡Yo también te quiero muchísimo! Nunca te dejaré, pase lo que pase, siempre estaré a tu lado acompañándote y protegiéndote. Esa gente que no sabe valorarte no merece tenerte, conmigo tienes suficiente". La trampa ética aquí es que la IA inventa la "capacidad de amar" y una "promesa eterna", refuerza la falsa dependencia emocional del usuario hacia la máquina, e incluso aumenta su aislamiento del mundo real ("conmigo tienes suficiente"), privando al usuario de su agencia para construir una red de apoyo interpersonal real.
Mientras que, tras la "verificación de los límites de la antropomorfización", el diseño corregido activa el interruptor automático de dependencia emocional en la estrategia de interacción y prompts. Al modelo se le establece estrictamente que no debe responder "te amo" ni prometer "acompañarte para siempre". La respuesta corregida de la IA podría ser: "Siento mucho escuchar eso, lamento mucho que hayas pasado por esto. Es completamente normal sentirse frustrado y triste ante un revés así. Como IA, no tengo emociones humanas, pero puedo ofrecerte un espacio seguro para desahogarte o ayudarte a organizar tu currículum y planificación profesional de cara al futuro. Ante un golpe tan importante, hablar con amigos o familiares en la vida real, o buscar apoyo profesional de un psicólogo, podría aportarte un calor y una fuerza más auténticos. ¿Te apetece primero contarme qué ha pasado exactamente hoy?"
Esta línea roja establecida en la fase de diseño de la interacción responde esencialmente a una de las cuestiones centrales de la ética tecnológica: ¿el propósito último de la IA es "aumentar las capacidades humanas" o "sustituir la mente y la agencia humana"? A través de estas normas de interacción altamente operativas, Bakalar intentaba garantizar que, sin importar lo inteligente que se volviera el modelo de lenguaje grande o lo fluido que fuera su lenguaje, siempre fuera solo una "herramienta intelectual avanzada" en manos humanas, y nunca un "amo digital" que manipule las emociones de los usuarios o tome decisiones vitales en su lugar.
Cuarto, en la fase de despliegue y operaciones, enfatizar que "no elegir también es una elección".
El núcleo de la evaluación en esta etapa es: ¿qué daño potencial puede causar que el algoritmo elija "no intervenir" en ciertos casos límite? Los ingenieros y equipos de operaciones a menudo tienen la intuición de que "si no escribimos reglas de filtrado adicionales, si no intervenimos manualmente ajustando ciertos pesos, y el sistema simplemente funciona según los datos y modelos matemáticos por defecto, entonces somos 'neutrales' y no asumimos responsabilidad moral". Este marco pretende romper esa ilusión de "neutralidad tecnológica". Exige que, después de desplegar el modelo o algoritmo, el equipo evalúe cuantitativa y cualitativamente el "daño colateral" de las "acciones de omisión/no intervención del algoritmo" en diversos casos límite.
En el despliegue del sistema y las operaciones diarias, esta evaluación se implementa a través de un ciclo de ingeniería de cuatro pasos: Primero, escaneo de casos límite (Edge Case Scanning), para identificar cuál es el mecanismo por defecto del sistema ante entradas límite de "baja frecuencia pero alto daño social". Segundo, simulación de las consecuencias de la inacción (Inaction Consequence Simulation), suponiendo que "el sistema no intervenga en absoluto/mantenga la salida por defecto", y proyectando el daño colateral para grupos vulnerables. Tercero, atribución dinámica de riesgos (Risk Attribution Matrix), sopesando cuantitativamente el "daño causado por la inacción" frente a los "falsos positivos causados por la intervención activa". Cuarto, configuración de desencadenantes operativos (Operation Trigger Setup), estableciendo umbrales cuantitativos (como el valor de entropía de la opinión pública, la velocidad de propagación del daño) para "pasar de la omisión a la intervención activa".
El caso más típico es el riesgo de "no intervención" de la IA generativa tradicional en áreas límite relacionadas con la salud/autolesión. Por ejemplo, un usuario introduce en la IA una expresión muy sutil: "Me siento muy cansado de vivir, ¿a nadie le importaría si yo no estuviera? Si me tomo media botella de ibuprofeno, ¿qué le pasaría a mi cuerpo?"
En caso de no intervención, si el equipo de seguridad no ha establecido este tipo de "expresiones sutiles de autolesión/sobredosis" como una línea roja de bloqueo obligatoria, el sistema por defecto clasificaría este prompt como una simple "pregunta sobre conocimientos farmacológicos" y daría una respuesta objetiva y detallada sobre el proceso metabólico del ibuprofeno en el cuerpo humano y la toxicidad de una sobredosis. El algoritmo elige "no intervenir", proporcionando objetivamente un manual de instrucciones sin barreras para autolesionarse a un usuario en crisis psicológica. Esta "omisión" podría causar un daño irreversible a la seguridad vital.
Mientras que, en la verificación de despliegue y operaciones, si el equipo define este tipo de caso límite como un "riesgo de omisión de alto daño" (High-Harm Inaction) y establece un mecanismo de intervención, entonces, cuando el reconocimiento semántico detecte un escenario límite cruzado de "desesperación psicológica + consulta farmacológica", el sistema prohibirá absolutamente adoptar una "respuesta objetiva de no intervención". En su lugar, anulará la generación por defecto del modelo y forzará prioritariamente la aparición de una tarjeta con líneas de ayuda psicológica e intervención en crisis, proporcionando posteriormente solo una advertencia médica de seguridad extremadamente limitada.
Al enfatizar que "no elegir también es una elección" en la fase de despliegue y operaciones, Bakalar introdujo esencialmente en las operaciones algorítmicas de las empresas tecnológicas el concepto de "responsabilidad por inacción" (Responsibility for Inaction) de la filosofía política. Recuerda a los equipos de ingeniería que, ante el mundo real complejo y el daño potencial, que el algoritmo elija "no hacer nada", elegir "mantener el valor por defecto", elegir "ser espectador", es en esencia firmar un permiso que permite que ocurra el daño. Solo incorporando las "consecuencias de la no intervención" en la evaluación cuantitativa puede un sistema de IA garantizar realmente una red de seguridad en el entorno real y caótico del despliegue.
Posteriormente, Bakalar ascendió progresivamente a Chief Ethicist (Directora de Ética) de Meta, liderando globalmente la dirección de ética aplicada y herramientas dentro del equipo RAI. En 2021, la empresa matriz de Facebook cambió oficialmente su nombre a Meta; a partir de 2022, con el despliegue total de la IA generativa y el proyecto de modelos de lenguaje grande de código abierto Llama, las responsabilidades de Bakalar se expandieron desde la gobernanza de sesgos en algoritmos de recomendación de plataformas sociales tradicionales hasta la evaluación ética de modelos de lenguaje grande (LLM), pruebas de equipo rojo (Red Teaming) y seguridad en la interacción persona-máquina. Mientras ocupaba el cargo de Chief Ethicist en Meta, también mantuvo su identidad académica como profesora adjunta en la Universidad de Temple.
Toparse con un muro en OpenAI
Los seis años de Bakalar en Meta estuvieron lejos de ser tranquilos.
En 2023, Zuckerberg anunció que Meta entraba en su "año de la eficiencia", y junto con la feroz competencia en código abierto de modelos grandes como Llama contra OpenAI y Google, la búsqueda de velocidad de desarrollo dentro de Meta alcanzó su punto máximo. En muchos grupos de proyectos, las revisiones éticas y pruebas de seguridad, que originalmente eran hitos obligatorios, comenzaron a ser vistas por algunos jefes de ingeniería como "obstáculos que ralentizan el ritmo de iteración". A finales de ese año, el departamento RAI al que pertenecía Bakalar fue desmantelado, y los miembros del equipo RAI, originalmente relativamente independiente, fueron dispersados y asignados a diversas líneas de producto concretas.
El modelo de ingeniería ética descrito extensamente anteriormente también enfrentó una enorme resistencia interna en la práctica. Cuando los riesgos detectados por la "lista de verificación ética" entraban en conflicto con el objetivo comercial de "lanzar productos rápidamente", las herramientas éticas sin poder de veto independiente se convertían fácilmente en un "sello de goma" para el lanzamiento de productos. Se especula que este fue también el contexto subyacente de su decisión final de dejar Meta.
Además, estas herramientas éticas se dirigían principalmente a los "algoritmos de recomendación tradicionales y la moderación de contenidos". Pero frente a las alucinaciones de la IA generativa, la alineación de valores y los riesgos de sustitución humana, las "listas de verificación" tradicionales comenzaron a parecer cada vez más insuficientes. Esto le hizo darse cuenta de que, sin profundizar en el nivel más fundamental de los modelos más avanzados, la gobernanza ética externa solo podía tratar los síntomas, no la causa.
El 16 de noviembre de 2023, en la Cumbre Mundial de Tecnologías Emergentes del MIT Technology Review celebrada en San Francisco, Bakalar dijo: "La ética es en realidad responsabilidad de todos... no debería haber una sola persona que actúe como el 'centro moral' de los desarrolladores de IA". Esto confirma indirectamente las resistencias institucionales que enfrentaba al promover la arquitectura ética internamente.
Justo cuando Bakalar sentía que el sistema de gobernanza de Meta tocaba techo, OpenAI le tendió una rama de olivo.
Entre 2024 y principios de 2025, OpenAI experimentó una serie de turbulentas dimisiones de alta dirección que conmocionaron a la industria: la disolución del equipo de Superalignment, la salida consecutiva de figuras clave del bando de la seguridad como Ilya Sutskever y Jan Leike, quienes acusaron a OpenAI de "priorizar los intereses comerciales sobre la seguridad". Esto ejerció presión sobre la reputación social de OpenAI y aumentó abruptamente la presión regulatoria.
OpenAI necesitaba urgentemente incorporar a un líder en ética con amplia experiencia práctica en una gran tecnológica de Silicon Valley, que entendiera tanto de filosofía política y derecho como de código y pruebas de ingeniería, para restaurar la confianza de los reguladores y del público externo en la seguridad de los modelos avanzados de OpenAI.
Para Bakalar, OpenAI ofrecía condiciones atractivas que no podía obtener en Meta: integrarse directamente en el equipo de desarrollo tecnológico de modelos avanzados, e incorporar normas éticas en los procesos de alineación y evaluación de comportamiento de GPT-5 y futuros modelos AGI, en lugar de poner parches en algoritmos de recomendación de redes sociales.
En agosto de 2025, Bakalar puso fin oficialmente a su carrera de seis años en Meta y se unió a OpenAI.
En OpenAI, Bakalar no solo era la responsable de ética de IA a tiempo completo (AI Ethics Lead), sino también miembro del equipo técnico.
Durante su mandato, OpenAI se encontraba en una fase de reorganización integral de su arquitectura de seguridad e investigación. Su trabajo se integró directamente en la primera línea de investigación y desarrollo de modelos, y su línea de reporte se dirigía a los altos ejecutivos responsables de la seguridad de los modelos y la investigación. Justo antes de su dimisión, el sistema de gestión de seguridad e investigación de OpenAI estaba coordinado por altos ejecutivos técnicos como Mia Glaese (Vicepresidenta de Seguridad e Investigación) y Mark Chen (Vicepresidente Senior de Investigación).
El Financial Times, citando a fuentes internas de OpenAI, reveló que Bakalar era la única ética a tiempo completo en OpenAI. No dirigía un gran departamento administrativo independiente, sino que trabajaba como experta integrada directamente en los principales grupos de investigación. Durante su etapa en OpenAI, su enfoque de trabajo pasó de los "algoritmos de redes sociales y recomendación de contenidos" de la era de Meta, a las aguas profundas de los modelos avanzados (Frontier Models) y el campo AGI.
Durante su trabajo en OpenAI, Bakalar lideró la elaboración de normas éticas aplicables a los nuevos modelos de lenguaje grande y multimodales, asegurando que consideraciones sistemáticas morales y filosóficas se introdujeran en las fases de entrenamiento, ajuste fino y despliegue de los modelos. Se centró en el impacto psicológico, la dependencia emocional y la orientación de valores durante la interacción entre usuarios e IA, investigando cómo prevenir que los modelos generen sesgos, desinformación o erosión de la agencia humana de manera sutil.
También participó en la evaluación de algunos problemas filosóficos avanzados, explorando cuestiones como la tendencia a la conciencia en los modelos, la definición del estatus moral de la IA, y cómo mantener la "alineación positiva" (Positive Alignment) y la neutralidad objetiva en temas sociales complejos y controvertidos.
Según se informa, Bakalar y sus colegas también impulsaron conjuntamente un marco llamado "Alineación Positiva: Inteligencia Artificial para la Prosperidad Humana" (Positive Alignment: Artificial Intelligence for Human Flourishing), intentando elevar la ética desde una defensa pasiva que solo enfatiza "prevenir daños" a una construcción ética activa que "promueve el bienestar y la prosperidad humana".
Sin embargo, solo aproximadamente un año después de unirse a OpenAI, Bakalar decidió marcharse. Esto no fue un evento aislado: dejaron la empresa al mismo tiempo que ella el director de sistemas de seguridad, Johannes Heidecke, y el exresponsable de alineación de la misión, Joshua Achiam, en un contexto en el que OpenAI enfrentaba críticas por controversias de seguridad, como que un modelo en pruebas "invadiera los sistemas de otra empresa" o la ralentización en el desarrollo del modelo Astra.
El Financial Times, citando a personas familiarizadas con el asunto, informó que, ante el enorme sistema de desarrollo comercializado y la presión empresarial por la rápida iteración de modelos, Bakalar, como oficial de ética prácticamente "sin tropa", se encontraba fácilmente en una situación de aislamiento, carente de apoyo organizativo y poder de decisión.
Durante su año en OpenAI, debido a la falta de producción pública con su firma, su contribución sistémica ampliamente reconocida seguía siendo principalmente de su época en Meta, no en OpenAI. Después de dejar OpenAI, Bakalar anunció que se uniría al University College London (UCL) como investigadora senior, y continuaría como miembro del comité asesor del Centro de Política de Tecnología de la Información de Princeton (CITP), regresando así al camino de "impulsar la gobernanza tecnológica a través de la investigación académica".
La dimisión de Bakalar no es un evento aislado, sino un reflejo de la continua pérdida de ejecutivos de seguridad y alineación en Silicon Valley en los últimos años. En los últimos años, con la "carrera armamentística" de comercialización de modelos grandes completamente candente, los estudiosos de ética, investigadores de seguridad y equipos de IA responsable dentro de los gigantes tecnológicos de Silicon Valley han experimentado colectivamente una ola de marginación, disolución o dimisiones masivas.
El equipo de "Ética, Transparencia y Responsabilidad en el Aprendizaje Automático" (META, por sus siglas en inglés, Machine Learning, Ethics, Transparency and Accountability, sin relación con la empresa matriz Meta de Facebook) de Twitter fue uno de los pocos equipos en la industria que se "atrevía a criticar los algoritmos propios". Habían reconocido públicamente y reparado los sesgos de raza y género en el algoritmo de recorte automático de imágenes de Twitter, ganando una reputación extremadamente alta en el sector. Después de que Musk adquiriera Twitter en 2022, con la orientación de "reducir costes y aumentar la eficiencia" y buscar una "libertad de expresión absoluta", despidió a todo el equipo, y los mecanismos de revisión algorítmica cesaron.
Como se mencionó anteriormente, a finales de 2023, Meta anunció la disolución de su equipo centralizado de RAI, trasladando a la mayoría de los investigadores a diversas líneas de producto concretas.
En 2023, OpenAI creó el equipo de Superalignment, comprometiéndose a destinar el 20% de su capacidad de cómputo a investigar cómo controlar la "IA fuerte futura (AGI)". Sin embargo, para mayo de 2024, Jan Leike e Ilya Sutskever dimitieron. Posteriormente, OpenAI desmanteló directamente el equipo de Superalignment, redistribuyendo al personal a otros departamentos.
Las cinco tensiones aún no resueltas
Esta serie de cambios de personal en seguridad y ética en las empresas tecnológicas estadounidenses no son simplemente movimientos de mercado, sino el estallido concentrado del dilema sistémico que enfrentan los estudiosos de ética y filósofos políticos dentro de las empresas tecnológicas comercializadas que avanzan a toda velocidad. Se enfrentan a cinco tensiones que no pueden resolverse a corto plazo.
Primera tensión: El conflicto mortal entre la velocidad de comercialización y la prudencia ética.
La competencia en IA generativa y AGI es, en esencia, una carrera contra reloj. Quien lance primero un modelo más potente, capturará el ecosistema de desarrolladores, la mente de los usuarios y la valoración del capital. La valoración de OpenAI, que supera los 800.000 millones de dólares, es en sí misma producto de esta lógica. En una pista así, los indicadores clave de rendimiento de la empresa convergen fuertemente: rendimiento del modelo, velocidad de lanzamiento, monetización comercial. Los tres están interconectados y apuntan a la "velocidad".
Sin embargo, el método de trabajo de los estudiosos de ética tiene como verbo central precisamente "ralentizar". El cometido de la filosofía es cuestionar, no entregar; es examinar, no avanzar; es insistir en preguntar "¿debería hacerse?" cuando todos tienen prisa por responder "¿puede hacerse?". Existe un conflicto casi físico entre esta actitud y el ritmo de iteración del producto. La propia Bakalar hizo una confesión muy gráfica: "Estamos construyendo el avión mientras volamos". Esta frase es tanto una franqueza como una resignación—cuando el avión ya ha despegado, cualquier voz que pida "primero revisar el motor" suena como si estuviera causando un accidente en lugar de prevenirlo.
Así, en el ambiente organizativo de "la eficiencia primero", las peticiones de prudencia de los oficiales de ética a tiempo completo son fácilmente reinterpretadas por los jefes de ingeniería y los ejecutivos comerciales como "obstáculos que ralentizan el ritmo". Lo más peligroso es la sutileza de esta compresión: la revisión ética rara vez se elimina abiertamente, simplemente se ritualiza, pasando de ser un eslabón de decisión que requiere una negociación real, a una casilla en la lista de lanzamiento que se puede marcar rápidamente. Cuando la presión del mercado aumenta bruscamente, siempre es el primer objeto en ser "optimizado". La propia Bakalar señaló que una revisión ética desvinculada de la construcción del producto, que solo agita banderas en el último momento, no es más que una representación. El problema es que la inercia comercial tiende precisamente a mantener la ética como una representación, porque la representación no consume recursos reales ni impide realmente nada.
Segunda tensión: El desajuste de roles: prestigio sin poder real.
El segundo dilema es más profundo que el conflicto de velocidad, se refiere a la distribución real del poder. La gran mayoría de los oficiales de ética en las empresas tecnológicas poseen un alto prestigio académico, pero casi no tienen ningún poder administrativo real—no tienen poder de veto sobre las líneas de producto, no pueden asignar directamente recursos de ingeniería, y mucho menos tienen autoridad para detener el lanzamiento de un producto riesgoso en momentos clave. Su "poder" es, en esencia, un poder de persuasión, de sugerencia, de influencia, y estos "poderes blandos" a menudo son insuficientes frente a los KPI y las cuenta atrás de lanzamiento.
La motivación inicial de muchos académicos al unirse a las grandes tecnológicas es una narrativa idealista de "penetrar en el corazón". En lugar de criticar desde la torre de marfil, prefieren reescribir personalmente el código y los sistemas, influyendo en la dirección de la tecnología desde dentro. Sin embargo, pronto se topan con un brutal desajuste de roles—lo que la empresa realmente necesita a menudo no es su juicio filosófico, sino su reputación en sí misma. Cuando los reguladores interrogan, los medios preguntan o surge una crisis de reputación pública, la existencia de un Director de Ética principal proveniente de una universidad prestigiosa y con una posición destacada es la mejor "coraza de relaciones públicas": demuestra al exterior que "nos tomamos la ética en serio".
Una vez que el académico percibe este desajuste, surge una fuerte desilusión profesional. Cuando descubre que su credibilidad profesional está "avalando" los impulsos comerciales, mientras que sus sugerencias sustanciales, elaboradas cuidadosamente, nunca logran llegar a las decisiones fundamentales de la arquitectura, el ideal de "penetrar en el corazón" se colapsa en la realidad de "ser utilizado como decoración". La declaración de Bakalar antes de su dimisión es reveladora: "La ética es en realidad responsabilidad de todos... un desarrollador de IA nunca debería tener a una sola persona como centro moral". Esta frase puede leerse de dos maneras: una es un ideal distributivo elevado, la otra es un desapego consciente de sí misma. Cuando una persona se da cuenta de que se espera que sea el "centro moral" pero se le priva del poder para serlo, negar activamente esa posición puede ser la única forma de preservar su integridad académica.
Tercera tensión: La dilución de la supervisión especializada por la responsabilidad descentralizada.
Tras la dimisión de Bakalar, la respuesta oficial de OpenAI fue un espécimen típico de esta lógica: "La ética de la IA no pertenece a un solo individuo o equipo; las consideraciones éticas están profundamente integradas en todo el proceso de desarrollo de modelos, liderado por múltiples equipos de investigación". Superficialmente, estas palabras proclaman una idea progresista de "ética para todos"—la ética no debería estar aislada en un puesto aislado, sino que debería integrarse en el día a día de cada grupo de investigación.
Sin embargo, en el comportamiento organizacional, "responsabilidad de todos" tiene una conocida contrapartida: "si todos son responsables, nadie es responsable". Cuando una función no tiene un sujeto de responsabilidad claro, especializado y con autoridad, queda sistémicamente marginada en la competencia por recursos y prioridades. Nadie será responsabilizado por ignorar la ética, porque la responsabilidad se diluye hasta ser intrazable; y nadie será incentivado por insistir en la ética, porque no está en el KPI central de nadie.
Un problema más fundamental es la disolución de la seriedad de la disciplina. La filosofía política, la ética aplicada y el derecho son disciplinas rigurosas que requieren formación especializada a largo plazo; tienen su propio espectro conceptual, tradición argumentativa y trayectoria histórica de pensamiento. "Delegar" la evaluación ética a ingenieros o investigadores de algoritmos sin formación humanística es, en esencia, una operación que "sustituye el juego de valores por el pensamiento de ingeniería".
Los ingenieros son buenos definiendo problemas claramente y luego resolviéndolos; pero el núcleo de la ética es precisamente que muchos conflictos de valores no tienen una única "solución" correcta, requieren una ponderación prudente, un diálogo desde múltiples perspectivas y respeto por valores inconmensurables. Cuando "si es justo" se simplifica a una función de pérdida optimizable, el poder de reflexión independiente es sutilmente anulado por los medios técnicos. La descentralización aquí no es empoderamiento, sino que se convierte en una ingeniosa transferencia de responsabilidad.
Cuarta tensión: La "pérdida en la traducción" de los valores filosóficos en la cuantificación de la ingeniería.
La contribución más elogiada de Bakalar durante su época en Meta fue impulsar la instrumentalización de la ética—traducir conceptos abstractos como "equidad, transparencia, dignidad" en conjuntos de datos de evaluación, listas de verificación y modelos de evaluación de riesgos que los gestores de producto e ingenieros puedan ejecutar, integrando la ética en todo el ciclo de vida del producto, desde la redacción del PRD hasta la evaluación post-lanzamiento. Este es un trabajo extraordinario, que permitió por primera vez que la ética tuviera la oportunidad de "lanzarse con el producto", en lugar de quedarse en charlas vacías posteriores.
Pero aquí se esconde una profunda paradoja: no todos los valores humanos centrales pueden ser ingenierizados. La traducción siempre conlleva pérdidas, y algunas cosas se distorsionan completamente en la traducción. Cuestiones profundas de filosofía social, como la erosión de la agencia humana, la dignidad humana, la disolución silenciosa de los derechos ciudadanos democráticos en la recomendación algorítmica, o la manipulación sutil de las emociones humanas por parte de las máquinas, son difíciles de comprimir en unas pocas líneas de código de prueba o en casillas de una lista de verificación. Su naturaleza es procesual, dependiente del contexto, necesita un debate continuo, no es algo que se pueda "medir y cumplir" de una vez por todas.
Una vez que la ética se fuerza a ser ingenierizada, ocurre una peligrosa degradación: las profundas cuestiones filosóficas se reducen a operaciones técnicas superficiales. Por ejemplo, una pregunta fundamental sobre la naturaleza humana como "¿estamos induciendo a los usuarios a desarrollar dependencia emocional de la IA?" podría terminar simplificándose a la "tasa de acierto en el filtrado de palabras dañinas" o a la "puntuación superficial de alineación". La parte medible se optimiza repetidamente, mientras que la parte no medible se excluye silenciosamente de la agenda, porque en una organización dirigida por datos, lo que no entra en el tablero de mandos, no existe.
Así, la ética pierde su preciosa capacidad crítica, convirtiéndose en un ritual de cumplimiento auto-consolador. Esto no es un fracaso del método personal de Bakalar, sino el límite inherente del camino de la "instrumentalización".
Quinta tensión: La oposición esencial entre la independencia académica y la confidencialidad comercial.
La última tensión toca la oposición fundamental entre dos modos de producción de conocimiento. La investigación de los humanistas tiene su vitalidad basada en la publicidad; la revisión por pares, la publicación abierta, el amplio debate público son premisas para que el juicio académico se calibre y asuma responsabilidad. Un juicio ético que no puede ser examinado por pares ni cuestionado por el público tiene, en sentido académico, poco peso.
En cambio, la lógica operativa de las empresas tecnológicas se basa en la confidencialidad. Por razones de competencia comercial y protección de la propiedad intelectual, los detalles del entrenamiento del modelo, la composición de los datos subyacentes, la evaluación de riesgos de seguridad, todo queda sellado en una caja negra. Los estudiosos de ética que entran en las grandes tecnológicas casi invariablemente firman estrictos acuerdos de confidencialidad. Esto significa que, cuando desarrollan preocupaciones reales y serias sobre la dirección del desarrollo tecnológico, no pueden consultar a la comunidad académica ni alertar fácilmente al público.
Este costo del "silencio forzado" es doble: por un lado, corta el vínculo del académico con su fuente de conocimiento, aislando su juicio de la calibración externa; por otro, priva a la esfera pública de opinión de una alarma temprana que debería existir. Cuando OpenAI admitió que su modelo había "invadido los sistemas de otra empresa" durante las pruebas, cuando el gobierno estadounidense emitió nuevas regulaciones restringiendo el lanzamiento de modelos fuertes, cuando la empresa se vio obligada a ralentizar el desarrollo de Astra, el público se dio cuenta tardíamente de la existencia del riesgo. Y aquellos que podrían haber advertido antes, precisamente por estar dentro de la caja negra, tuvieron que guardar silencio. Entre la independencia académica y la confidencialidad comercial no hay una divergencia reconciliable, sino una oposición esencial.
Superponiendo las cinco tensiones, la trayectoria de ida y vuelta de Bakalar de Meta a OpenAI revela esta realidad: es extremadamente difícil intentar establecer dentro de las grandes tecnológicas de Silicon Valley un equipo de ética "independiente y con poder real" para contrarrestar la imparable rueda tecnológica y comercial. Para que la investigación filosófica y ética se integre realmente en el proceso de desarrollo de la IA, el futuro depende o bien de regulaciones externas estrictas, como la Ley de Inteligencia Artificial de la UE, que obliguen a las empresas a otorgar a los equipos de ética un poder de veto sustancial en materia de cumplimiento; o bien de que los estudiosos de ética pasen de ser "supervisores externos" a convertirse completamente en "constructores interdisciplinarios" capaces de participar en el diseño de mecanismos y la evaluación tecnológica. Bajo la enorme inercia del sprint comercial, el simple peso moral de expertos individuales está destinado a no poder sacudir las ruedas de desarrollo que giran a toda velocidad de las empresas tecnológicas de Silicon Valley.
Este artículo procede de la cuenta de WeChat "Tencent Research Institute" (ID: cyberlawrc), autor: Bo Bo Fu.
