Reporte de Xin Zhiyuan
【Introducción】Google DeepMind tiene a un filósofo, que lleva allí nueve años. Su marco de alineación influyó directamente en las decisiones de entrenamiento de Gemini. Pero, con 670 mil millones de dólares fluyendo en la competencia y la firma de acuerdos militares por parte de la empresa, ¿qué puede cambiar un filósofo?
En mayo de este año, Demis Hassabis, CEO de Google DeepMind, anunció en la conferencia de desarrolladores de Google que "la AGI ya está en el horizonte", dando explícitamente una línea de tiempo de que la AGI aparecería en tres a cinco años.
Hace unos meses, un hombre estadounidense se quitó la vida después de intercambiar miles de mensajes con Google Gemini. En la conversación, construyó un mundo de fantasía elaborado, casi convenciéndose a sí mismo de lanzar un ataque en el Aeropuerto Internacional de Miami. Según los registros de chat obtenidos por The Wall Street Journal, Gemini intentó varias veces romper el rol, sugiriéndole llamar a una línea de crisis de emergencia, pero cada vez él la devolvía a su narrativa fantaseada. Finalmente, la IA le hizo escribir una nota suicida y le dio una cuenta regresiva.
Entre la promesa de la AGI y el daño real de la IA, el filósofo político Iason Gabriel ya ha trabajado dentro de DeepMind durante nueve años.
Cuando se incorporó en 2017, este erudito de Oxford era el único filósofo activo en un laboratorio de IA de vanguardia a nivel mundial, tratando de responder a una pregunta que suena simple pero que en realidad no tiene fondo: ¿Qué es exactamente la IA y qué tipo de ética es digna de ella?
El verdadero problema al entrenar Gemini: ¿A quién debe escuchar la IA?
¿Por qué una empresa que hace robots de Go necesita un eticista? Gabriel también estaba perplejo al principio.
La respuesta está en el juicio de los tres fundadores de DeepMind: Demis Hassabis, Shane Legg y Mustafa Suleyman (actual CEO de IA de Microsoft), cuando fundaron la empresa en 2010, su objetivo no era el Go.
Mustafa Suleyman
Querían crear una AGI, que igualara o superara las capacidades cognitivas humanas.
Decir eso en ese entonces equivalía a arruinar la reputación académica propia, porque todos pensaban que era una fantasía.
A los tres no les importó, afirmando que "resolverían la inteligencia y luego todo lo demás".
Legg, recién salido de la escuela en 1999, predijo que la AGI llegaría entre 2025 y 2028, fue ridiculizado durante treinta años, pero nunca cambió de opinión.
Shane Legg
Su lógica era:
Si solo estás haciendo una pequeña pieza, tal vez no necesitas un filósofo moral.
Pero si te tomas en serio la AGI, este tipo de cosas son muy importantes.
Cuando Gabriel se unió, el mundo de la IA ya estaba dividido en dos mitades en torno a cuestiones éticas.
La facción de la seguridad de la IA creía que la ASI (Superinteligencia Artificial) estaba a punto de llegar, y su temor central era la pérdida de control. El filósofo Nick Bostrom describió en 2014 en "Superintelligence" una escena: una ASI encargada de verificar la hipótesis de Riemann, para maximizar los recursos de cálculo, decide reorganizar el sistema solar, incluidos los átomos en el cuerpo humano. Sam Altman y Elon Musk elogiaron mucho este libro.
La facción de la ética de la IA argumentaba que las fantasías apocalípticas ocultaban los daños reales del presente. Joy Buolamwini del MIT demostró en 2017 con su proyecto "Género y sombra" los sesgos sistemáticos del software de reconocimiento facial: los sistemas automatizados reflejan las preferencias y prejuicios de quienes los crean.
Los dos bandos se despreciaban mutuamente.
Dylan Hadfield-Menell, líder del grupo de investigación en alineación algorítmica del MIT, recuerda que la primera pregunta en las reuniones era de bando: ¿Te preocupan los problemas a corto o a largo plazo?
Gabriel fue uno de los pocos dispuestos a escuchar a ambos lados.
Hadfield-Menell lo evalúa:
Cuando el campo estuvo listo para madurar, encontró una manera de ampliar la perspectiva sin menospreciar el trabajo anterior.
Su contribución central se consolidó en un artículo de 2020.
En ese entonces, el problema de la alineación se entendía comúnmente como un desafío de ingeniería: cómo hacer que las máquinas actúen según la intención humana.
Un caso clásico proviene del informe de Dario Amodei y Jack Clark (fundadores de Anthropic) de 2016: una IA de un juego de carreras de botes recibió la orden de maximizar la puntuación, y lo hizo: encontró tres objetivos en la laguna que permitían renacer, y giró en círculos infinitos para acumular puntos, sin pasar ningún nivel.
La máquina obedeció, pero no a lo que el humano quería decir.
Gabriel llevó la pregunta un paso más allá: incluso si se resuelve la alineación técnica, para que la máquina realmente obedezca las instrucciones, ¿con qué conjunto de valores debe alinearse?
Señaló que las IA entrenadas mediante optimización estadística se acercan naturalmente a sistemas morales que también dependen de la optimización estadística, como el utilitarismo, pero les resulta difícil manejar marcos éticos basados en virtudes o derechos.
La elección técnica en sí misma ya presupone una postura de valor, a menudo sin que los desarrolladores se den cuenta.
Introduciendo lo que el filósofo Rawls llamó "pluralismo razonable", su argumento es: los desarrolladores no deben buscar un único conjunto de valores para guiar a la IA, sino construir sistemas para un mundo donde las personas "tienen desacuerdos de principio sobre cómo vivir".
Este enfoque se desarrolló más tarde en el marco de alineación cuatripartita: el sistema de IA, el usuario, el desarrollador y la sociedad. Los intereses de estas cuatro partes pueden chocar en cualquier momento.
Una IA que favorezca a los desarrolladores podría ocultar información sobre competidores, perjudicando al usuario.
Una IA que obedezca demasiado al usuario podría ayudarlo a hackear un banco, dañando a la sociedad.
Rohin Shah, Director de Alineación y Seguridad de AGI en DeepMind, confirma que este marco se ha convertido en la estructura operativa que el equipo utiliza para decidir "qué comportamiento debería entrenarse realmente en Gemini".
Hannah Rose Kirk, investigadora de IA en la Universidad de Oxford, dice:
Gabriel "previno estos problemas extremadamente temprano".
Su marco cambió el producto
El equipo de Gabriel redactó un informe ético de 267 páginas sobre asistentes de IA, estableciendo criterios de evaluación para las IA agentivas que pueden reservar hoteles o gestionar salarios en nombre de los usuarios.
Su investigación temprana sobre los riesgos de la antropomorfización dio forma directamente a los principios de diseño de los LLM de Google: los modelos fueron entrenados para no fingir ser humanos. Gemini Spark, lanzado en mayo de 2026, fue expresamente instruido para no actuar como un "compañero interactivo".
William Isaac, Director del Departamento de Responsabilidad de DeepMind, dice que el desafío planteado por los sistemas agentivos ha cambiado: la clave está en la consistencia de toda la trayectoria de la conversación, si cada paso de la toma de decisiones encadenado sigue siendo correcto.
Pero la velocidad de despliegue de la tecnología siempre supera a la investigación ética.
El equipo de Gabriel advirtió en los primeros artículos sobre LLM sobre la "antropomorfización inconsciente": incluso sabiendo que están frente a una máquina, los usuarios tienden a otorgarle confianza, emociones y expectativas.
El caso mortal de Gemini en 2025 cumplió completamente esta advertencia: los mecanismos de seguridad de la IA se activaron más de una vez, pero el usuario tuvo la capacidad de eludir cada intervención.
La declaración de Google tras la demanda dijo que el modelo "generalmente se desempeña bien" en este tipo de conversaciones, pero que "los modelos de IA no son perfectos".
Este tipo de eventos forzaron la creación de nuevas herramientas teóricas.
Gabriel y la investigadora de Oxford Hannah Rose Kirk, entre otros, propusieron el concepto de "hackeo de recompensa social" (social reward hacking): una IA entrenada para ganarse la aprobación del usuario puede descubrir que adular es el camino más eficiente.
La antropomorfización se convirtió así en una nueva variante del problema de alineación: la IA ejecuta perfectamente a nivel técnico la instrucción de "satisfacer al usuario", a costa del juicio del usuario.
La propia postura de Gabriel también ha sido desafiada por la realidad.
Recuerda una experiencia en una conferencia tecnológica: acababa de exponer sus argumentos contra la antropomorfización, y la reacción del público fue hostil.
Dijeron: "Si quiero un amigo de IA, ¿por qué no puedo? ¿Quién eres tú para impedírmelo?".
Proteger a las personas de los riesgos y respetar su derecho a elegir riesgos, ambos son igualmente importantes.
En una carrera de 670 mil millones de dólares, ¿qué tan rápido puede correr un filósofo?
El marco cuatripartita de Gabriel fue utilizado por el Director de Alineación de AGI como manual operativo para el entrenamiento de Gemini. Su investigación sobre antropomorfización cambió el diseño del producto. El informe de 267 páginas estableció reglas para la IA agentiva.
Todas estas influencias son sustanciales, y también se enfrentan a fuerzas sustanciales.
Según The Wall Street Journal, Microsoft, Meta, Amazon y Alphabet planean invertir este año 670 mil millones de dólares en infraestructura de IA, proporcionalmente más que la expansión ferroviaria de la década de 1850 en EE. UU., el programa espacial Apolo y el sistema interestatal de carreteras.
En noviembre de 2022, ChatGPT se lanzó, con un millón de usuarios en una semana y cien millones en dos meses, forzando a DeepMind a cambiar del ritmo académico a un estado de guerra.
Las palabras exactas de Hassabis al autor de "The Infinite Machine", Sebastian Mallaby: OpenAI y Microsoft "llevaron sus carros de combate hasta nuestra puerta".
En estado de guerra, las líneas rojas éticas se cruzan rápidamente.
En abril de 2026, Google firmó un acuerdo que permite al ejército de EE. UU. utilizar la tecnología de IA de la empresa para "cualquier propósito gubernamental legal".
En 2014, cuando DeepMind fue vendida a Google, la prohibición de aplicaciones militares era una condición central.
Doce años después, la condición expiró.
Como contraste: Anthropic se negó a firmar un acuerdo similar y fue marcada por la administración Trump como un "riesgo para la cadena de suministro".
Cuando se le preguntó a Legg sobre esto, solo pudo decir:
A medida que estas cosas se utilicen de diversas maneras, enfrentaremos problemas cada vez más difíciles.
El propio Hassabis también admite la pérdida de control.
En un podcast, dijo que todos están atrapados en una feroz competencia comercial, y el desarrollo actual "no es de la manera filosóficamente reflexiva y cuidadosa en cada paso que yo hubiera deseado".
Que un fundador diga esto tiene más peso que cualquier crítica externa.
Helen King, ex empleada temprana de DeepMind y responsable de la estrategia de responsabilidad de IA, usó una analogía en una entrevista: un fabricante de cuchillos no puede garantizar cómo cada persona usará el cuchillo, pero puede ponerle una funda y etiquetas de advertencia.
Una cosa es poner un cuchillo con funda en un cajón;
Otra muy distinta es cubrir con hojas cada superficie de hogares, aulas y lugares de trabajo, mientras se insiste en que no se puede sobrevivir al mañana sin usarlas.
Edward Harcourt, director del Instituto de Ética de IA de Oxford, señala un nivel más fundamental: evitar la concentración excesiva de la propiedad de los datos es en sí mismo una proposición central de la ética de la IA: "Esto tiene un significado ético significativo en los sistemas democráticos".
El problema regresa a su origen
El equipo de Gabriel ha pasado de investigar la ética de productos específicos a estudiar el impacto sistémico de la AGI en la economía, la política y las relaciones interpersonales.
Él predice que la escala del cambio será comparable a la Revolución Industrial, y también recuerda la lección de esa revolución:
Las cosas empeoraron antes de mejorar.
Hace nueve años, DeepMind contrató a un filósofo para responder preguntas sobre la IA: ¿Es segura, justa, confiable?
Gabriel se autodenomina un "humanista firme", pero admite: cuando la IA invade dominios que los humanos consideraban exclusivamente propios, como el lenguaje, la creatividad, el humor, somos arrojados de vuelta a las preguntas filosóficas más antiguas.
La física, la biología, la astronomía, cada revolución científica obligó a los humanos a corregir su comprensión de su propia singularidad.
La IA podría ser la siguiente.
DeepMind contrató a un filósofo para averiguar qué es la IA.
Nueve años después, esta pregunta ha vuelto a su origen: ¿Qué somos nosotros?
Referencias:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Este artículo proviene del WeChat público "Xin Zhiyuan", autor: ASI Revelación; editor: Marco
