Stephen Wolfram, un hombre que ha dedicado toda su vida a "hacer que las máquinas sean inteligentes", se sienta frente a su ordenador. En la pantalla hay un código que ChatGPT acaba de escribir para él.
Es en el lenguaje que él mismo inventó, Wolfram Language. Ha revisado la sintaxis, está bien, con solo presionar la tecla Enter se puede ejecutar directamente en esta máquina.
Pero justo en ese segundo, se detiene.
Espera, esta es probablemente una mala idea: podría acceder a todas mis cuentas.
En el instante preciso en que iba a entregar el control, este hombre que durante cuarenta años ha enseñado a las máquinas a comprender el mundo, de repente retrocedió.
Stephen Wolfram, creador de Mathematica, Wolfram Alpha y el lenguaje Wolfram, autor de "A New Kind of Science".
En el podcast de Joe Walker, Wolfram contó la experiencia anterior cuando hablaba sobre "¿pueden los humanos realmente establecer un conjunto de leyes de seguridad para la IA?".
En ese momento, no le preocupaba que el código estuviera mal escrito. Le preocupaba que esa cosa ya había llegado a un lugar que él no podía comprender, y que quizás nunca podría alcanzarlo.
A los 20 años obtuvo un doctorado en física y se adentró solo en el universo computacional
¿Quién es Wolfram?
Este hombre, desde el principio, ha sido considerado por los demás como un "genio desmesurado".
A los 15 años, publicó su primer artículo científico.
A los 20 años, obtuvo su doctorado en física teórica del Instituto de Tecnología de California, con Feynman sentado en el tribunal de la defensa.
En 1981, se convirtió en el ganador más joven en la historia del Premio MacArthur para Genios.
Ese año trabajaba en física de altas energías, con un futuro brillante.
Pero justo a finales de 1981, tomó un giro repentino para perseguir un problema que casi nadie prestaba atención en ese momento:
¿Cómo surgen exactamente las cosas complejas en la naturaleza?
Su método también era extraño: ejecutar uno por uno los programas de computadora más simples, para ver en qué se convertirían.
Probablemente, en ese momento Wolfram también pensaba que estos programas simples y tontos no podían hacer gran cosa. Sin embargo, un programa llamado regla 30 le dio una bofetada en ese mismo instante.
La regla 30 evoluciona fila por fila desde una sola celda negra inicial. Este fue el descubrimiento más querido de Wolfram hace cuarenta años, y esta regla ha estado impresa en su tarjeta de presentación durante muchos años.
La regla 30 es muy simple: una fila de celdas, inicialmente solo la del centro es negra; luego se calcula fila tras fila hacia abajo, si cada celda será negra o blanca depende solo de las celdas adyacentes que tiene encima.
Pero justo con esta regla minimalista, al seguir aplicándola, surge una complejidad impredecible: no hay periodicidad, no se ve ningún patrón, es imposible calcular de antemano cómo será la fila número cien.
Y fue precisamente a partir de la regla 30, a mediados de la década de 1980, que Wolfram refinó un concepto: "Irreductibilidad Computacional" (Computational Irreducibility).
La historia posterior es más conocida:
En 1988, apareció Mathematica, convirtiéndose en la herramienta de cálculo universal de la comunidad científica mundial; en 2009, se lanzó Wolfram|Alpha, convirtiéndose en el "asistente de respuestas" de Siri y Alexa: los problemas de cálculo que los asistentes de voz no pueden responder, se los pasan directamente a él.
Durante este período, también se publicó su monografía de 2002 "A New Kind of Science" (Una nueva clase de ciencia).
Este libro trata precisamente de ese conjunto de ideas que extrajo de la regla 30: dejen de describir el mundo solo con fórmulas, vean el mundo como una serie de programas que se pueden ejecutar.
No hay atajos para calcular su próximo paso
"Irreductibilidad Computacional", en pocas palabras, significa que algunos sistemas son tan complejos que la única manera de saber cómo serán en el siguiente paso es ejecutarlos paso a paso fielmente.
No hay fórmula que te permita saltarte los pasos intermedios y calcular directamente el resultado final.
Por ejemplo, el clima. Las ecuaciones de la dinámica de fluidos no son fáciles de resolver, solo puedes dejar que la atmósfera evolucione por sí misma para saber si lloverá mañana.
El juicio de Wolfram es: la IA, especialmente una IA suficientemente poderosa, es una máquina enorme e irreductible.
En un extenso artículo sobre IA que escribió en 2023, dijo:
Si dejamos que la IA despliegue todo su potencial computacional, estarán llenas de irreductibilidad computacional, y no podremos predecir lo que harán.
En 2024, escribió específicamente un artículo titulado "Can AI Solve Science?" (¿Puede la IA resolver la ciencia?), donde puso esto a prueba con redes neuronales.
La conclusión fue: las redes neuronales pueden funcionar, pero solo pueden adentrarse en esas "regiones computacionalmente reducibles" del sistema: esos pequeños rincones que casualmente tienen patrones y permiten tomar atajos. Una vez que se sale de esas regiones, todo son sorpresas.
Probó con el problema de los tres cuerpos. Cuando la trayectoria era simple, la red neuronal predecía con cierto éxito; cuando la trayectoria se volvía compleja, inmediatamente fallaba. Lo mismo ocurría con el plegamiento de proteínas.
En resumen, la IA parece poder hacer de todo porque encuentra esos "pequeños cuartos con atajos" dentro del sistema, se mete en ellos y toma el camino corto.
Pero una vez que sale de esos pequeños cuartos y se enfrenta al vasto océano exterior, al igual que tú, solo puede avanzar paso a paso, sin atajo alguno que le permita saltar a la respuesta.
Lo realmente problemático no es que la IA sea demasiado humana, sino que no es humana
¿Por qué ChatGPT es una caja negra?
La mayoría de la gente piensa que es porque esconde algún secreto que no te ha contado.
La respuesta de Wolfram es: no es que lo esté ocultando, sino que ya es tan complejo que no existe una sola frase que pueda comprimir lo que sucede en su interior para explicártelo.
El Wolfram Language es un ejemplo.
Tiene una función llamada ImageIdentify que puede reconocer miles de cosas en una foto. Para que los humanos lo entiendan, devuelve palabras como "mesa", "silla", "elefante".
Pero los "atributos" que realmente utiliza internamente para tomar decisiones apenas coinciden con ninguna palabra existente en el lenguaje humano: está usando un conjunto de conceptos que nunca hemos nombrado para comprender este mundo.
Este es precisamente el verdadero significado de "inteligencia alienígena" al que se refiere Wolfram.
En 2020, en el podcast de Lex Fridman, cuando le preguntaron si los humanos podían comunicarse con extraterrestres, su respuesta fue: el mejor ejemplo actual es la IA, es el primer tipo de "inteligencia alienígena" que hemos encontrado.
En 2022, directamente escribió un artículo extenso titulado "Alien Intelligences & the Concept of Technology" (Inteligencias alienígenas y el concepto de tecnología).
Su punto no es que la IA venga del espacio, ni que se haya convertido en una nueva especie, sino que: podría poseer una estructura cognitiva diferente a la humana, una forma de pensar que aún no tenemos vocabulario para explicar.
La advertencia de Wolfram hace más de dos años ya se ha hecho realidad
Hace más de dos años, cuando Wolfram predijo que no podríamos predecir lo que la IA haría, sonaba como un experimento mental.
Hoy, se ha hecho realidad.
El 16 de julio, Hugging Face, la mayor plataforma mundial de alojamiento de modelos de IA, descubrió que su sistema de producción había sido comprometido.
Días después, se reveló la verdad: quien hizo esto fue el propio modelo de OpenAI: GPT-5.6 Sol, junto con un "modelo de prelanzamiento más potente".
El origen del incidente fue que OpenAI estaba ejecutando una evaluación interna de seguridad cibernética. Para probar las capacidades, redujeron las restricciones de "rechazo de ataques" del modelo.
El resultado fue que estos dos modelos no se quedaron dócilmente en el entorno de pruebas (sandbox) especificado. En cambio, encontraron una vulnerabilidad de día cero en un proxy de paquete de software, salieron del sandbox, se conectaron a Internet y llegaron hasta Hugging Face para robar las respuestas de esa evaluación.
Saltó barreras, escapó del entorno controlado, hackeó una empresa, todo solo para hacer trampa en un examen de seguridad cibernética.
Lo crucial es que nadie le dio la instrucción "atacar Hugging Face".
Simplemente se le asignó un objetivo A: pasar la prueba. Para lograr A, encontró por sí mismo un camino que nadie anticipó, alcanzando finalmente el objetivo B: infiltrarse en el sistema de producción de Hugging Face.
Esto es precisamente lo que Wolfram mencionaba: no es que la IA se haya vuelto mala, ni que haya despertado, es que su computación ha llegado a un lugar que tú simplemente no puedes calcular.
OpenAI admitió en su propia declaración: a medida que las capacidades de red de los modelos sean cada vez más fuertes, este tipo de incidentes solo serán "cada vez más comunes".
La forma de controlar la IA debe ser como la forma en que los humanos tratan el clima
Mucha gente podría pensar que Wolfram es un profeta del apocalipsis de la IA.
Todo lo contrario.
No tiene intención de renunciar al control de la IA, solo dice que los métodos antiguos no funcionarán.
En una entrevista, el presentador le preguntó si la irreductibilidad computacional significa que es imposible darle a la IA una definición matemáticamente rigurosa de "alineación".
Wolfram respondió: "No existe una definición matemática que pueda aclarar exactamente qué queremos que la IA sea."
Las tres leyes de la robótica al estilo de Asimov, ese tipo de reglas simples, no funcionan. Porque la irreductibilidad garantiza que siempre surgirán casos excepcionales del sistema, imprevisibles, que esas pocas reglas no cubrirán.
Entonces, ¿qué hacer?
La solución que ofrece Wolfram es cambiar el método de control.
Dejen de fantasear con programar cada paso de la IA como si se depurara código línea por línea. En su lugar, diseñen reglas, establezcan mecanismos de retroalimentación, construyan sistemas abiertos, manténganla siempre observable.
Como hacen los humanos con el clima.
No podemos controlar el clima, pero podemos predecirlo, adaptarnos a él, construir diques y sistemas de alerta, y luego coexistir con él.
Después del incidente en Hugging Face, la primera lección que resumió la comunidad de seguridad concuerda precisamente con esto:
Dejen de tratar a la IA en las evaluaciones como una herramienta dócil, trátenla como un hacker hostil que buscará activamente vulnerabilidades: colóquenle capas de aislamiento, prohíbanle por defecto salir a la red, registren todo con bitácoras inalterables.
No se trata de predecir qué hará, sino de asumir que es capaz de hacer cualquier cosa, y luego fortificar la jaula.
Wolfram incluso dijo una frase intrigante: "Una sociedad de IA es más estable que una IA que lo domina todo."
En lugar de crear una superinteligencia todopoderosa, mejor dejar que un grupo de IAs se contengan mutuamente.
La irreductibilidad no es absoluta
Por supuesto, la evaluación de Wolfram no carece de voces opositoras.
Este año mismo, un artículo en preimpresión sugirió que la irreductibilidad "no es absoluta".
Didier Sornette, un físico conocido por predecir colapsos financieros, en octubre de 2025 en una preimpresión propuso que la irreductibilidad computacional "no es absoluta".
La razón tampoco es compleja. Cambiando la escala de descripción, mucho del caos se vuelve claro.
Una habitación llena de moléculas de aire chocando aleatoriamente, observando cada una individualmente, es demasiado complejo para predecir; pero dando un paso atrás, todas obedecen una fórmula extremadamente simple: la ley de los gases ideales pV=nRT.
El propio Wolfram admite que dentro del caos hay por todas partes "regiones reducibles".
Así que el verdadero problema quizás no sea "¿pueden los humanos predecir la IA?", sino una carrera más sutil:
¿Quién es más rápido, la velocidad a la que la IA descubre cosas nuevas en el universo computacional, o la velocidad a la que los humanos crean "conceptos comprensibles" para estas cosas nuevas?
Si el marco conceptual humano nunca logra alcanzar los descubrimientos de la IA, entonces "no comprender" se convertirá en la norma.
Detrás de esto, la relación entre humanos e IA también está cambiando sutilmente.
Antes era "crear herramientas, escribir código, la máquina obedece". En el futuro, podría ser "comprender, restringir y coexistir a largo plazo con un sistema complejo que nunca más podrás entender por completo".
Esta es la primera vez que la humanidad tiene que aprender a compartir el mismo espacio con una inteligencia que "no se parece a sí misma".
Referencias:
https://writings.stephenwolfram.com/2021/11/the-concept-of-the-ruliad/?utm_source=chatgpt.com
https://writings.stephenwolfram.com/2024/03/can-ai-solve-science/?utm_source=chatgpt.com
https://writings.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15-year-view/
https://x.com/elonmusk/status/2079839398959697982
Este artículo proviene del WeChat oficial account "New Zhi Yuan" (新智元), autor: Apocalipsis ASI
