Fuente: Bloomberg
Organizado por: Felix, PANews
Bloomberg realizó recientemente una entrevista con Dario Amodei, CEO de Anthropic, para discutir su trayectoria emprendedora en San Francisco, la competencia con OpenAI y el objetivo final de la IA.
PANews ha resumido los puntos clave de la entrevista.
Entrevistador: Ahora mismo estás en el centro del universo de la IA. ¿Cómo se siente eso?
Dario: A lo largo de mi carrera, especialmente durante este tiempo en Anthropic, he experimentado una curva exponencial suave. La experiencia de esta curva exponencial suave es: no pasa nada, no pasa nada, ocurre algo pequeño, y luego de repente hay un crecimiento frenético. Así es la experiencia del mundo, y también cómo la empresa se compara con otras empresas y el mundo. He estado observando este gráfico durante mucho tiempo y solía decir 'probablemente alcanzaremos este punto para convertirnos en la empresa de IA con mayores ingresos y valoración', y efectivamente sucedió. Así que, por un lado, no me sorprende porque en el gráfico es solo una línea suave; pero por otro lado, cuando las cosas realmente ocurren, ves muchos más detalles y colores, lo cual es absolutamente sorprendente. Siempre debemos recordar las preguntas más fundamentales: ¿cómo entrenar bien los modelos? ¿Cómo convertirlos en buenos productos? ¿Cómo garantizar la seguridad? ¿Cómo ayudar a las personas, mientras gestionamos los riesgos sociales que trae la tecnología? Todo son los mismos problemas, solo que examinados bajo una lupa más grande.
Entrevistador: Creciste en San Francisco, ¿cómo eras de niño? Sé que tu padre era artesano del cuero y tu madre trabajaba en una biblioteca. ¿Cómo te influyó eso?
Dario: En ese momento, la primera revolución de internet estaba ocurriendo a mi alrededor, pero yo no estaba interesado en absoluto. Solo me interesaban hacer problemas de matemáticas, dibujar garabatos, entender el universo y la ciencia ficción. Esa era mi realidad en ese momento. Tenía mucha curiosidad por el mundo.
Entrevistador: Creciste en esta ciudad centro de la tecnología, que ahora también es el centro de la IA. ¿Algo de esta ciudad influyó en tu visión del mundo?
Dario: El espíritu general de no conformismo, individualismo y de que 'está bien estar loco' ciertamente me influyó. Si vas a Europa o incluso a otras partes de este país, encontrarás que pensar de manera diferente o tener ideas locas no solo no se fomenta, sino que se considera extraño. Aunque tengo muchas críticas hacia Silicon Valley, creo que tiene algo bueno: está bien incluso si todos los expertos están en tu contra, si tienes una visión coherente del mundo, debes perseguirla. Tal vez no funcione en absoluto, pero si tiene éxito, crea un efecto de cola larga, podrías encontrar una gran veta de oro. Creo que este espíritu es muy importante.
Entrevistador: Tu decisión de dejar OpenAI se ha convertido en una leyenda de Silicon Valley. ¿Qué pasó realmente? Aparte de los rumores, ¿cuál fue el problema real? ¿En qué aspectos discrepaban?
Dario: Lo diré de manera sencilla. Cuando desarrollas tecnología poderosa, enfrentas muchos problemas difíciles, y en Anthropic también enfrentamos cada día dilemas donde no sabemos si nuestra decisión es correcta o incorrecta. Así que hay muchas discrepancias razonables sobre seguridad, y ciertamente teníamos algunas con ellos, pero eso por sí solo no era razón suficiente para irse. Incluso en Anthropic, la gente tiene desacuerdos conmigo y entre sí. Pero cuando sientes que no puedes confiar en alguien, cuando sientes que sus valores no son lo que dicen ser, cuando sientes que no son honestos, que no actúan con los motivos que proclaman, cuando ves patrones engañosos perturbadores, es difícil seguir colaborando y confiando en esa empresa. Al final del día, si tienes una visión diferente y no confías en la otra persona, ¿por qué seguir discutiendo? La solución es seguir caminos separados. Me parece perfectamente aceptable que hagamos las cosas a nuestra manera y ellos a la suya. Veamos quién gana en el mercado y en la opinión pública. Eso es más significativo que cualquier drama sobre quién se fue. Estamos demostrando un ejemplo de cómo desplegar esta tecnología de manera responsable. Si ellos no están de acuerdo, pueden presentar sus argumentos. Creo que eso es todo lo que hay que decir.
Entrevistador: En la cumbre de IA en India, tú y Sam Altman parecían negarse a tomarse de la mano en el escenario. ¿Qué pasó allí?
Dario: La verdad es que esa cumbre estuvo extremadamente desorganizada. Todos subimos al escenario en el último momento, cambiaron el orden de colocación sobre la marcha, tomaron fotos y luego de repente ordenaron que todos nos tomáramos de la mano. Si has estado en este tipo de cumbres internacionales con jefes de estado, sabes que tienden a ser un caos total (y no solo me refiero a India).
Entrevistador: Pero todos los demás se tomaron de la mano.
Dario: No sé cómo explicártelo. Narendra Modi simplemente ordenó a todos en el escenario que se tomaran de la mano.
Entrevistador: Está bien. Sam y Elon se están demandando mutuamente. No te cae bien Sam. Si las personas que están construyendo la tecnología más importante del mundo no pueden tomarse de la mano en un escenario, ¿cómo podemos confiar en que colaborarán en los riesgos existenciales para la humanidad?
Dario: Lo que quiero decirte es que hay enormes diferencias en la calidad y confiabilidad de las personas que construyen esta tecnología. La narrativa de 'nadie confía en nadie' no es correcta. Conozco a Demis Hassabis, que desarrolló los modelos Gemini (competidores de Claude), desde hace 15 años, y hemos colaborado en muchos temas. Compramos capacidad de cómputo (compute) de Google, y a menudo intercambiamos ideas sobre seguridad. Así que creo que, primero, algunos actores son genuinamente más confiables que otros; y segundo, también hay actores fuera de Anthropic en los que confío. Creo que lo que necesita suceder es que los actores confiables se unan y dejen a los no confiables en una posición donde no tengan más remedio que adoptar los mismos estándares. En mi experiencia, hay personas que no harán lo correcto por sí mismas, pero si la mayoría de la industria está haciendo lo correcto, los demás no tienen muchas opciones. Esto tiene dos aspectos: el lado positivo es la inspiración mutua (es decir, una carrera hacia arriba), por ejemplo, el trabajo de Demis en Alpha Fold nos inspiró, nosotros trabajamos en investigación biológica, nuestra investigación en explicabilidad (interpretabilidad) los inspiró a ellos, no es una competencia de suma cero. Es el lado positivo, la 'zanahoria', de la carrera; y el lado negativo, el 'palo', es que si no haces lo correcto, te verás muy mal. Podrían hacer lo correcto de mala gana, mientras pretenden hacer otra cosa, incluso pensando que tenemos algún propósito siniestro oculto, eso es de esperar, pero así es como la industria se une y colabora.
Entrevistador: Al principio, otros se centraron en aplicaciones de consumo interesantes y llamativas, mientras que tú apostaste por la programación y el lado empresarial. Claude Code y Claude Cowork tienen mucho éxito. ¿Por qué hiciste esa apuesta? ¿Fue una decisión basada en valores o comercial?
Dario: Cuando fundamos Anthropic, lo más básico era que queríamos hacer las cosas bien. Pero para financiar la creación de modelos extremadamente costosa, necesita tener un modelo de negocio. Si el modelo de negocio entra en conflicto fundamentalmente con los valores, te encontrarás en un aprieto: traicionar tus valores o volverte irrelevante. Es mucho mejor elegir un modelo de negocio compatible con tus valores. Observamos el mundo de las redes sociales y el consumo, que a menudo fomentan la participación e incluso la adicción de los usuarios (como vemos con los modelos de vídeo IA), solo para maximizar el tiempo de permanencia y obtener ingresos publicitarios. Por el contrario, en el lado empresarial, queremos usar la IA para curar enfermedades previamente incurables (colaborando con biotecnología, farmacéuticas y académicos), hacer la energía más barata y eficiente, ayudar a la educación y organizaciones sin fines de lucro, impulsar el crecimiento económico. Estas son esencialmente aplicaciones empresariales. Otro factor es que las empresas valoran mucho la confianza y las relaciones a largo plazo. El lado del consumo a veces tiene un carácter sensacionalista, mientras que el empresarial requiere que construyas confianza durante años y entregues lo que prometes. Esto se alinea muy bien con nuestro objetivo de desplegar modelos de manera positiva y segura.
Entrevistador: Un desarrollador puede cambiar de Claude a ChatGPT o Gemini en una tarde. ¿Realmente es posible mantener una posición de liderazgo a largo plazo en esta industria? ¿Cuánto tiempo le tomaría a un competidor poderoso replicar lo que ustedes han construido?
Dario: La calidad del modelo es lo más importante. Ahora mismo, tenemos una gran ventaja en la calidad del modelo. Aunque existe cierta inercia al cambiar, yo (y Anthropic) nunca hemos dependido del 'efecto pegajoso' de un producto para evitar que la gente cambie. Necesitas tener un modelo mejor, un producto mejor. Vemos que la tasa de crecimiento simplemente no ha girado hacia la baja. Al menos en el momento de grabar esta entrevista, si acaso, sigue subiendo. Así que tiendo a creer que la calidad del modelo es lo más importante.
Entrevistador: Poco después del lanzamiento de Claude Cowork, $285 mil millones de capitalización de mercado desaparecieron en una noche, los operadores lo llamaron 'SaaSpocalypse (Apocalipsis SaaS)'. Si la IA continúa avanzando a esta velocidad, ¿cuánto software tradicional será reemplazado y con qué rapidez?
Dario: Es difícil predecir esto con precisión de antemano. Todas las empresas de software tradicional tienen sus propios fosos defensivos (ventajas competitivas). Algunos de esos fosos desaparecerán, pero otros permanecerán. 'Escribir software complejo rápidamente' como foso defensivo definitivamente desaparecerá, ya no podrás defenderte con eso. Pero las relaciones con los clientes, el conocimiento del funcionamiento de la industria y la experiencia especializada en dominios únicos siguen siendo importantes. Mi consejo para estas empresas: no se complazcan, hagan una lista de todos sus fosos defensivos, vean cuáles desaparecerán, cuáles se fortalecerán, porque también aparecerán nuevos. Los que sean ágiles se adaptarán bien, y los que se engañen a sí mismos, satisfechos con la experiencia pasada, lo pasarán mal. En general, creo que la industria del software se hará más grande, no más pequeña, aunque ciertamente habrá algunos grandes perdedores.
Entrevistador: Explica eso.
Dario: Porque la 'tarta' se está haciendo más grande. Si la IA aumenta el techo del sector 10 veces, es fácil que una empresa existente crezca 1.5 veces, aunque su participación relativa en la tarta grande disminuya. Pero aquellos que no se adapten, que escondan la cabeza en la arena, enfrentarán tiempos difíciles o incluso quiebras.
Entrevistador: Sus mayores partidarios son empresas como Amazon, Google, Microsoft y Nvidia. Todas tienen sus propias agendas, son tanto socios como competidores. Sus grandes hitos comerciales están vinculados a financiación, ¿quién toma realmente las decisiones?
Dario: En muchos casos, hemos sido muy claros sobre lo que realmente pensamos. Todos somos adultos, podemos estar de acuerdo en algunas cosas y en desacuerdo en otras, colaborar en un área y discrepar en otra.
Entrevistador: Ha habido informes de que su valoración es superior a la de OpenAI. Para una startup de cinco años, una valoración cercana a un billón de dólares. ¿Cómo interpretas esa cifra? Si eres más disciplinado con el uso de capacidad de cómputo y tienes un camino más rápido hacia la rentabilidad, ¿por qué necesitas tanto dinero?
Dario: La necesidad de capacidad de cómputo está creciendo muy rápido. Los fundamentos del negocio son buenos, pero es posible que en un año necesites tres o cuatro veces más capacidad de cómputo, el crecimiento es extremadamente rápido. Esperamos completamente que el crecimiento de los ingresos iguale o supere ese crecimiento en capacidad de cómputo. Recaudar fondos es para amortiguar el impacto de esa incertidumbre; es muy racional, diluye muy poco el capital de la empresa y en absoluto representa un problema en los fundamentos del negocio.
Entrevistador: ¿Se siente bien superar a tu principal competidor?
Dario: Todavía tenemos muchos desafíos difíciles por delante. Estamos promoviendo la idea de una 'carrera hacia arriba', tratando de llevar a otras empresas con nosotros. A veces no lo admiten, a veces nos atacan mientras nos copian, pero ese efecto de arrastre es enormemente valioso.El valor de ser la empresa líder no está en simplemente vencer a los rivales, sino en la capacidad de impulsar todo el ecosistema.
Entrevistador: Pero ganar debe sentirse un poco mejor.
Dario: Por supuesto que siempre nos esforzamos por tener éxito, no queremos fallar. No creo que debamos cerrar esta tecnología, competimos en un sistema de libre empresa, solo necesitamos mitigar los riesgos de los modelos. Siempre estamos buscando un equilibrio entre los dos polos.
Entrevistador: Su velocidad de desarrollo de productos es asombrosa. ¿Cómo lo hacen?
Dario: Dos razones: primera, tenemos una cultura unificada y eficiencia organizacional, todos van al mismo ritmo; segunda, es el propio Claude. Ahora estamos usando Claude para ayudar a desarrollar nuestros modelos y productos, haciéndolo más eficiente. Esto produce un efecto de aceleración sustancial y cada vez más confiable.
Entrevistador: ¿Qué es lo más loco que has visto hacer a la IA?
Dario: Todo está relacionado con biología y medicina. He visto varias veces cómo Claude diagnosticó problemas médicos que médicos senior pasaron por alto. En biología, los modelos están empezando a volverse increíblemente buenos en diseño de fármacos o química computacional. Como ex biólogo, sé que eso requiere un nivel extremadamente alto de formación especializada. Este es el gran aspecto positivo de la IA, mejorará enormemente la calidad de vida humana. Piensa en el progreso científico de cien años, desde 1900 hasta ahora, y luego imagina si tuviéramos otros cien años de progreso. Si logramos superar los desafíos actuales, tendremos un mundo mucho mejor.
Entrevistador: Sé que te gusta escribir. ¿Usas Claude para ayudarte a escribir?
Dario: Sí, pero aún no lo he usado para escribir textos completos por mí, porque soy un poco quisquilloso con el estilo específico. Principalmente uso Claude para lluvia de ideas, aclarar temas o proporcionar referencias. Por ahora, juega un papel de apoyo; aunque todavía está lejos de escribir mejor que yo, eventualmente llegará.
Entrevistador: Escribir ayuda a aclarar la mente, implica mucho pensamiento crítico. Si dejamos que Claude lo haga, ¿perderemos esa capacidad de pensamiento?
Dario: Realmente me preocupa un poco eso. Insisto en escribir yo mismo, la mitad es por los lectores, pero igualmente para aclarar mis propios pensamientos. Si simplemente le pides 'escribe un artículo sobre los riesgos de la IA', no solo no producirá lo que realmente quiero expresar, sino que también me hará perder ese beneficio del pensamiento. En el futuro, a medida que los modelos mejoren, es posible que necesitemos encontrar formas más sutiles de usarlos más directamente, mientras conservamos los beneficios del pensamiento.
Entrevistador: Has hablado abiertamente sobre el desempleo, prediciendo que la IA podría eliminar la mitad de los trabajos administrativos junior en 1 a 5 años. Eso fue hace un año, ¿ahora ese porcentaje es del 50% o más?
Dario: Si buscas el video original completo, lo que realmente dije fue: No sé qué pasará, pero esto representa un orden de magnitud de lo locas que podrían ser las cosas. Sin embargo, la psicología de la gente tiende a recortar esos tres segundos de 'el fin está cerca', ignorando todas las soluciones que también exploré (como el impuesto por token, ajustes empresariales, políticas macroeconómicas, etc.).Mi mensaje nunca fue 'el fin está cerca', sino que necesitamos verlo con anticipación, prestarle atención y abordarlo activamente. A corto plazo, la IA hará que la gente sea más eficiente, pero eso es solo una fase de transición. Como hemos visto en la historia de la automatización, la IA eventualmente podría hacerse cargo de esa parte del trabajo. Tomemos como ejemplo a los ingenieros de software de Anthropic: ahora la IA les ayuda a escribir la mayor parte del código, haciéndolos más eficientes, pero también empiezan a surgir casos donde es mejor simplemente dejar que la IA ejecute tareas específicas. Por otro lado, esto también genera nueva demanda, como la de 'arquitecto de soluciones de IA aplicada (ingeniero de despliegue front-end)' que combina habilidades técnicas y de comunicación con el cliente. La destrucción y el reajuste de puestos de trabajo ocurrirán simultáneamente.
Entrevistador: Publicaron un gráfico mostrando la posible destrucción de empleos, cuáles desaparecerán y cuáles se crearán.
Dario: Es difícil predecir esto con precisión, como predecir el mercado de valores. Pero en general, es probable que los puestos administrativos junior (banca, finanzas, etc.) sean reemplazados por IA. Cuando hablamos con clientes empresariales, vemos que enfrentan una elección: ¿despedir para ahorrar costos o usar los mismos recursos para hacer más cosas nuevas? Siempre intentamos llevarlos hacia un 'juego de suma positiva': usar las ganancias de eficiencia para hacer más cosas, no para despedir. A medida que la 'tarta' se agrande, la gente puede encontrar nuevos lugares a donde ir, se trata de un problema de velocidad de ajuste. La escala de la disrupción será grande, por eso intento advertir a la gente.
Entrevistador: Si hay un desempleo a esa escala, ¿no sería eso motivo de revolución?
Dario: Eso es absolutamente un resultado que queremos evitar. Creo que hay varias áreas donde persistirán oportunidades: una es el mundo físico (porque el desarrollo de robots es más lento que la velocidad de procesamiento de información de la IA, la manufactura y la construcción aún requerirán mucha mano de obra); la segunda son todos los trabajos centrados en lo humano. Incluso si la IA es más precisa diagnosticando que un médico o mejor en servicio al cliente, la gente aún deseará y necesitará hablar y conectarse con otros seres humanos en asuntos importantes. Los humanos también conservarán el papel de guiar los valores e intenciones de la IA.
Entrevistador: Mucha gente se opone a tu punto de vista, como Jensen Huang (CEO de Nvidia) diciendo que confundes 'tareas' con 'empleos', y otros dicen que es un 'marketing apocalíptico' que beneficia a Anthropic.
Dario: Quiero refutar esto claramente. En nuestros informes y artículos, dedicamos cinco páginas completas a detallar la diferencia entre tareas y empleos, explicar por qué esta vez es diferente, y proponer seis soluciones que cubren tanto el sector privado como el gobierno. Pero encuentro que el defecto de Silicon Valley y las redes sociales es la pereza, la gente ve un clip de tres segundos de hace un año y luego comenta irresponsablemente. Llamar 'marketing barato' a un trabajo intelectual serio es en sí mismo un marketing barato y un comportamiento extremadamente perezoso que se niega a tener una discusión seria.
Entrevistador: Como una empresa líder mundial en IA, están profundamente involucrados en muchas áreas de seguridad nacional de EE.UU. Tienes una postura antiguerra de larga data desde Caltech, pero fueron una de las primeras empresas de IA en firmar un contrato confidencial de operaciones cibernéticas con el Departamento de Defensa. Por favor, explícalo.
Dario: La razón es que el mundo está cambiando. Cuando vi la invasión rusa de Ucrania, me preocupó el resurgimiento de bloques autoritarios. Necesitamos defendernos. Definitivamente no queremos que los adversarios usen IA para analizar inteligencia, atacar Ucrania, mientras nosotros no podemos defendernos. Así que estamos proporcionando apoyo a través de agencias gubernamentales. Por cierto, hacemos esto no por dinero en absoluto, ejecutar en redes gubernamentales es realmente un gran problema y da muy poco beneficio. Precisamente porque lo hacemos por 'preocupación', debe haber límites claros y líneas rojas para el uso de la tecnología, es decir: no a la vigilancia masiva y no al desarrollo de armas completamente autónomas. Si, para ganar la competencia, abandonamos nuestros valores democráticos, tampoco valdría la pena. Este es el equilibrio y la postura que mantenemos.
Entrevistador: Comenzaron a colaborar con Palantir en 2024, su tecnología es utilizada por ICE (Inmigración y Control de Aduanas), departamentos de policía de EE.UU., incluso en Gaza. ¿Se está usando Claude para vigilancia?
Dario: No trabajamos con ICE ni CBP (Protección de Aduanas y Fronteras), ni directa ni a través de Palantir. Hasta donde sé, tampoco operamos en Gaza. Somos muy cuidadosos en limitar nuestra participación a los valores con los que estamos de acuerdo.
Entrevistador: Así que dibujaste líneas rojas, el presidente prohibió algunos de sus permisos federales, el Pentágono los etiquetó como riesgo en la cadena de suministro, y OpenAI intervino y firmó los contratos que ustedes no estaban dispuestos a firmar. ¿Cómo es realmente 'ganar' esta batalla?
Dario: No creo que sea una batalla sobre 'ganar' o 'perder', es un debate social sobre cómo el gobierno debe usar la IA de manera apropiada. Estamos tratando de establecer precedentes de uso para escenarios preocupantes, y hemos llamado la atención sobre el problema. Vemos esfuerzos bipartidistas en el Congreso para prohibir aplicaciones de alto riesgo y establecer salvaguardas. Si hay que hablar de ganar, impulsar a nuestro país a pensar más cuidadosamente sobre los límites apropiados para el uso de nuevas tecnologías, eso es una victoria.
Entrevistador: Algunos te describen como un loco ideológico que no debería tener tanto poder, o un fanático de izquierda, ¿te importa?
Dario: A menudo me insultan, y con cosas peores. La gente puede llamarme a mí y a Anthropic como quiera, solo me importan dos cosas: que la empresa tenga éxito, y que nos mantengamos fieles a nuestros valores. En realidad, eso hace mi vida muy simple, siempre he sabido cuál es mi postura.
Entrevistador: ¿Es más probable que la guerra de IA prevenga la Tercera Guerra Mundial, o que la provoque?
Dario: En general, es más probable que la prevenga. Pero si carece de restricciones de uso, sí podría provocarla. Sin una regulación adecuada, es fácil que ambos bandos entren en conflicto por un malentendido. Si tenemos una ventaja abrumadora en recopilación de inteligencia y capacidad de respuesta, el adversario pensará dos veces antes de actuar. Una inteligencia superior puede disuadir eficazmente el conflicto.
Entrevistador: Anthropic aparece en titulares casi semanalmente, recientemente sobre el modelo Mythos. Dijiste que Mythos es demasiado poderoso para lanzarlo al público. ¿Qué es lo que más te sorprende de él?
Dario: Lo que más me sorprende es que no solo puede encontrar vulnerabilidades, sino que puede convertirlas en herramientas de ataque sustanciales; hubo un gran salto en esta capacidad. Algunas empresas que lo probaron temprano incluso nos pidieron que no lo lanzáramos, y lo llamaron un 'arma súper potente', diciendo que necesitarías una licencia de armas para usarlo. No lo lanzamos al público no porque queramos encerrarlo para siempre, sino porque los mecanismos de defensa cibernética actuales aún son susceptibles de ser 'jailbreakeados' (eludidos). Queremos esperar hasta que los mecanismos de defensa tengan suficiente confianza para enfrentarlo, y luego lanzarlo junto con salvaguardas sólidas.
Entrevistador: Pero hay mucha oposición externa: investigadores dicen que pueden replicarlo con modelos de código abierto más baratos, otros dicen que es puramente una gran maniobra de relaciones públicas y marketing. ¿Cómo respondes?
Dario: La afirmación de que se puede replicar con modelos de código abierto es extremadamente absurda. El modelo Mythos encontró 271 nuevas vulnerabilidades en el navegador Firefox, miles en muchas empresas privadas que no podemos nombrar, vulnerabilidades que los modelos anteriores simplemente no encontraban. La persona en Twitter que dijo que podía replicarlo con un modelo de código abierto solo reorientó esa línea de código específica después de que nosotros señalamos exactamente cuál era el problema. Eso no es lo mismo en absoluto.
En cuanto a la afirmación del 'marketing', no lanzar este modelo súper poderoso nos hace sufrir una gran pérdida comercial, podría acelerar enormemente la investigación y desarrollo tanto interna como externamente. Si ayuda a los defensores, también ayuda igualmente a los atacantes. Así que nuestra estrategia actual es dárselo primero a la parte defensiva para que parchee las vulnerabilidades del sistema. Una vez que todos los 'agujeros' de vulnerabilidad estén tapados, el futuro ecosistema de Internet será extremadamente seguro. Aquellos que hacen críticas y operaciones inversas en X (incluyendo ciertos competidores) no están tomando en serio el balance de riesgos para toda la sociedad, es una muestra de gran inmadurez.
Entrevistador: ¿Han hecho ya concesiones con las que no estás completamente satisfecho?
Dario: Toda la historia de Anthropic está llena de concesiones. En un mundo ideal, podrías pasar años investigando cada falla de un chatbot antes de lanzarlo. Aunque ciertamente retrasamos la versión inicial de Claude unos meses, todo sigue siendo una concesión. Ahora que estamos en una posición de liderazgo comercial, Daniela y yo estamos haciendo todo lo posible para mover la aguja aún más hacia la dirección de 'actuar con precaución'. Esa fue la intención detrás de restringir el lanzamiento de Mythos; si no fueras un actor líder, sería difícil tomar esa decisión.
Entrevistador: Dado que esta tecnología es tan poderosa, ¿por qué el gobierno no simplemente se hace cargo de ustedes?
Dario: Esta es una preocupación muy seria. A lo largo de la historia, todas las tecnologías poderosas sin precedentes (armas nucleares, internet, GPS, teléfonos móviles) nacieron inicialmente en laboratorios gubernamentales o federales. La IA es la primera tecnología completamente construida en el sector privado donde el gobierno llegó tarde, y esta situación es en realidad peligrosa e inestable. Pero el peligro de que el gobierno no haga nada ahora es mayor que el peligro de que lo haga el sector privado. Así que necesitamos contrapesos de poder: establecimos el 'Fideicomiso de Beneficio a Largo Plazo' (Long-Term Benefit Trust), que tiene el poder de destituir a la mayoría de los directores e incluso despedirme a mí, introduciendo un elemento de gobernanza pública.
A nivel gubernamental, necesitamos que los poderes legislativo y judicial implementen pruebas obligatorias previas al lanzamiento y una regulación con líneas rojas. Me asusta tanto que las empresas la controlen, como que el gobierno la monopolice; ambos lados deben equilibrarse mutuamente. Es muy ridículo que haya un grupo de personas en Silicon Valley que, desde una oposición extrema a cualquier regulación o incluso a requisitos de transparencia (diciendo que sofocaría la innovación), al ver el primer peligro real, inmediatamente oscilen hacia afirmar que 'el gobierno debería nacionalizarla'. Esta reacción de balanceo entre dos polos extremos es muy inmadura; necesitamos un camino medio racional.
Entrevistador: En su campo siempre se habla del momento en que la IA se vuelve lo suficientemente buena para 'automejorarse'. Sus investigadores creen que está cerca, ¿qué tan lejos está exactamente?
Dario: Creo que no es un 'momento' específico, sino un proceso exponencial de aceleración continua. Ya hemos visto a la IA comenzar a ayudar a proponer la arquitectura para la próxima generación de IA. Hace un año, la IA aumentaba la productividad total de los factores en un 10-15%, ahora quizás sea un 20-30%. No se descontrolará repentinamente en un momento dado, sino que en esta curva exponencial suave, necesitamos evaluar en cada punto si deberíamos reducir la velocidad e imponer más controles. La respuesta sensata es hacer que nuestras contramedidas se intensifiquen suavemente y de manera gradual a medida que crece el poder de la tecnología, no entrar en pánico.
Entrevistador: Dijiste que la civilización humana tiene un 10-25% de probabilidades de colapsar. No es insignificante. ¿Podría darse el caso de que algo que construyó Anthropic cause ese colapso?
Dario: Desde luego espero que no. Esta probabilidad de riesgo surge de la inherente imprevisibilidad de la tecnología y la complejidad de la situación mundial. Las medidas que tomamos están destinadas a reducir, no a aumentar, esa probabilidad de colapso. Al igual que en la aviación, incluso si construyes un avión diez veces más seguro que el de los demás, no puedes garantizarle absolutamente a nadie que 'nunca se estrellará'.
Lectura relacionada: ¿OpenAI y Anthropic cambian de opinión colectivamente? ¿Ya no está de moda la teoría del apocalipsis laboral por IA?
