Fuente: Wall Street News
La infraestructura global de IA enfrenta una "enorme grieta entre oferta y demanda": la demanda se expande mil veces más rápido, mientras que el suministro de chips, memoria, electricidad y centros de datos tardará al menos de tres a cinco años en alcanzarla. La prestigiosa firma de capital de riesgo a16z considera que, con una demanda que crece exponencialmente y pedidos de componentes clave con listas de espera de varios años, se está abriendo completamente una reconstrucción alrededor de la infraestructura para la era de la IA.
Recientemente, la destacada firma de capital de riesgo de Silicon Valley a16z (Andreessen Horowitz) anunció oficialmente el lanzamiento del "Fondo de la Era de las Máquinas" (Machine Age Fund), centrado en invertir en el campo de la infraestructura de IA. Ben Horowitz, cofundador de a16z, Martin Casado, socio general, y Raghu Raghuram, ex CEO de VMware y asesor tecnológico, expusieron sistemáticamente la lógica estratégica de este fondo en un diálogo público en video. Detrás de esto se encuentra un panorama de una brecha cada vez mayor entre la demanda de potencia de cálculo para IA y la capacidad de suministro.
El juicio de las tres figuras clave es altamente consistente: La escasez de infraestructura de IA ya no es un problema de un solo eslabón, sino que se extiende desde chips, memoria, interconexión de red, centros de datos, hasta electricidad, refrigeración, transformadores, e incluso minas de cobre. "El alcance de este impacto llega hasta las minas de cobre, es algo de esa magnitud", dijo Raghu.
Al mismo tiempo, Ben Horowitz dio un juicio simple pero contundente:
"Cualquier problema que tengas puede resolverse con suficiente infraestructura —en esencia, GPU más dinero. Mientras el problema no esté resuelto, la demanda no se detendrá."
Demanda "infinita", oferta "en crisis total"
a16z cree que esta ola de construcción de infraestructura de IA es fundamentalmente diferente de las burbujas de infraestructura de la era de internet anterior.
"¿Recuerdan la fibra oscura? En ese entonces, mucho de lo que se tendía bajo tierra era especulativo, estaba oscuro. Hoy, básicamente cada GPU se vende por adelantado antes de ser producida", dijo Martin Casado.
A nivel de datos, las señales son igualmente claras:
Los gastos de capital de los grandes proveedores de nube a hiperescala (Hyperscalers) este año son de aproximadamente 700 mil millones de dólares, y se espera que colectivamente superen 1 billón de dólares el próximo año.
El suministro de componentes clave ya está totalmente reservado hasta 2028. Martin reveló que incluso han visto "subastas de varios días para miles de GPUs", donde los precios de reventa son cuatro veces el precio original.
Fabricantes líderes de memoria declararon públicamente en la conferencia insignia de la industria Hot Chips: "Los pedidos de demanda que ya tienen hoy requerirían tres años de capacidad de producción para entregarse por completo" —y eso es solo la demanda existente actual, sin incluir la demanda futura.
El precio de las GPU también ha mostrado un raro rebote. "El precio de las GPU siempre ha ido a la baja, pero después de llegar a cierto nivel, ha regresado", dijo Raghu, señalando que esto casi nunca había sucedido en la historia.
En el lado eléctrico, la contradicción es igualmente aguda. Se prevé que los nuevos centros de datos necesitarán unos 44 gigavatios adicionales de energía antes de 2028, mientras que la red eléctrica solo se espera que añada unos 25 gigavatios, una brecha enorme. Ben Horowitz añadió: "Nos faltan GPUs, nos falta electricidad, nos falta refrigeración, nos falta memoria— lo que digas, nos falta."
"No es un problema de ingeniería, es un cuello de botella de recursos"
¿Por qué la demanda continúa expandiéndose sin límite? Martin Casado dio un juicio central:
"Antes, si querías construir algo, era un problema de ingeniería—contratabas ingenieros, pero eso no escala linealmente, existe la limitación de la 'mitología del hombre-mes'. Ahora, esto realmente es un problema de limitación de recursos. Invertimos grandes cantidades de capital en sistemas, y los sistemas producen resultados. El cuello de botella actual es la capacidad de estos sistemas para realmente coincidir con los recursos que estamos invirtiendo."
Desde chatbots hasta modelos de inferencia, y luego Agentes, multiagentes, cada generación de aplicaciones de IA consume tokens de manera exponencialmente creciente. La descripción de Raghu es más directa:
"Si un chat necesita 100 tokens, un Agente puede necesitar miles de tokens. La demanda se expande en dos dimensiones simultáneamente: las tareas individuales consumen cada vez más tokens, y al mismo tiempo, la población que usa IA también se expande—desde desarrolladores, hasta trabajadores del conocimiento, y luego usuarios comunes en un rango más amplio."
Ben Horowitz dio su predicción: "La demanda de tokens podría crecer cerca del 1000% anual. Esta velocidad es algo que la oferta de infraestructura simplemente no puede seguir."
"La única manera en que la IA se vuelve mejor es usando más IA. La inferencia es el bloque de construcción básico que invoca repetidamente, por eso la cantidad de tokens se duplica constantemente", dijo Raghu.
Todo el sistema de cálculo necesita "reconstruirse desde cero"
a16z cree que el desafío central de la infraestructura de IA actual no es solo "cantidad insuficiente", sino que "toda la arquitectura no fue diseñada para la IA".
Raghu sistematizó esta lógica de reconstrucción:
"Debes examinar categoría por categoría: ¿qué necesita el cálculo? ¿qué necesita la memoria? ¿cómo se interconectan entre sí? ¿cuánta potencia necesita cada una? ¿cómo disipar el calor? ¿cómo combinar todo esto? Esto es lo que toda la industria está haciendo ahora—descomponer el problema en sus componentes más básicos y luego reconstruir desde los primeros principios."
Martin Casado utilizó una lógica comercial para respaldar la urgencia de la reconstrucción:
"Entrenar un modelo de vanguardia ahora cuesta entre 3 y 5 mil millones de dólares. El lado de la inferencia necesita al menos el doble para recuperar costos, unos 10 mil millones de dólares. Si puedes ahorrar un 20% de eficiencia en inferencia, eso son 2 mil millones de dólares. Y 2 mil millones de dólares pueden financiar completamente el desarrollo de un ASIC.
Esto significa que crear un chip personalizado para un solo modelo ya es económicamente viable. Esto nunca había sucedido en la historia de la industria—nunca hemos usado 5 mil millones de dólares para crear un solo producto digital."
A nivel físico, la presión para reconstruir es más concreta:
La potencia del rack ha pasado de 5-10 kilovatios en el pasado, a saltar hacia 100-150 kilovatios;
La densidad de cálculo aumenta aproximadamente 70 veces;
Los métodos de refrigeración migran forzosamente de aire a líquido;
El voltaje del rack sube a 800 voltios, ya en el ámbito de alto voltaje—solo alrededor del 2% de los electricistas en EE.UU. tienen certificación en corriente continua;
Los racks de ultra alta densidad imponen nuevos requisitos sobre la carga del piso del centro de datos;
Los precios de materiales de construcción como el concreto también aumentan rápidamente.
Ben Horowitz declaró directamente:
"Hemos superado esa era—la mayoría de los centros de datos existentes quedarán completamente obsoletos una vez que entremos en la próxima era de potencia de cálculo."
Los mejores emprendedores están regresando masivamente al hardware
Esta oportunidad estructural ya está generando señales claras en el ecosistema emprendedor.
Martin Casado reveló que en a16z tienen una estadística informal: En el pasado, entre las oportunidades de los mejores emprendedores, las relacionadas con hardware representaban solo alrededor del 3% al 5%; ahora, esa proporción supera el 20% e incluso el 30%.
"La comunidad de emprendedores suele ser más inteligente que la comunidad de VC, ya han identificado que este es un campo de innovación muy activo y están actuando."
El perfil de estos "emprendedores de hardware" también difiere de los tradicionales emprendedores de software. Raghu describió que los fundadores de este tipo de empresas deben ser "fundadores de sistemas"—"No puedes ser solo un investigador o un buen científico de la computación. Debes poder arquitectar y diseñar chips o sistemas, y también pensar en cómo se fabrica esto realmente, cómo se estructura la cadena de suministro—estas son cosas que los emprendedores de software normalmente no necesitan considerar. Jensen Huang (de NVIDIA) es la máxima expresión de este modo de pensar; desde el principio estuvo pensando en todo el ecosistema."
Mientras tanto, los laboratorios de IA de vanguardia, debido a la urgencia extrema de la demanda, han comenzado a firmar acuerdos directamente con empresas emergentes de hardware en etapa temprana, "incluso antes de que el producto de hardware esté listo". Martin cree que este es un cambio de señal importante, reduciendo significativamente el riesgo comercial temprano para las startups de hardware.
El entorno de financiación también está cambiando: las rondas iniciales de financiación para startups ya alcanzan el orden de cientos de millones de dólares, algo extremadamente raro en inversiones de hardware anteriores.
De "inteligencia de máquina" a "era de las máquinas"
Al hablar del nombre de este nuevo fondo, Martin Casado admitió: "El término 'inteligencia artificial' (Artificial Intelligence) en realidad estuvo mal llamado desde el principio—debería llamarse inteligencia de máquina (Machine Intelligence)."
"Es un término de 70 años en ciencias de la computación, cargado con mucho bagaje de ciencia ficción. Y no es realmente simular el pensamiento humano—aprovecha todo lo que los humanos ya han aprendido, no reconstruye el lenguaje desde cero", dijo.
El otro significado profundo detrás del nombre "Machine Age" (Era de las Máquinas) es un homenaje al hardware. "Hay una ironía profunda aquí: las mismas personas que promovieron que 'el software se comiera el mundo' ahora llegan al punto donde la verdadera limitación proviene de las máquinas físicas debajo del software. Este nombre reconoce que, en esta ola, la importancia del hardware es, sin precedentes, crucial."
Martin dio un juicio en términos de escala de tiempo: "Estamos apenas comenzando—lenguaje y código, más el uso de computadoras que recién empieza. Pero en los próximos 30, 40 años, ciencia, materiales, biología, creatividad... todos serán campos donde se inyecte potencia de cálculo en problemas. Estamos en una etapa extremadamente temprana de un viaje muy largo. Prepárense: esta demanda de potencia de cálculo continuará durante décadas."
Transcripción completa de la entrevista de a16z (traducida con asistencia de IA):
Introducción
Ben Horowitz (Cofundador de a16z):
Estamos en la era de una nueva tecnología, la más importante de la historia. Y para sustentarla, necesitas una infraestructura completamente nueva.
Raghu Raghuram (Ex CEO de VMware / Ejecutivo y Asesor Tecnológico):
Normalmente, cuando hablamos de infraestructura, nos referimos a servidores, almacenamiento, redes, cosas así. Pero esta vez, se extiende hasta las minas—minas de cobre. Así puedes sentir cuán amplio es el alcance de esto.
Martin Casado (Socio General de a16z):
Antes, si hacías algo, el núcleo era un problema de ingeniería. Pero ahora, realmente parece que lo que está estrangulando son los recursos. Ya sea potencia de cálculo o algo más, estamos inyectando grandes cantidades de dinero en estos sistemas, y los sistemas están produciendo resultados. Pero el problema es que ahora la capacidad de los sistemas para digerir recursos simplemente no sigue el ritmo de nuestra inversión.
Raghu Raghuram:
Los principales fabricantes de memoria dicen que los pedidos de demanda que tienen hoy requerirían tres años de capacidad de producción para satisfacerse.
Moderador:
Ben, Martin, Raghu, bienvenidos. Gracias. Bien, gracias. Primero, me gustaría citar a Marc (Andreessen) para presentar este nuevo fondo:
"Esta es la mayor revolución tecnológica que he visto en mi vida. Claramente es más grande que internet. Se puede comparar con el microprocesador, la máquina de vapor, la electricidad, e incluso podría ser la rueda."
Señores, este es el Fondo de la Era de las Máquinas (Machine Age Fund). Por favor, preséntenlo. Ben, empieza tú.
Ben:
En pocas palabras, ahora tenemos una nueva tecnología, y es la tecnología más importante de la historia. Cada vez que aparece una tecnología disruptiva nueva, todo en lo que confiamos—la infraestructura—necesita una actualización completa. Y esta vez, el impacto es más profundo que nunca.
Así que no solo necesitamos nuevos chips, nuevo software de sistemas, también necesitamos nuevas formas de suministrar energía, reemplazar el cableado de cobre... prácticamente todo debe cambiar. Es una era muy emocionante. Para las diversas necesidades a nivel de hardware de esta nueva era, necesitamos un nuevo enfoque de inversión.
Raghu:
Estoy totalmente de acuerdo. Normalmente, cuando hablamos de infraestructura de cálculo, nos referimos a servidores, almacenamiento y redes. Pero esta vez, al rastrearlo hacia abajo, llegas hasta las minas, las minas de cobre—así de amplio es el alcance. Ese es el primer punto.
Segundo, en los últimos tres años, hemos visto la capacidad de los modelos mejorando de manera constante y constante, el modelo en sí ya no es el cuello de botella. De hecho, con la ayuda de la IA, estos modelos se están volviendo más poderosos cada vez más rápido. El cuello de botella ahora está en lo que yo llamo la parte 'por debajo del modelo'—es decir, la infraestructura subyacente. Por lo tanto, esta es precisamente la dirección en la que necesitamos enfocarnos.
Martin:
Añado rápidamente: siempre hemos seguido a los fundadores.
En los últimos años, hemos observado una tendencia clara—cada vez más equipos de primer nivel comienzan a abordar problemas complejos y difíciles. No tengo cifras exactas, pero el fin de pasado hice un cálculo mental: antes, entre los proyectos de los mejores fundadores, la dirección de hardware probablemente representaba solo 5%, pero ahora supera 20% a 30%.
El olfato de la comunidad de fundadores a menudo es más agudo que el de los VC, ya han identificado este campo como un área de alta actividad innovadora y están actuando activamente.
Ben:
Creo que 5% podría ser una sobreestimación.
Martin:
Sí, realmente era bajo, tal vez 3%.
Moderador:
Entonces, ¿pueden explicar qué condiciones macro están impulsando este cambio? ¿Qué están viendo estos fundadores que los hace entrar en esta dirección?
Martin:
Lo más obvio es: la demanda de IA es básicamente infinita. Precisamente por eso, toda la cadena de suministro está bajo una enorme presión—incluyendo las materias primas utilizadas para fabricar productos como la memoria.
La IA también tiene algo especial: debido a que la demanda es infinita y el crecimiento es infinito, normalmente no necesitas preocuparte por "si podrás venderlo". Lo que realmente te debe preocupar es el margen de beneficio de la empresa, es decir, el problema de la eficiencia.
Y muchos problemas de eficiencia, en última instancia, son limitaciones físicas del hardware. Los sistemas existentes simplemente no fueron diseñados para la IA, ni para este tipo de cargas de trabajo. Por lo tanto, el modelo de negocio de la ola de IA está ejerciendo una presión extrema sobre los sistemas existentes.
Creo que globalmente se ha reconocido: debemos cambiar a nivel de componentes centrales para mejorar la eficiencia, sustentar el crecimiento del negocio y realmente lograr valor comercial.
Moderador:
Sí, entonces, ¿cómo sabemos que la demanda realmente excede la oferta ahora, y no es solo otro ciclo de especulación?
Raghu:
Hay muchas señales que indican este problema.
Primero, algunas de las personas más capacitadas para juzgar la demanda están realizando enormes pedidos de compra. Mira a los grandes proveedores de nube a hiperescala (hyperscaler), sus gastos de capital han estado creciendo de manera explosiva. Se dice que el próximo año, los gastos de capital combinados de estos proveedores alcanzarán 1 billón de dólares. Este año son aproximadamente 700 mil millones de dólares. Piensa en la posición de estos grandes proveedores en la industria—pueden ver la demanda desde todos los ángulos: laboratorios de IA de vanguardia necesitan potencia de cálculo, empresas nativas de IA la necesitan, clientes corporativos la necesitan, el mercado estadounidense la necesita, los mercados extranjeros también. Entonces, si alguien tiene la mejor capacidad de juicio, son ellos. Y sus gastos de capital están aumentando de manera sin precedentes, esa es una señal clara.
En segundo lugar, según las empresas con las que tenemos contacto diario, todas las empresas de capa de aplicación están avanzando a toda velocidad, con una velocidad de crecimiento increíblemente rápida. Lo mismo ocurre con el crecimiento de los laboratorios de IA de vanguardia, hay datos al respecto. Así que creo que, desde el lado de la demanda, la señal nunca ha sido tan clara—esto definitivamente no es especulación. Lo más importante es que todo esto es solo...
Ben:
Y el precio de los chips sigue subiendo, nunca habíamos visto que los precios subieran así...
Martin:
El precio de las GPU está bajando. Los precios siempre han estado bajando.
Raghu:
Sí, sí, sí, siempre han bajado. Mira esa curva de precios, baja así (hacia abajo), y luego regresa aquí. Sí, y solo necesitamos que el 5%, 10% de la demanda del mercado se detenga, todo el mercado se detendría.
Martin:
Desde el lado de la oferta, la oferta existente básicamente ya está reservada hasta 2028. ¿Qué tan mal está la situación? Hemos visto subastas de miles de GPUs que duran varios días. Por supuesto, por otro lado está la demanda, como dijo Raghu, vemos algunas de las empresas de crecimiento más rápido en la historia de la industria.
Raghu:
Y otro punto, el valor de la unidad de trabajo que la IA puede completar está aumentando constantemente. Pero bajo la superficie, la cantidad de tokens consumidos está creciendo en órdenes de magnitud. Por ejemplo, una conversación común puede consumir 100 tokens, pero un Agente de IA puede consumir miles de tokens. Así que la demanda se expande en dos dimensiones simultáneamente: una, completar la misma tarea consume cada vez más tokens; dos, en el futuro, la población beneficiada será cada vez más amplia—no solo desarrolladores, sino todos los trabajadores del conocimiento, e incluso más. Esta es la tendencia que vemos.
Moderador:
Dices que los componentes clave de la cadena de suministro ya están vendidos hasta 2027, incluso hasta 2028. Para toda la industria, ¿qué significa que todo esté agotado con tanta anticipación?
Martin:
No sé si esto ha sucedido antes. ¿Recuerdan? Quiero decir, piensen en la era de internet, en ese entonces desplegamos infraestructura a gran escala, pero gran parte de lo que enterramos bajo tierra era especulativo, nadie lo usaba—¿recuerdan la "fibra oscura"? Ahora, básicamente cada GPU en producción ya se ha vendido por adelantado.
Ben:
Sí, en ese entonces la situación era completamente diferente. Quiero decir, alrededor de 1998, 1999 realmente había un problema de escasez de ancho de banda, pero la demanda real de ancho de banda no era grande porque no había mucha gente en línea. Así que era un problema bidireccional—las empresas se apresuraban a entrar, teóricamente necesitaban más ancho de banda, pero por otro lado, los consumidores que usaban ese ancho de banda simplemente no eran suficientes. Y para realmente consumir mucho ancho de banda, necesitas hacer cosas de alto ancho de banda como video, pero en ese entonces el video simplemente no funcionaba, por varias razones, sin relación con cuánto ancho de banda había en los centros de datos.
Así que en ese entonces parecía un poco similar, pero es fundamentalmente diferente. Ahora hay escasez total—alguien revende GPUs con una prima del 400%, así es la situación. No solo eso, también nos falta electricidad, refrigeración. Lo más problemático es que la construcción en sí es extremadamente difícil debido a una gran resistencia política. Así que, en mi carrera, nunca había enfrentado esta situación, realmente es sin precedentes.
Martin:
Compartiré una pequeña historia. Recientemente hablé con el CFO de una gran empresa pública que históricamente ha sido muy reacia a la nube, por lo que tienen muchos servidores propios. Hicieron un inventario y descubrieron que—el valor de la memoria dentro de los servidores había aumentado tanto, que solo con vender esa memoria podrían pagar todo el costo de migrar a la nube. Así que creo que realmente estamos en una situación muy inusual.
Ben:
Exacto. Ahora nos falta de todo—electricidad, refrigeración, memoria, GPUs, lo que digas, nos falta.
Raghu:
Sí, la conferencia insignia de la industria "Hot Chips" se está celebrando en Stanford. El fabricante de memoria número uno dijo que solo para satisfacer la demanda que ya tienen hoy, necesitarían tres años de capacidad de producción—y eso es solo la demanda existente, sin contar la demanda futura.
Moderador:
Así que ahora todo escasea simultáneamente. ¿Es porque todos subestimaron cuán potentes y útiles serían los modelos, así que simplemente no anticiparon tal demanda?
Martin:
Ni siquiera creo que sea eso. Esto surgió de repente, ¿verdad? Solo llevamos cuatro años. Incluso si tuviéramos una previsión perfecta, una vez que comenzó a funcionar, no creo...
Ben: pudiéramos construir la capacidad a tiempo.
Martin: Poder construir la capacidad a tiempo, completamente imposible.
Hablamos de ciclos de chips, que generalmente toman de tres a cuatro años. Hablamos de iniciar la construcción, construir centros de datos, que generalmente toman de cuatro a cinco años.
Ben:
Y conectar a la red eléctrica, construirlo desde cero, también necesitas suministro eléctrico. Así que o construyes tu propia planta de energía, generalmente debes hacer ambas cosas—construir tu propia planta y tener una fuente de energía estable, eso no es fácil.
Raghu:
Es así. Tienes una industria que, si puede crecer a una tasa del 20%, 30%, ya es una muy buena tasa de crecimiento. Pero ahora necesita conectarse con la industria del software de IA, cuya tasa de crecimiento es de al menos tres dígitos. Puedes ver cuán grande es la brecha, y esa brecha continúa ampliándose.
Moderador:
Entonces, ¿por qué no existía este tipo de fondo antes?
Por ejemplo, hace cinco o siete años, ¿por qué invertir en este sector no era tan atractivo como ahora? Ben, ¿qué opinas?
Ben:
Creo que ahora es un buen momento para entrar—claro, eso espero. Pero honestamente, entrar unos años antes probablemente también hubiera estado bien.
Martin:
Quiero decir, en cada era tecnológica, puedes encontrar un grupo de empresas independientes que emergen. Claramente, cuando se pasó de las mainframes a la arquitectura cliente/servidor, surgió un grupo de empresas; al pasar a internet, surgió otro, por eso tuvimos a Cisco y Juniper. Incluso en la era de los centros de datos a hiperescala—que, por cierto, básicamente fue impulsada por la integración vertical de unos pocos grandes proveedores de nube—también vimos el surgimiento de Arista.
Entonces, la línea de invertir en chips de hardware siempre ha tenido oportunidades, solo que antes las oportunidades eran relativamente limitadas porque el cambio en sí mismo también era limitado—tal vez una empresa de chips, una empresa de switches. Pero ahora, todo está cambiando. Así que coincido con Ben, tal vez podríamos haber comenzado un poco antes, pero ahora la magnitud del cambio es tan grande, hacer esto es algo natural.
Ben:
Y otro punto, la demanda de "inteligencia" en dirección vertical es casi infinitamente creciente, completamente sin techo. Mira, las empresas que ya usan IA están aumentando su uso rápidamente; la mayoría de las empresas aún no usan la IA en profundidad; el lado del consumidor apenas está comenzando.
Así que, la demanda de tokens probablemente crecerá cerca del 1000% anual, y la oferta simplemente no puede seguir ese ritmo. La cantidad de trabajo que debemos hacer en toda la capa de infraestructura es enorme para que la oferta siga esa velocidad de crecimiento. Así que creo que las oportunidades de inversión en este camino aún son muchas.
Otro punto es que la arquitectura de los sistemas de hardware existentes fue diseñada para una era de cálculo completamente diferente. Así que no es solo "necesitamos más potencia de cálculo", sino que necesitamos construir nueva infraestructura desde cero, hay muchas oportunidades ahí.
Raghu:
Sí, estas tecnologías ya han tocado sus límites físicos de diseño original, como dijo Ben con el cable de cobre y similares. Pasas por cada categoría tecnológica y encuentras—bueno, esta tecnología ha llegado a su límite. Así que ahora se necesitan avances tecnológicos para pasar al siguiente nivel.
Moderador:
Me gustaría hablar un poco más sobre el lado de la demanda. Pasamos de chatbots, a modelos de inferencia, a agentes, a multiagentes, cada paso hacia adelante, la cantidad de tokens consumidos para completar una tarea se multiplica exponencialmente.
Ben:
Nada le gusta más a la IA que usar más IA.
Moderador:
Entonces, ¿por qué esta tendencia continúa sin aparecer una meseta? ¿Crees que seguirá así indefinidamente?
Martin:
Esta pregunta tiene varias perspectivas. Primero, por ahora, la forma en que logramos escalar es esencialmente a través de mucha inferencia, es decir, muchos tokens. Piensa en qué es el aprendizaje por refuerzo (RL), es mucha inferencia; qué es la cadena de pensamiento (chain of thought), también es mucha inferencia; los agentes de larga duración, por supuesto, son mucha inferencia. Así que esta es solo una de las formas en que actualmente escalamos.
Si quieres entenderlo desde una perspectiva más macro, antes, si querías hacer algo, era un problema de ingeniería, contratabas ingenieros, pero eso no escala linealmente. La ingeniería tiene sus propias leyes naturales, eso es lo que explica "El Mítico Hombre-Mes".
Pero ahora la sensación es que realmente es un problema de limitación de recursos. Ya sean tokens u otra cosa, inyectas dinero en el sistema, el sistema produce resultados. El cuello de botella ahora es que estos sistemas aún no pueden digerir completamente los recursos que estamos inyectando.
Así que creo que los tokens son solo una etapa en esta curva de expansión en la que estamos, pero ya no tenemos ese "regulador natural" como antes con la ingeniería. Por lo tanto, esta tendencia debería continuar, debemos construir suficiente oferta para sustentarla.
Ben:
En pocas palabras: tienes cualquier problema, con suficiente infraestructura—básicamente GPUs y dinero—puedes resolverlo. Así que mientras el problema no esté resuelto, la demanda no desaparecerá. Ese es el desafío.
Raghu:
La manera en que la IA se vuelve más poderosa es usando más IA. La inferencia es el bloque de construcción más básico que invoca repetidamente. Por eso los tokens se duplican constantemente.
Martin:
Sí, y también está ese "efecto autocatalítico"—usar IA para crear más IA, como usar IA para generar código del kernel de GPU, que en sí mismo es usar más IA en el proceso.
Así que tenemos una forma de entenderlo: antes, entraba el dinero, enfrentabas un problema de ingeniería, generalmente dos años, a menudo fallaba, había un regulador natural, y eventualmente obtenías el producto. Ahora, entra el dinero, el hardware directamente produce inteligencia, no hay nada en el medio. Nuestra única limitación ahora es si podemos producir suficiente oferta. Es una dinámica completamente diferente.
Raghu:
Quizás más GPUs tampoco sea algo tan sólido...
Moderador:
Sí, cierto.
Raghu:
Así que es como un ciclo.
Martin:
Siempre que tengas dinero, GPUs y datos, en un futuro previsible, podrás seguir escalando estas cosas.
Moderador:
Eso es realmente interesante. En la última década, siempre he escuchado una voz que permea toda la industria—demasiado dinero fluye hacia las startups, sobreinvertimos en estas empresas, hay demasiado dinero en capital de riesgo.
Ben, ¿puedes hablar más sobre lo que esto significa? Porque antes había un escepticismo general: inyectar más dinero en una industria no necesariamente trae más producción. Pero ahora estamos diciendo lo contrario—en cierto modo, cuán grande puede ser este mercado depende de cuánto invirtamos colectivamente.
Ben:
Sí, mira, hay algo que todos sabemos en el mundo de las startups: si te aventajo por dos años, y tratas de alcanzarme contratando 1000 ingenieros, solo arruinarás tu empresa. Eso nunca funcionó. Eso es el mito del hombre-mes—no puedes hacer que nueve mujeres tengan un bebé en un mes. Es una ley.
Pero ahora, esa lógica se invierte. No es contratar 100,000 ingenieros, es tomar 3 mil millones de dólares, encender un clúster a hiperescala, y de repente—mira, Grok puede caer del cielo, o cualquiera, simplemente aparece, de repente existe.
Estas ventajas competitivas puedes igualarlas con dinero; casi cualquier problema puedes resolverlo con dinero, y realmente funciona. Esto es completamente diferente a todo lo que hemos experimentado antes. Por cierto, todos psicológicamente aún nos estamos adaptando a esto.
Moderador:
ChatGPT ya tiene mil millones de usuarios activos semanales. Alrededor de 30 millones de desarrolladores lo usan, representando una parte significativa de la demanda de potencia de cálculo. Considerando lo que la gente realmente hace con él, ¿cómo debemos ver la demanda actual y futura de potencia de cálculo?
Raghu:
Esa es una trayectoria de desarrollo, ¿verdad? ChatGPT comenzó como una herramienta de chat diario, luego se convirtió en un asistente de programación para profesionales. Luego, con la capacidad de programación, se desarrollaron muchas herramientas poderosas para trabajadores del conocimiento. Así que los trabajadores del conocimiento son el próximo campo de batalla principal. Ahora hay más de mil millones de trabajadores del conocimiento esperando para usar esto a nivel mundial. Hay un largo camino por recorrer aquí. Y piensa en lo que hacen—varios flujos de trabajo, automatización, etc.—y más adelante están los procesos empresariales de back-end, todos ejecutados por Agentes. Así que estas cosas se desbloquean paso a paso, puedo decir que cada paso que se desbloquea, la demanda crece en un orden de magnitud. Estamos apenas comenzando.
Ben:
Sí, y ahora con Grok Bot, los cambios que están ocurriendo en la programación se están extendiendo a todas las escenas de uso de computadoras a través de Grok Bot. Así que estamos en medio de otra ola de demanda, y seguramente habrá más. Ahora parece que la demanda es casi ilimitada. Ni siquiera hemos hablado de IA encarnada o robótica, que será otra enorme fuente de demanda.
Raghu:
Martin es experto en esto, pero mi entendimiento es que Grok Bot utiliza la capacidad de "uso de computadora" (computer use), como una persona real sentada frente a una computadora tecleando constantemente.
Martin:
Realmente lo usé el fin de semana pasado—para ayudarme a actualizar la información de mi tarjeta de crédito en un montón de servicios que siempre he pospuesto, y para cancelar un montón de suscripciones. Quiero decir, esto no tiene nada que ver con programación, esto es uso real de computadora.
Raghu:
De repente creas un grupo de trabajadores del conocimiento, todos sentados dentro de la computadora trabajando.
Martin:
Realmente creo que Marc Andreessen tiene razón, la analogía más apropiada es la máquina de vapor o la electricidad, la razón es esta: introducimos esta cosa nueva, puede convertirse en mano de obra, ahora hay algunas aplicaciones muy obvias, pero podrían venir treinta o cuarenta años más de inyectar potencia de cálculo en varios problemas—cualquier problema con una señal de recompensa clara. Y estamos apenas comenzando, solo hemos logrado lenguaje y código, solo esas dos cosas, el uso de computadora también acaba de comenzar.
Pero ¿qué nos enfrentamos? Ciencia, materiales, biología... por supuesto, la creación creativa es también un enorme campo de aplicación. Así que estamos en una etapa muy temprana de un viaje muy largo, y hemos eliminado un cuello de botella clave—la ingeniería de software tradicional. Por supuesto, el cuello de botella se desplazará, la complejidad en otros lugares también aumentará.
Pero creo que estamos en una era muy temprana y muy larga de inyectar potencia de cálculo en problemas. Así que prepárense, esta demanda de potencia de cálculo continuará durante décadas.
Moderador:
Hablando de eso, Marty, hablemos de Grok Bot. Cuando hablamos fuera de cámara, dijiste que te impresionó—claro que participamos desde varios ángulos—pero ¿qué te pareció más interesante?
Martin:
Creo que nuestra industria ha pasado por varias iteraciones de comprensión de "cómo entra la IA en nuestras vidas", ¿verdad?
Al principio, la gente pensaba: bueno, agregas IA a un producto, es más o menos lo mismo, como un cuadro de búsqueda. Luego comienzas a chatear con él, también responde, porque ese era el enfoque más común en ese entonces.
Luego OpenAI lanzó algo, fue a principios de este año. Cuando vi eso, pensé: bueno, tal vez "una búsqueda mejor que Google" no es la forma completa de la IA. Mejor que sea una existencia independiente, pero es una extensión tuya—comparte tus claves, conoce tus contraseñas, directamente hace lo que tú harías. Así que es más como una extensión tuya, pero más como una persona.
Luego creo que lo que Grok Bot realmente hizo bien fue: no, cambiemos de pensamiento—¿y si en realidad es un empleado? Ahora tienes esta entidad, no necesita obtener especialmente tus claves o permisos, tiene su propia computadora, su propio navegador. Y porque estos son los modelos más inteligentes del mundo, puede hacer lo que cualquier empleado puede hacer.
Eso es interesante, porque ahora si quiero lograr algo, mi primer pensamiento es: ¿puede Grok hacerlo por mí? Y a menudo la respuesta es sí, incluso para cosas que ni siquiera habías considerado. Las obvias son obvias, como administrar mi calendario, concertar reuniones, pero también hay algunas menos obvias. Por ejemplo, lo haré leer mi correo, clasificarlo, no le dije específicamente cómo hacerlo, pero sabrá confirmar conmigo antes de realizar la clasificación real. Así que estas cosas ya son lo suficientemente inteligentes, puedes darles tareas relativamente de alto nivel, encontrarán la manera y harán las cosas bastante bien.
Moderador:
Ben, sé que has pensado mucho en este problema, incluido cómo funciona en las organizaciones. Por supuesto, también te enfocas mucho en la cultura. ¿Qué opinas al respecto?
Ben:
Bueno, quiero decir, si miras nuestra propia situación, es como agregar un nuevo tipo de empleado. Y habrá muchos de este tipo de empleados. Debemos adaptarnos, como cuando pasamos años descubriendo cómo trabajar con empleados humanos comunes. Ahora tenemos este otro tipo de empleado. Trabajar con ellos tiene una curva de aprendizaje.
Pueden quemar montones de tokens, gastar mucho dinero y no lograr nada útil. Olvidarán cosas, inventarán contenido, tendrán buen desempeño, mal desempeño, y también pueden traer problemas de seguridad. Todas estas dimensiones existen. Pero al mismo tiempo, también pueden ser extremadamente eficientes.
Así que creo que cómo integrarlos, hacer que funcionen bien con colegas humanos reales, todo esto es algo que estamos explorando.
No quiero pararme aquí y decir que ya tengo la respuesta—que tenemos un ciclo perfecto, toda la compañía está completamente automatizada, voy a despedir lentamente a todos los humanos porque puedo hacerlo—para nada es así. Más bien pensamos: bueno, ¿cómo hacemos que todos los empleados humanos sean súper poderosos, sin arruinar la compañía, porque si los bots se descontrolan, hay grandes problemas.
Raghu:
Sí, realmente es interesante. Intentamos varias formas diferentes de introducir mejor a los agentes en el sistema. Al final, la visión de Martin fue la más efectiva: trátalos como personas, y luego sigue adelante. Ahora es lo que hacemos, y resulta que esta es la forma más probada de impulsar esto dentro de la organización.
Moderador:
Quiero volver al lado de la oferta y profundizar en los cuellos de botella. Hablamos antes de que los centros de datos, la arquitectura de chips, el software de sistemas, la infraestructura misma, originalmente no fueron diseñados para la IA. Si realmente quisiéramos rediseñarlos para la IA, ¿cómo sería? ¿Cuál debería ser el modelo mental para pensar en esto?
Raghu:
Bien. Si partes del juicio de que "el modelo original de esta infraestructura debe cambiar", entonces puedes mirar categoría por categoría, encontrar dónde está la dislocación de valor, y luego desbloquear el cuello de botella de cada eslabón uno por uno.
Finalmente quieres alcanzar este estado: mira lo que hace el motor de inferencia—usa mucha memoria, genera nuevos tokens constantemente mientras calcula. Entonces puedes pensar: ¿cómo optimizo todo este proceso? ¿Cómo debe ser la memoria? ¿Cómo debe ser el cálculo? ¿Cómo se comunican entre sí? ¿Cuánta potencia necesita cada una? Con estos requisitos de potencia, ¿cómo los gestionas? Luego, ¿cómo combinas todo esto?
Esto es precisamente lo que muchos fundadores en toda la industria están haciendo ahora. Descomponen el problema en sus componentes más básicos y preguntan: ¿qué tipo de cálculo se está haciendo aquí? La respuesta es multiplicación de matrices. Entonces, ¿cómo optimizo mi unidad de cálculo para este escenario? Luego, el proceso de generación de tokens necesita cada vez más memoria, ¿cómo diseñar este sistema de memoria por capas de manera óptima? ¿Cómo se consume la potencia? Luego conectar estas cosas—¿cómo conectar dentro del mismo chip, entre chips, entre centros de datos? ¿Cuánta potencia necesita cada nivel de transmisión de datos?
Así que debes descomponerlo de principio a fin y luego reconstruirlo con estos componentes básicos. Esta es la dirección que vemos, y donde vemos las oportunidades.
Martin:
Déjame darte un modelo mental interesante para ayudarte a entender cómo está cambiando este panorama.
Hoy, entrenar un modelo de vanguardia cuesta alrededor de treinta a cincuenta mil millones de dólares. Después del entrenamiento, la inferencia al menos debe recuperar ese costo, ¿verdad? Para que esto tenga sentido comercial, necesita recuperar aproximadamente el doble, lo que significa que el lado de la inferencia necesita generar alrededor de cien mil millones de dólares en ingresos.
Entonces, si puedes ahorrar un 20% de eficiencia en este proceso, son veinte mil millones de dólares. Y con veinte mil millones de dólares puedes perfectamente construir un ASIC (circuito integrado de aplicación específica).
Así que en realidad hemos llegado a un punto interesante: crear un ASIC personalizado para un solo modelo es económicamente viable, simplemente debido a la enorme cantidad de capital invertida en este modelo.
Y a diferencia del software tradicional, el software tradicional tiene mucho estado, es muy dinámico; pero estos modelos son fijos, los pesos del modelo son fijos.
No sabemos si el mundo realmente se dirigirá hacia "un ASIC dedicado por modelo", pero esto te da un buen modelo mental para entender cómo evolucionará la arquitectura—personalizada para estas enormes inversiones de capital, volviéndose cada vez más específica.
Creo que en la historia de esta industria, nunca hemos invertido directamente cinco mil millones de dólares en un producto digital. Por lo tanto, esto impondrá los requisitos más altos que jamás hemos visto para el hardware.
Moderador:
Hablando de eso, los requisitos de potencia del rack están pasando de aproximadamente 5-10 kilovatios a 100-150 kilovatios. La densidad de cálculo aumenta aproximadamente 70 veces. Los métodos de disipación de calor también han pasado de aire a líquido, esto ya es un requisito obligatorio. Entonces, ¿qué oportunidades de inversión hay detrás de esto?
Ben:
Primero, cuando la potencia de tu rack alcanza ese nivel, la corriente alterna (AC) no funciona. Esto es bastante loco. Así que debes usar corriente continua (DC)—por cierto, la corriente continua en sí misma también necesita disipación de calor separada, y honestamente, es muy peligrosa. Es un poco irónico, porque Edison promovió la corriente continua en su día al afirmar lo peligrosa que era la corriente alterna, incluso electrocutando animales para demostrarlo.
Sí, ese caballo.
Entonces, tenía razón, solo que hablaba de su propio sistema—la corriente continua tiene una potencia enorme, eso es cierto.
Empecemos por la electricidad. Creo que aquí ocurrirán grandes cambios, especialmente junto con la disipación de calor. Estamos pasando de refrigeración por aire a refrigeración líquida, de hecho, para cualquier centro de datos de vanguardia, la refrigeración líquida ya es estándar, esto básicamente está decidido. Pero el problema no termina ahí.
Sabes, dado el ambiente político actual, solo la refrigeración líquida no es suficiente, debe ser refrigeración líquida ecológica. La corriente continua tampoco es suficiente, la electricidad utilizada debe ser del tipo que puede suministrar energía a la sociedad, no solo extraerla.
Algunos centros de datos actuales se comportan mal—en realidad solo una pequeña parte, tal vez el 10%—desperdician mucha agua. Por supuesto, algunos en línea comparan con pistachos, almendras, que consumen más agua, pero los centros de datos pueden ser más eficientes en este aspecto. Algunos centros de datos son como "parásitos de energía", solo consumen electricidad, no retroalimentan la red. Creo que esto terminará, y debe terminar, porque hemos pasado ese punto de inflexión, no hay vuelta atrás.
Esto requiere un nivel de ingeniería bastante alto, y muchas personas aún no han invertido en esto. Así que, vienen oportunidades aquí.
Además, si la densidad del rack es tan alta, hay muchos otros problemas, como que el diseño del piso debe soportar ese peso, esto no es solo hablar, es un problema de ingeniería real.
Además, necesitas muchos recursos de todo tipo. Y estos equipos son muy ruidosos, por lo que las paredes del centro de datos deben construirse más gruesas, de lo contrario molestarán a la gente, eso es inaceptable. No creo que ningún estado permita que eso suceda.
Así que el conjunto de ideas que mucha gente tiene sobre arquitectura y diseño ahora, está completamente desactualizado. Una vez que entremos en la próxima generación, solo una pequeña parte de los centros de datos existentes será utilizable.
Raghu:
Ciertamente, todos hablan del precio de la memoria, pero un área donde los precios aumentan más rápido es en realidad el concreto reforzado utilizado en centros de datos.
Y otra cosa, cuando estos centros de datos envían 800 voltios al rack, primero, el peligro aumenta significativamente; segundo, simplemente no tenemos suficientes contratistas eléctricos calificados que puedan manejar 800 voltios de alto voltaje dentro del centro de datos, porque ya es alto voltaje.
Ben:
Solo el 2% de los ingenieros eléctricos o electricistas en EE.UU. tienen certificación en corriente continua. Ese número lo dice todo. Meta ahora tiene un programa de capacitación especial, capacita a personas gratis para este trabajo, eso es bueno, algo así como un nuevo "Cuerpo de Trabajo".
Es interesante—dicen que la IA se llevará todos los trabajos, pero resulta que la IA creará un montón de nuevos electricistas.
Moderador:
Sí, parece que estamos haciendo algo grande.
Raghu:
Sí, los gigantes que tienen grandes centros de datos en la nube ahora están experimentando frenéticamente con robots para completar tareas como ensamblar servidores, instalar equipos en centros de datos. A medida que la IA continúa evolucionando, verás que esta tendencia se vuelve cada vez más evidente.
Martin:
Por cierto, el fondo que estamos levantando se enfoca en la infraestructura de ciencias de la computación—es decir, cualquier cosa de la que dependa la ejecución de un modelo, esto pertenece al ámbito de las ciencias de la computación. Piensa en chips, interconexión de red, almacenamiento, hasta llegar a la electricidad misma.
Moderador:
En cuanto a robótica, especialmente en arquitectura Arm, ¿cómo planean posicionarse? O, ¿cómo entender la dirección de fabricación local en EE.UU.?
Martin:
Claro, hablando de esto—creemos que cualquier plataforma sobre la cual la IA vaya a ejecutarse es una dirección que seguimos. Un gran avance de la IA es permitir que las computadoras interactúen con el mundo físico—pueden ver, oír, hablar. Esto significa que surgirán nuevas plataformas.
A la gente le gusta decir "dispositivos de borde", pero esa palabra realmente no tiene mucho significado, pueden ser dispositivos móviles, CDN, laptops, también pueden ser dispositivos físicos que se mueven por ahí.
Así que, como inversores en infraestructura, no hacemos industrias fuertemente reguladas o demasiado verticalizadas, pero cualquier plataforma de ciencias de la computación que pueda extender aún más la IA hacia afuera nos interesa mucho.
Moderador:
Volviendo al tema de los centros de datos—para 2028, los nuevos centros de datos necesitarán aproximadamente 44 gigavatios adicionales de energía, mientras que la red eléctrica solo se espera que agregue alrededor de 25 gigavatios.
Ben:
Espera, siempre decimos esta palabra "gigavatio". Es como, oh, necesito 100 gigavatios. Martin, ¿qué es realmente un gigavatio?
Martin:
Quiero decir, ¿qué tan grande es? Ocupa varios campos de fútbol. Realmente enorme. Equivale al consumo de 50,000 personas.
Ben:
Entonces, ¿cuál es el concepto de su energía?
Martin:
¿Qué quieres saber? Equivale al consumo de 50,000 hogares. 50,000, 50,000 hogares, 50,000 familias. Crecí en Flagstaff, Arizona, una pequeña ciudad de 40,000 a 50,000 personas, con estudiantes universitarios llegaba a 60,000, todo el consumo de energía de nuestra ciudad era menos de un gigavatio. Así que básicamente puedes usar un gigavatio...
Ben:
...para alimentar toda tu ciudad, encender el aire acondicionado, eso es todo. Sí.
Martin:
Quiero decir, realmente es así.
Ben:
Lo dice tan livianamente.
Martin:
No, no, no, hablando de eso, todos dicen gigavatios, pero en realidad hay muy pocos centros de datos de nivel de gigavatio realmente construidos y operando. Tenemos un largo camino por recorrer.
Moderador:
Entonces, ¿por qué las empresas eléctricas y las grandes tecnológicas no pueden construir más rápido?
Ben:
Oh, hay demasiados problemas aquí. Primero, construir centros de datos todavía depende de mano de obra, así que hay problemas normales de construcción. Pero lo más problemático es que necesitas obtener permisos, y también conectarte a la electricidad. Así que debes hacer varias cosas simultáneamente: una, competir por la elegibilidad de conexión eléctrica, esta es una enorme batalla regulatoria y de licitación. Recursos como las redes de gas natural tienen acceso muy limitado. Además, también debes construir tu propia planta de energía. ¿Y sabes qué? Ahora hay escasez de transformadores, turbinas, cualquier cosa que necesites. Así que debes resolver todo esto. No es un problema de software, no es que puedas contratar más ingenieros y trabajar los fines de semana—ese método tampoco funcionaba muy bien, pero aquí simplemente no aplica. Aquí hay cuellos de botella reales, los plazos de entrega son difíciles de comprimir. Mira, las personas más inteligentes del mundo están tratando de comprimir el tiempo, pero realmente no es fácil. Y la demanda no muestra signos de desaceleración. Ya no podemos seguir el ritmo. La demanda ahora crece 10 veces anual, la oferta simplemente no puede seguir esa velocidad.
Martin:
Por cierto, la situación ya es tan mala—ahora muchas nuevas empresas que quieren clústeres de GPU a menudo van a México, Australia u otros países, simplemente porque es demasiado difícil en EE.UU.
Ben:
Sí, en realidad estamos cediendo muchos empleos y beneficios económicos a largo plazo a otros países, porque aquí limitamos la ubicación de centros de datos de varias maneras. Creo que el enfoque correcto debería ser establecer un conjunto de estándares: los centros de datos deben devolver algo a la comunidad—suministro de energía más estable, sin ruido, sin problemas de agua, y que creen empleos. Eso debería ser el estándar. Y luego todos lo cumplen. Dicho esto, ya hay centros de datos que logran esto, no es una fantasía futura inalcanzable. Las tarifas de energía disminuyen cada año porque generan su propia electricidad, venden electricidad a la red durante el día y la toman prestada por la noche—porque la red usa menos electricidad por la noche, mientras que las plantas de energía siempre generan a capacidad máxima. Los centros de datos tienen un consumo de energía estable todo el día, mientras que las ciudades tienen un alto consumo durante el día y bajo por la noche, formando una relación simbiótica complementaria.
Moderador:
Desde una perspectiva macro, siempre hemos discutido este nombre, ¿por qué sentimos que "Era de las Máquinas" describe particularmente bien lo que estamos experimentando?
Martin:
Bien, déjame hablar. Primero, creo que Ben tiene toda la razón—"inteligencia artificial" es un término equivocado. No deberíamos llamarlo "artificial", debería llamarse inteligencia de máquina.
Moderador:
Desarróllalo, ¿por qué dices eso?
Martin: Porque no necesariamente es la forma en que piensan los humanos, ¿verdad? Es un archivo del pensamiento humano, una colección del pensamiento humano existente. Pero hasta ahora, no sabemos cómo poner una IA desde cero, sin conocimiento previo, en el mundo y hacer que reconstruya el lenguaje por sí misma—no hemos logrado eso. Lo que hacemos es: construimos un sistema que puede aprender del conocimiento humano existente y utilizarlo efectivamente. Además, "IA" en sí mismo es un término genérico de ciencias de la computación usado durante 70 años, que abarca muchas cosas diferentes. Por supuesto, también carga mucho equipaje, ya sea de ciencia ficción o de escritos de personas como Nick Bostrom, etc. Así que el primer punto es reconocer una realidad: esto es esencialmente inteligencia de máquina. Luego enfatizas especialmente la parte de "máquina". Hay una ironía profunda aquí—aquellos que promovieron que "el software se coma el mundo" realmente han llegado a un lugar donde inyectas mucho dinero, y al final lo que estrangula son las máquinas físicas subyacentes. Así que creo que este nombre en cierto modo rinde homenaje: en esta ola, la importancia del hardware es extremadamente crucial, queremos expresar eso.
Raghu:
Sí, creo que el próximo avance proviene de la calidad de las máquinas subyacentes, ese es básicamente el origen de este nombre.
Moderador:
Y el nombre también suena genial.
Ben:
"Máquina", suena poderoso. Tiene sensación de futuro.
Moderador:
Sí... considerando cuánto se está invirtiendo actualmente en infraestructura de IA, y cuán intensivas en capital son estos negocios, ¿ya hemos pasado el punto en que nuevas empresas puedan ingresar al mercado de manera sustancial? Quiero decir, ¿por qué no NVIDIA, CoreWeave y otros gigantes existentes simplemente se llevan la mayor parte de estos mercados?
Raghu:
Todos lo están haciendo muy bien, eso es indudable. Pero volviendo a nuestra discusión anterior—no necesitas innovación fundamentalmente nueva para mantener el crecimiento, o mantener la velocidad de mejora, ya sea tokens por dólar por segundo, tokens por vatio, tokens por rack, o consumo de energía. Tomas cualquier indicador, si quieres lograr una mejora de 10 veces en esos indicadores, debes tener nuevas innovaciones. Y las nuevas innovaciones, tradicionalmente, provienen de fundadores que parten de los primeros principios, piensan de manera diferente, ¿verdad? Eso es precisamente lo que se necesita para el próximo salto innovador.
Martin:
Es la ley del mercado, ¿verdad? Quiero decir, suponiendo que los gigantes de chips existentes ya tengan valoraciones de billones de dólares, eso es absolutamente cierto. Incluso solo el 5% de eso es una empresa privada enorme. Podrías decir, NVIDIA también puede hacer estas cosas, ciertamente pueden, pero si su enfoque está en cosas que generan el 90% del crecimiento, ¿por qué harían el 5%? Harías la misma pregunta en la era de la nube, ¿verdad? Por ejemplo, ¿Amazon no haría esto? También hiciste la misma pregunta en la era de Microsoft, ¿por qué Microsoft no hacía eso? Esta es la ley muy natural del mercado: una vez que alcanza cierta escala, aparecen enormes oportunidades de innovación en los márgenes.
Ben:
Sí, nuestro socio Alex Rampel tiene una frase interesante. Tenía una startup llamada Trial Pay, quería vender su servicio a Meta (entonces Facebook). Dan Rose, encargado del desarrollo empresarial, dijo en ese entonces: "Alex, esto suena genial, parece que puedes recoger muchos ladrillos de plata, pero ahora tengo ladrillos de oro por todos lados, más de los que puedo recoger. Lo último que quiero hacer es mirar un ladrillo de plata." Creo que NVIDIA está en esa situación ahora.
Moderador:
Cien por ciento de acuerdo. También hablamos antes de que si estás justo en la zona de confort de las capacidades de OpenAI, Anthropic, es decir, las áreas centrales en las que se enfocan, podría ser una posición incómoda. Pero fuera de esas tres a cinco áreas centrales, podría...
Martin:
Cuando el mercado se expande, se fragmenta, esto siempre sucede. Piensa en Ford en sus primeros días, 1913, tenía la planta River Rouge, donde entraban carbón, agua, árboles de caucho, salían autos, como una línea de ensamblaje.
Ben:
Ah, sí, también compró plantaciones enteras de árboles de caucho en la selva amazónica, ¿verdad? Hay un libro llamado "Fordlandia" sobre esto—quería integración vertical completa, así que construyó una ciudad llamada Fordlandia en la selva amazónica, todo estilo americano, con quioscos de música, helados, de todo. Y al principio realmente funcionó, hasta que exigió que los trabajadores llegaran puntualmente, y todos dijeron, al diablo contigo.
Martin:
Así que ahora miras la industria automotriz, por supuesto hay múltiples niveles de proveedores, un montón de empresas, esto siempre sucede. El mercado se expande, luego se fragmenta; cuando el crecimiento se desacelera, tiende a consolidarse. La consolidación ocurre ya sea por fusiones y adquisiciones, o por el surgimiento de nuevos desafiantes. Este es el ciclo eterno del mercado privado.
Ben:
Sí, porque los casos de uso continúan aumentando, incluso si eres la empresa más grande, puedes cubrir los casos de uso más grandes, pero los casos de uso son realmente muchos, y como dijo Martin, muchos son casos de uso muy valiosos, las grandes empresas simplemente no pueden hacer bien cada uno de ellos.
Raghu:
Incluso la arquitectura antes era una arquitectura unificada simple, ahora ya no lo es, se ha vuelto extremadamente compleja. Así que optimizar de diferentes maneras es una tendencia inevitable.
Martin:
Por cierto, algo interesante que mucha gente no entiende—los márgenes de beneficio en cierto modo naturalmente "caen" de enfoques tecnológicos estándar como el software. Realmente no es un problema técnico, una vez que tu negocio funciona, los márgenes suelen ser bastante buenos, ya sea software empaquetado o modelo SaaS. Pero la IA no necesariamente sigue esta regla, podríamos estar entrando en una nueva era: la optimización a nivel de hardware para mejorar la rentabilidad del negocio se volverá crucial de una manera que nunca antes hemos visto. Así que hay grandes oportunidades aquí.
Moderador:
Profundicemos en el tipo de empresas en las que invertiríamos. Tal vez comencemos presentando los subsectores, o hablando de algunos casos en los que ya hemos invertido. Sé que algunos proyectos aún no se han anunciado públicamente, pero, Raghu, ¿puedes comenzar?
Raghu:
Bien, como hemos estado discutiendo, los subsectores realmente cubren muchas categorías. Lo más obvio son los chips de cálculo, pero ahora solo hacer un chip no es suficiente, debes crear un sistema completo. ¿Qué necesita el sistema? Puede involucrar innovación en memoria, innovación en red, chips de energía, etc. Cada categoría podría dar lugar a empresas de nivel público, estas son direcciones que estamos observando. Después de integrar todo esto, también se necesita mucho software—para automatizar estos procesos, administrar estos clústeres de dispositivos, etc. Así que el software también es un área importante. Todas estas cosas están interconectadas, cada categoría es ineludible.
Moderador:
¿Puedes hablar sobre cómo estas empresas difieren de las empresas ordinarias? Según los casos de inversión que hemos anunciado, el tamaño de las rondas iniciales de financiación es muy grande, a menudo cientos de millones de dólares. ¿Es diferente el tipo de fundador? ¿O hay otras diferencias? En comparación con nuestras inversiones tradicionales en software, ¿en qué se diferencia la construcción e inversión en este tipo de negocios?
Ben:
Creo que la mayor diferencia, ya la mencionaste—es que se necesita invertir mucho dinero antes de tener un producto. Esa es su naturaleza. Los modelos grandes también son así, pero creo que la ruta de los modelos grandes es relativamente más clara, mientras que este campo tiene mayor riesgo y requiere más dinero, más complejo que muchas cosas que hemos hecho antes. Otro punto, muchos fundadores en el campo de los chips son "veteranos", como aquellos que saben cómo hacer memoria, no son jóvenes. Así que eso también es diferente, pero también emocionante.
Raghu:
Otro punto, estos fundadores deben ser fundadores de nivel de sistema. Quiero decir, no puedes ser solo un investigador o un buen científico de la computación. Debes poder arquitectar y diseñar chips o sistemas completos, y también pensar en cómo realmente fabricar esto—quién lo suministra, y un montón de problemas aguas abajo. Si eres de software, normalmente no necesitas considerar esto en absoluto.
Los mejores fundadores—claro, Jensen (Huang) es el "Michael Jordan" en esto—incluso antes de comenzar a diseñar el chip, ya había pensado en todo el ecosistema, porque hay demasiados cuellos de botella en esta industria, todos los eslabones deben encajar. Esta es una característica distintiva de este tipo de fundadores, y es muy diferente de otros campos.
Martin:
También hay dos factores ambientales externos importantes. Primero, los laboratorios de IA ahora tienen tanta sed de recursos que están dispuestos a colaborar activamente con startups. Así que en realidad podemos obtener muchas señales en etapas muy tempranas—los laboratorios firman acuerdos con empresas incluso antes de que se entregue el hardware. Esto es completamente diferente a hace cinco años, cuando simplemente no podías vender un producto de hardware inmaduro a una empresa como Google. Segundo, el suministro de capital se ha relajado mucho. Ahora existe una percepción general de que este es el momento para remodelar todo el panorama de la industria, hay mucho capital disponible para rondas de financiación posteriores. Por supuesto, quieres invertir en áreas donde el capital está dispuesto a entrar. Así que todo el entorno macro también es completamente diferente.
Moderador:
Patrick Carlson dijo hace unos años que cree que ahora hay cada vez menos fundadores jóvenes—no como cuando Zuckerberg hizo Facebook en la residencia universitaria, o Gates hizo Microsoft. Claro, todavía hay jóvenes como Michael, construyendo empresas icónicas. Pero como dices, ahora parece que hay más "veteranos" emprendiendo, cada vez menos jóvenes de 20 años. ¿Qué opinan de este fenómeno?
Ben:
Creo que, como dijo Raghu, si lo que haces tiene una cadena de suministro extremadamente compleja, requiere fabricación y es técnicamente desafiante, entonces la experiencia es realmente importante. Mira a Elon o Travis Kalanick, cuando eran jóvenes también hicieron empresas de software. Incluso estas personas de primer nivel, después de acumular mucha experiencia emprendedora y técnica, "subieron de nivel" para desafiar campos más complejos y grandes. Estos campos tienen demasiadas piezas móviles.
Cuando estás aprendiendo a emprender, si estás completamente familiarizado con el producto, ya es bastante difícil. Si no estás familiarizado con el producto y también debes aprender mientras emprendes, para un fundador completamente nuevo, esta curva de aprendizaje es demasiado empinada.
Así que quiero decir: por un lado, tienes a personas jóvenes e inteligentes como Michael, que hace IA puramente de software; por otro lado, tienes a personas experimentadas como Elon o Travis, que pueden navegar campos más complejos. Michael podría hacerlo en 10 años, pero ahora realmente es demasiado difícil para él.
Martin:
Otro punto importante—este campo fue descuidado por toda la industria y la academia durante casi 20 años. Siempre existió, pero nunca fue un campo de crecimiento. Lo que siempre creció fue el software, las redes. Así que realmente hay muy pocas personas que se gradúan de la universidad o salen de grandes empresas con experiencia en esto. No haces una pasantía y "casualmente haces un chip".
Pero todo esto está cambiando. Cultivaremos toda una generación de fundadores que saldrán de estas nuevas empresas, que saben cómo hacer esto. Entrarán en la industria en roles más junior y crecerán.
Dicho esto, creo que uno de los mayores legados de Elon no son solo las empresas que fundó, sino los emprendedores que salieron de SpaceX—están cambiando todo el sistema industrial, este impacto incluso podría superar a las empresas en sí. Creo que veremos lo mismo suceder en ciencias de la computación y hardware.
Raghu: Sí, de hecho, una de las empresas en las que invertimos fue fundada por dos fundadores de veinte y pocos años, pero si das una vuelta por su oficina, también ves a muchas personas con experiencia. Así que es una combinación ideal.
Ben: No es necesario que el fundador en sí tenga experiencia, pero este fundador debe poder movilizar y aprovechar a aquellos que tienen experiencia, realmente atraerlos, y también poder cooperar con ellos, y estas personas deben ser lo suficientemente buenas, y así sucesivamente. Es bastante complejo.
Moderador: Hablando de experiencia, estamos lanzando un nuevo fondo muy grande esta vez, pero no hay nuevos socios generales uniéndose. Sí, de alguna manera estamos consolidando. Esto se debe a que ustedes, y otros en el equipo, han acumulado mucha experiencia en este campo, solo que antes no se había liberado por completo. Sí, siempre estuvo en estado latente.
Martin:
Es algo interesante, creo que casi necesitamos que alguien nos recuerde que no nos desviemos, debido a nuestros antecedentes, es bastante difícil. Creo que necesitamos este recordatorio porque hemos pasado demasiado tiempo en nuestras carreras en sistemas y hardware, naturalmente nos sentimos atraídos por esa dirección. Así que mira, en los últimos años claramente también hemos invertido bastante en hardware, ¿verdad? Invertimos en SpaceX, invertimos en Android, estos fueron cheques muy tempranos, también invertimos en Astronomer, invertimos en Waymo. Así que incluso en etapas tempranas, hicimos muchas de estas inversiones. Así que esto se debe a que ya está profundamente arraigado en nuestros genes. Así que creo que esta vez no necesariamente necesitamos expandir el equipo o cultivar capacidades específicamente, estos son beneficios adicionales.
Moderador:
Gracias a todos por participar en esta conversación final del Fondo de la Era de las Máquinas. Gracias, gracias, gracias.
