Source : Wall Street News
L'infrastructure mondiale de l'IA est confrontée à une "fissure majeure entre l'offre et la demande" : la demande se développe à une vitesse multipliée par mille, tandis que l'approvisionnement en puces, mémoire, électricité et centres de données ne pourra suivre au plus tôt que dans trois à cinq ans. Le fonds de capital-risque de premier plan a16z estime que dans un contexte de croissance exponentielle de la demande et de commandes de composants clés déjà planifiées pour plusieurs années, la pile de calcul traditionnelle a été poussée à ses limites physiques, une reconstruction complète des infrastructures pour l'ère de l'IA est en train de s'ouvrir.
Récemment, le célèbre fonds de capital-risque de la Silicon Valley a16z (Andreessen Horowitz) a officiellement annoncé le lancement du "Machine Age Fund", un fonds spécialisé dans les investissements dans l'infrastructure de l'IA. Ben Horowitz, cofondateur d'a16z, Martin Casado, partenaire général, et Raghu Raghuram, ancien PDG de VMware et conseiller technologique, ont expliqué la logique stratégique de ce fonds lors d'une conversation vidéo publique. En toile de fond, se dessine un tableau de l'écart qui ne cesse de se creuser entre la demande de puissance de calcul pour l'IA et les capacités d'approvisionnement.
Le jugement des trois personnalités clés est très similaire : la pénurie d'infrastructure IA n'est pas un problème isolé, elle s'étend des puces, de la mémoire, de l'interconnexion réseau, des centres de données, jusqu'à l'électricité, le refroidissement, les transformateurs, et même les mines de cuivre — "Cette ampleur d'impact s'étend jusqu'aux mines de cuivre, c'est une affaire de cette envergure.", a déclaré Raghu.
Simultanément, Ben Horowitz a donné un jugement simple mais puissant :
"N'importe quel problème que vous avez peut être résolu avec suffisamment d'infrastructure — essentiellement des GPU et de l'argent. Tant que le problème n'est pas résolu, la demande ne s'arrêtera pas."
Demande "illimitée", offre "tendance critique partout"
A16z estime que cette ruée vers l'infrastructure IA est fondamentalement différente de la bulle infrastructurelle de l'ère internet précédente.
"Vous vous souvenez des fibres noires ? À cette époque, ce qui était massivement enterré était spéculatif, c'était noir. Aujourd'hui, pratiquement chaque GPU est déjà pré-vendu avant même d'être produit.", a déclaré Martin Casado.
Les données envoient également un signal clair :
Les dépenses d'investissement (CAPEX) des hyperscalers du cloud devraient être d'environ 7000 milliards de dollars cette année, et collectivement dépasser 10000 milliards de dollars l'année prochaine.
L'approvisionnement des composants clés est déjà entièrement réservé jusqu'en 2028. Martin a révélé qu'ils avaient même vu des situations où "des milliers de GPU étaient mis aux enchères sur plusieurs jours", le prix au marché noir atteignant jusqu'à quatre fois le prix d'origine.
Un fabricant leader de mémoire a déclaré publiquement lors de la conférence phare Hot Chips : "Les commandes de demande qu'ils ont déjà aujourd'hui nécessiteraient trois ans de capacité de production pour être toutes livrées" — et cela ne concerne que la demande existante actuelle, sans inclure la demande future.
Le prix des GPU a également rarement rebondi. "Le prix des GPU a toujours été à la baisse, il est descendu à ce niveau, puis est remonté." Raghu a déclaré que cela n'était pratiquement jamais arrivé dans l'histoire.
Du côté électrique, la contradiction est tout aussi aiguë. Avant 2028, les nouveaux centres de données devraient nécessiter environ 44 gigawatts (GW) d'électricité supplémentaire, tandis que l'offre supplémentaire attendue du réseau électrique n'est que d'environ 25 GW, laissant un énorme déficit. Ben Horowitz a ajouté : "Il nous manque des GPU, de l'électricité, du refroidissement, de la mémoire — peu importe ce que vous dites, il nous en manque."
"Pas un problème d'ingénierie, mais un goulot d'étranglement en ressources"
Pourquoi la demande continue-t-elle de gonfler sans plafond ? Martin Casado donne un jugement clé :
"Autrefois, construire quelque chose était un problème d'ingénierie — vous embauchiez des ingénieurs, mais cela ne s'adapte pas linéairement, il y a la loi du 'Mythical Man-Month'. Maintenant, c'est vraiment un problème de limitation des ressources. Nous injectons d'énormes sommes d'argent dans les systèmes, et les systèmes produisent des résultats. Le goulot d'étranglement actuel est la capacité de ces systèmes à réellement correspondre aux ressources que nous y investissons."
Des chatbots aux modèles de raisonnement, puis aux agents et multi-agents, chaque génération d'applications IA consomme des tokens de manière exponentielle. La description de Raghu est encore plus directe :
"Si une conversation nécessite 100 tokens, un agent peut en nécessiter des milliers. La demande gonfle simultanément sur deux dimensions : le nombre de tokens consommés par tâche individuelle augmente, et en même temps, le nombre de personnes utilisant l'IA s'élargit — des développeurs, aux travailleurs du savoir, puis aux utilisateurs ordinaires."
Ben Horowitz a donné sa prédiction : "La demande en tokens pourrait croître de près de 1000 % par an. Cette vitesse est celle que l'offre d'infrastructure ne peut tout simplement pas suivre."
"La seule façon pour l'IA de s'améliorer est d'utiliser plus d'IA. Le raisonnement est le bloc de construction fondamental qu'elle utilise de manière répétée, c'est pourquoi le nombre de tokens double sans cesse.", a déclaré Raghu.
Le système de calcul entier a besoin d'être "reconstruit à zéro"
A16z estime que le défi central auquel est confrontée l'infrastructure IA existante n'est pas seulement une "quantité insuffisante", mais que "toute l'architecture n'a pas été conçue pour l'IA".
Raghu a systématiquement expliqué cette logique de reconstruction :
"Vous devez examiner catégorie par catégorie : De quoi le calcul a-t-il besoin ? De quoi la mémoire a-t-elle besoin ? Comment sont-elles interconnectées ? Quelle puissance chacune consomme-t-elle ? Comment les refroidir ? Comment assembler ces éléments ? C'est ce que l'industrie entière est en train de faire — décomposer le problème en composants les plus fondamentaux, puis reconstruire à partir des principes fondamentaux."
Martin Casado a utilisé une logique commerciale pour justifier l'urgence de la reconstruction :
"Former un modèle de pointe coûte aujourd'hui environ 3 à 5 milliards de dollars. Du côté de l'inférence, il faut au moins 2 fois ce montant pour récupérer les coûts, soit environ 10 milliards de dollars. Si vous pouvez économiser 20 % d'efficacité sur l'inférence, cela représente 2 milliards de dollars. Et 2 milliards de dollars peuvent totalement financer le développement d'un ASIC.
Cela signifie qu'il est économiquement justifié de créer une puce dédiée à un modèle unique. Cela ne s'est jamais produit dans l'histoire de l'industrie — nous n'avons jamais dépensé 5 milliards de dollars pour créer un seul produit numérique."
Au niveau physique, la pression pour reconstruire est encore plus concrète :
La consommation électrique d'une baie passe de 5-10 kW dans le passé à 100-150 kW ;
La densité de calcul augmente d'environ 70 fois ;
Le refroidissement passe forcément de l'air au liquide ;
La tension des baies monte à 800 volts, ce qui relève déjà de la haute tension — seulement environ 2% des électriciens aux États-Unis sont certifiés pour le courant continu ;
Les baies à très haute densité imposent de nouvelles exigences pour la capacité de charge des planchers des centres de données ;
Les prix des matériaux de construction comme le béton augmentent également rapidement.
Ben Horowitz a déclaré franchement :
"Nous avons dépassé cette époque — la plupart des centres de données existants, une fois entrés dans l'ère de la puissance de calcul de nouvelle génération, seront totalement obsolètes."
Les entrepreneurs de premier plan reviennent massivement vers le matériel
Cette opportunité structurelle produit déjà un signal clair dans l'écosystème entrepreneurial.
Martin Casado a révélé qu'a16z avait une statistique informelle : Auparavant, parmi les projets venant des meilleurs entrepreneurs, ceux impliquant du matériel ne représentaient qu'environ 3% à 5% ; maintenant, cette proportion dépasse 20%, voire 30%.
"La communauté des entrepreneurs est généralement plus intelligente que la communauté des VC, ils ont identifié que c'est un domaine d'innovation très actif et ont commencé à agir."
Le profil de ces "entrepreneurs matériel" diffère également de celui des entrepreneurs logiciels traditionnels. Raghu a décrit que les fondateurs de ce type d'entreprise doivent être des "fondateurs de type système" — "Vous ne pouvez pas être seulement un chercheur ou un excellent informaticien. Vous devez être capable d'architecturer et de concevoir une puce ou un système, et aussi réfléchir à comment fabriquer cette chose, comment construire la chaîne d'approvisionnement — ce sont des problèmes que les entrepreneurs logiciels n'ont généralement pas besoin de considérer. Jensen Huang (Nvidia) est l'incarnation ultime de ce mode de pensée, dès le début, il a pensé à l'ensemble de l'écosystème."
Simultanément, les laboratoires d'IA de pointe, en raison de la demande trop urgente, ont déjà commencé à signer des accords directement avec des start-ups matérielles précoces, "même avant que le produit matériel ne soit sorti". Martin pense que c'est un changement de signal important, réduisant considérablement le risque commercial précoce pour les start-ups matérielles.
L'environnement des financements change également : les premiers tours de financement des start-ups atteignent des centaines de millions de dollars, ce qui était extrêmement rare dans les investissements matériels auparavant.
De "l'intelligence machine" au "Machine Age"
En parlant du nom de ce nouveau fonds, Martin Casado a admis que le terme "Artificial Intelligence" (Intelligence Artificielle) avait en fait été mal nommé dès le départ — cela aurait dû s'appeler "Machine Intelligence" (Intelligence Machine).
"C'est un terme vieux de 70 ans en informatique, chargé de trop de bagages de science-fiction. Et ce n'est pas vraiment simuler la pensée humaine — c'est exploiter tout ce que les humains ont déjà appris, plutôt que de reconstruire le langage à partir de zéro.", a-t-il déclaré.
L'autre signification profonde du nom "Machine Age" est de rendre hommage au matériel. "Il y a une ironie profonde : ceux qui ont dit que 'le logiciel dévore le monde' arrivent finalement à un point où la vraie limite vient des machines physiques sous le logiciel. Ce nom reconnaît que dans cette vague, l'importance du matériel est sans précédent."
Martin a donné une échelle temporelle : "Nous commençons tout juste — le langage et le code, plus l'utilisation de l'ordinateur qui démarre à peine. Mais dans les 30, 40 prochaines années, la science, les matériaux, la biologie, la créativité... seront tous des domaines où l'on appliquera la puissance de calcul aux problèmes. Nous sommes aux tous premiers stades d'un très long voyage. Soyez prêts : cette demande de puissance de calcul durera des décennies."
Transcription complète de l'interview d'a16z (traduite avec l'aide de l'IA) :
Introduction
Ben Horowitz (cofondateur a16z) :
Nous sommes à l'ère d'une toute nouvelle technologie, la plus importante de l'histoire. Et pour la soutenir, vous avez besoin d'une toute nouvelle infrastructure.
Raghu Raghuram (ancien PDG de VMware / cadre et conseiller technologique) :
Généralement, quand nous parlons d'infrastructure, ce sont juste des serveurs, du stockage, du réseau. Mais cette fois, cela s'étend jusqu'aux mines — les mines de cuivre. Cela vous donne une idée de l'ampleur de l'impact.
Martin Casado (partenaire général a16z) :
Avant, pour faire quelque chose, le cœur du problème était l'ingénierie. Mais maintenant, on a vraiment l'impression que ce qui coince, ce sont les ressources. Que ce soit la puissance de calcul ou autre, nous investissons des sommes énormes dans ces systèmes, et les systèmes produisent des résultats. Mais le problème, c'est qu'actuellement, la capacité des systèmes à absorber les ressources ne suit tout simplement pas la vitesse à laquelle nous y investissons.
Raghu Raghuram :
Un fabricant leader de mémoire a dit que les commandes de demande qu'ils ont actuellement nécessiteraient trois ans de capacité de production pour être satisfaites.
Modérateur :
Ben, Martin, Raghu, bienvenue. Merci. OK, merci. Je veux d'abord citer une phrase de Marc (Andreessen) pour présenter ce nouveau fonds :
"C'est la plus grande révolution technologique que j'aie jamais vue de ma vie. C'est clairement plus important qu'Internet. On peut comparer cela au microprocesseur, à la machine à vapeur, à l'électricité, et peut-être même à la roue."
Voici donc le Machine Age Fund. Présentez-le. Ben, commence.
Ben :
Pour faire simple, nous avons maintenant une toute nouvelle technologie, et la plus importante de toute l'histoire. Chaque fois qu'une nouvelle technologie disruptive émerge, tout ce dont nous dépendons — l'infrastructure — doit être entièrement remis à jour. Et cette fois, l'impact est plus profond que jamais.
Nous avons donc besoin non seulement de nouvelles puces, de nouveaux logiciels système, mais aussi d'une nouvelle façon de fournir de l'électricité, de remplacer le câblage en cuivre... On peut dire que presque tout doit changer. C'est une époque très excitante. Nous avons besoin d'une toute nouvelle approche d'investissement pour les diverses exigences matérielles de cette nouvelle ère.
Raghu :
Je suis totalement d'accord. Généralement, quand nous parlons d'infrastructure informatique, nous parlons de serveurs, de stockage et de réseau. Mais cette fois, en remontant la chaîne, jusqu'aux mines, au cuivre — cela montre l'ampleur de l'impact. C'est le premier point.
Deuxièmement, ces trois dernières années, nous avons vu les capacités des modèles s'améliorer régulièrement et constamment, le modèle lui-même n'est plus le goulot d'étranglement. En fait, grâce à l'IA, ces modèles deviennent plus puissants de plus en plus vite. Le goulot d'étranglement actuel est dans ce que j'appelle la partie 'sous le modèle' — l'infrastructure sous-jacente. C'est donc là que nous devons nous concentrer.
Martin :
J'ajoute rapidement : nous suivons toujours les fondateurs.
Ces dernières années, nous avons observé une tendance nette — de plus en plus d'équipes de haut niveau commencent à s'attaquer à des problèmes complexes, plus difficiles. Je n'ai pas de chiffre exact, mais j'ai fait une estimation ce week-end : auparavant, parmi les projets des meilleurs fondateurs, la direction matérielle représentait environ 5%, maintenant elle dépasse 20% à 30%.
La communauté des fondateurs sent souvent les tendances avant les VC, ils ont déjà identifié ce domaine comme une zone d'innovation hautement active, et agissent déjà.
Ben :
Je pense que 5% est peut-être surestimé.
Martin :
Oui, c'était vraiment bas, environ 3%.
Modérateur :
Pouvez-vous expliquer quelles conditions macro poussent à ce changement ? Qu'est-ce qui fait que tant de fondateurs affluent vers cette direction ? Quelles opportunités voient-ils ?
Martin :
Le point le plus évident est : la demande pour l'IA est fondamentalement illimitée. À cause de cela, toute la chaîne d'approvisionnement est sous une énorme pression — y compris les matières premières utilisées pour fabriquer la mémoire, etc.
L'IA a aussi une particularité : parce que la demande est illimitée, la croissance est illimitée, vous n'avez généralement pas à vous soucier de la question "est-ce que ça va se vendre ?". Ce qui vous préoccupe vraiment, c'est la rentabilité de l'entreprise, le problème d'efficacité.
Et beaucoup de problèmes d'efficacité sont, en fin de compte, des limitations physiques du matériel. Les systèmes existants ne sont tout simplement pas conçus pour l'IA, ni pour ce type de charge de travail. Donc le modèle économique de la vague de l'IA exerce une pression énorme sur les systèmes existants.
Je pense que le monde entier a réalisé : nous devons changer au niveau des composants fondamentaux pour améliorer l'efficacité, soutenir la croissance des activités, et réaliser pleinement la valeur commerciale.
Modérateur :
Oui, comment savons-nous que la demande dépasse vraiment l'offre maintenant, et que ce n'est pas un autre cycle de battage médiatique ?
Raghu :
Il y a de nombreux signes qui montrent cela.
Tout d'abord, ceux qui sont les mieux placés pour juger de la demande passent d'énormes commandes d'achat. Regardez les hyperscalers du cloud, leurs dépenses d'investissement explosent. On dit que l'année prochaine, les dépenses combinées de ces acteurs atteindront 1000 milliards de dollars. Cette année, c'est environ 7000 milliards de dollars. Pensez à la position des hyperscalers dans l'industrie — ils voient la demande de tous côtés : les laboratoires d'IA de pointe veulent de la puissance de calcul, les entreprises natives IA en veulent, les clients entreprises en veulent, les marchés américains, les marchés étrangers. Donc, si quelqu'un a un bon jugement, c'est eux. Et leurs investissements augmentent à un rythme sans précédent, c'est un signal clair.
Ensuite, d'après les entreprises que nous côtoyons quotidiennement, toutes les entreprises de la couche applicative avancent à toute vitesse, leur taux de croissance est incroyablement rapide. La croissance des laboratoires d'IA de pointe est également documentée. Donc je pense que du côté de la demande, le signal n'a jamais été aussi clair — ce n'est absolument pas du battage. Et le plus important, tout cela n'est que...
Ben :
Et les prix des puces augmentent encore, nous n'avons jamais vu les prix augmenter ainsi...
Martin :
Les prix des GPU baissent. Les prix baissent toujours.
Raghu :
Oui oui oui, toujours baissé. Regardez la courbe des prix, elle va comme ça (vers le bas), puis revient ici. Oui, et il suffirait que 5%, 10% de la demande du marché s'arrête pour que tout le marché s'arrête.
Martin :
Du côté de l'offre, l'offre existante est pratiquement toute réservée jusqu'en 2028. C'est grave au point où — nous avons même vu des milliers de GPU mis aux enchères pendant plusieurs jours. Bien sûr, l'autre côté, c'est la demande, comme l'a dit Raghu, nous voyons les entreprises à la croissance la plus rapide de toute l'histoire de l'industrie.
Raghu :
Un autre point, la valeur de l'unité de travail que l'IA peut accomplir augmente. Mais en sous-main, la quantité de tokens consommés augmente d'un ordre de grandeur. Par exemple, une conversation normale peut consommer 100 tokens, mais un agent IA peut en consommer des milliers. Donc la demande se développe simultanément sur deux dimensions : premièrement, pour accomplir la même chose, de plus en plus de tokens sont consommés ; deuxièmement, à l'avenir, la population qui en bénéficiera sera de plus en plus large — pas seulement les développeurs, mais tous les travailleurs du savoir, et même plus. C'est la tendance que nous voyons.
Modérateur :
Vous dites que les composants clés de la chaîne d'approvisionnement sont déjà vendus jusqu'en 2027, voire 2028. Qu'est-ce que cela signifie pour l'ensemble de l'industrie, que tout soit épuisé aussi loin à l'avance ?
Martin :
Je ne sais pas si cela s'est déjà produit auparavant. Vous vous souvenez ? Je veux dire, pensez à l'ère Internet, nous avons massivement déployé des infrastructures, mais une grande partie de ce qui était enterré était spéculatif, personne ne l'utilisait — vous souvenez-vous des "fibres noires" ? Maintenant, pratiquement chaque GPU en production est déjà pré-vendu.
Ben :
Oui, à l'époque, c'était complètement différent. Je veux dire, autour de 1998, 1999, il y avait effectivement un problème de manque de bande passante, mais la vraie demande en bande passante n'était pas si grande, car il n'y avait pas beaucoup d'utilisateurs sur Internet. C'était donc un problème à double sens — les entreprises s'y précipitaient, théoriquement nécessitant plus de bande passante, mais de l'autre côté, les consommateurs de cette bande passante étaient insuffisants. Et pour vraiment consommer beaucoup de bande passante, il fallait faire des choses comme la vidéo, qui nécessitent beaucoup de bande passante, mais à l'époque, la vidéo ne marchait pas, pour diverses raisons, sans rapport avec la quantité de bande passante dans les centres de données.
Donc, à l'époque, cela y ressemblait un peu, mais c'est fondamentalement différent. Maintenant, c'est une pénurie totale — des gens vendent des GPU à quatre fois le prix, c'est à ce niveau. Et en plus, il nous manque de l'électricité, du refroidissement. Plus problématique, la construction elle-même est extrêmement difficile en raison d'une énorme résistance politique. Donc, dans ma carrière, je n'ai jamais vu une situation comme celle-ci, c'est vraiment sans précédent.
Martin :
Je vais partager une petite anecdote. J'ai récemment discuté avec le CFO d'une grande entreprise cotée qui a toujours été très réticente à passer au cloud, elle a donc de nombreux serveurs en propre. Ils ont fait un inventaire, et ont découvert — la valeur de la mémoire dans les serveurs avait tellement augmenté que juste en vendant cette mémoire, ils pouvaient couvrir le coût total de la migration vers le cloud. Donc je pense que nous sommes vraiment dans une situation très inhabituelle.
Ben :
Exact. Maintenant, tout nous manque — électricité, refroidissement, mémoire, GPU, quoi que vous disiez, ça nous manque.
Raghu :
Oui, la conférence phare de l'industrie "Hot Chips" se tient en ce moment à Stanford. Le fabricant de mémoire numéro 1 a déclaré que simplement pour répondre à la demande qu'il a déjà aujourd'hui, il faudrait trois ans de capacité de production — et cela ne tient même pas compte de la demande future.
Modérateur :
Donc, tout manque en même temps maintenant. Est-ce parce que les gens ont sous-estimé à quel point les modèles seraient puissants et utiles, donc n'ont pas anticipé une telle demande ?
Martin :
Je ne pense même pas que ce soit ça. Cette chose a émergé soudainement, non ? Cela ne fait que quatre ans. Même avec une vision parfaite, une fois que cela a démarré, je ne pense pas...
Ben : Que nous aurions pu construire la capacité à temps.
Martin : Impossible de construire la capacité à temps, totalement impossible.
Nous parlons de cycles de puces, généralement trois à quatre ans. Nous parlons de construction de centres de données à partir de zéro, généralement quatre à cinq ans.
Ben :
Et se connecter au réseau électrique, le construire, et avoir de l'électricité. Donc soit vous construisez votre propre centrale, généralement vous devez faire les deux — construire votre propre centrale et avoir une source d'électricité fiable, ce n'est pas facile.
Raghu :
C'est cela. Vous avez une industrie qui, si elle peut croître de 20%, 30%, c'est déjà un très bon taux de croissance. Mais maintenant, elle doit se connecter à l'industrie du logiciel IA, dont le taux de croissance commence à trois chiffres. Vous pouvez voir à quel point l'écart est important, et cet écart continue de se creuser.
Modérateur :
Alors, pourquoi ce type de fonds n'existait-il pas auparavant ?
Par exemple, il y a cinq ou sept ans, pourquoi investir dans ce secteur n'était-il pas aussi attrayant qu'aujourd'hui ? Ben, quel est ton avis ?
Ben :
Je pense que nous entrons au bon moment — enfin, je l'espère. Mais honnêtement, commencer quelques années plus tôt aurait probablement été tout à fait possible aussi.
Martin :
Je veux dire, vous pouvez trouver des entreprises indépendantes émerger à chaque ère technologique. Évidemment, lors du passage des mainframes à l'architecture client/serveur, un groupe d'entreprises est apparu ; lors du passage à Internet, un autre groupe, c'est pourquoi nous avons Cisco et Juniper. Même à l'ère des centres de données hyperscale — soit dit en passant, cette ère a été largement poussée par l'intégration verticale de quelques grands acteurs du cloud — vous avez vu l'ascension d'Arista.
Donc, la ligne d'investissement dans les puces matérielles a toujours existé, mais auparavant, les opportunités étaient relativement limitées parce que les changements eux-mêmes étaient limités — peut-être une entreprise de puces, une entreprise de commutateurs. Mais maintenant, tout change. Donc je suis d'accord avec Ben, nous aurions peut-être pu commencer un peu plus tôt, mais l'ampleur du changement aujourd'hui est si grande que faire cela est tout à fait naturel.
Ben :
Un autre point, c'est que la demande en "intelligence" croît pratiquement à l'infini verticalement, sans plafond visible. Regardez, les entreprises qui utilisent déjà l'IA voient leur utilisation exploser ; et la plupart des entreprises n'utilisent pas encore profondément l'IA ; le grand public n'en est qu'au tout début.
Donc, la demande en tokens augmentera probablement de près de 1000% par an, et l'offre ne peut tout simplement pas suivre cette vitesse. La quantité de travail que nous devons faire sur toute l'infrastructure est énorme, pour que l'offre suive ce taux de croissance. Donc je pense qu'il y a encore beaucoup d'opportunités d'investissement sur cette voie.
Un autre point, c'est que l'architecture des systèmes matériels existants a été conçue pour une ère de calcul complètement différente. Ce n'est donc pas seulement "nous avons besoin de plus de puissance de calcul", nous devons construire de nouveaux types d'infrastructures à partir de zéro, et il y a d'énormes opportunités là-dedans.
Raghu :
Oui, ces technologies ont atteint leurs limites physiques pour lesquelles elles ont été conçues, comme les problèmes de câblage en cuivre dont Ben a parlé. Passez en revue chaque catégorie technologique, vous trouverez — OK, cette technologie est à bout. Donc maintenant, des percées technologiques sont nécessaires pour passer au niveau suivant.
Modérateur :
Je veux parler un peu plus du côté demande. Nous passons des chatbots, aux modèles de raisonnement, aux agents, puis aux multi-agents, à chaque pas en avant, la quantité de tokens consommés pour accomplir une tâche explose de façon exponentielle.
Ben :
Rien n'aime plus utiliser l'IA que l'IA elle-même.
Modérateur :
Pourquoi cette tendance se poursuit-elle sans plateau ? Pensez-vous que cela continuera ainsi indéfiniment ?
Martin :
Il y a plusieurs angles pour répondre à cette question. Tout d'abord, pour le moment, notre façon d'atteindre l'échelle est essentiellement grâce à beaucoup de raisonnement, c'est-à-dire beaucoup de tokens. Pensez à ce qu'est l'apprentissage par renforcement (RL), c'est beaucoup de raisonnement ; la chaîne de pensée (chain of thought), c'est aussi beaucoup de raisonnement ; les agents à long terme, évidemment, encore plus de raisonnement. Donc ce n'est qu'une des voies actuelles pour atteindre l'échelle.
Si vous voulez comprendre cela d'un point de vue plus macro, avant, pour faire quelque chose, c'était un problème d'ingénierie, vous embauchiez une équipe d'ingénieurs, mais cela n'évolue pas linéairement. L'ingénierie a ses propres lois naturelles, c'est ce que dit "The Mythical Man-Month".
Mais maintenant, on a vraiment l'impression que c'est un problème de limitation des ressources. Qu'il s'agisse de tokens ou d'autre chose, vous investissez de l'argent dans le système, le système produit des résultats. Le goulot d'étranglement actuel est que ces systèmes ne peuvent pas encore digérer pleinement les ressources que nous y investissons.
Donc je pense que les tokens ne sont qu'une étape sur la courbe d'expansion où nous nous trouvons actuellement, mais nous n'avons plus le "régulateur naturel" de l'ingénierie d'antan. Donc cette tendance devrait se poursuivre, nous devons construire suffisamment d'offre pour la soutenir.
Ben :
Pour faire simple : vous avez n'importe quel problème, tant que vous avez suffisamment d'infrastructure — essentiellement des GPU et de l'argent — il peut être résolu. Donc tant que le problème n'est pas résolu, la demande ne disparaîtra pas. C'est le défi.
Raghu :
La façon pour l'IA de devenir plus puissante, c'est d'utiliser plus d'IA. Le raisonnement est le bloc de construction de base qu'elle utilise de manière répétée. C'est pourquoi le nombre de tokens double ainsi.
Martin :
Oui, et il y a cet effet "autocatalytique" — utiliser l'IA pour créer plus d'IA, par exemple utiliser l'IA pour générer du code de noyau GPU, utilise lui-même plus d'IA dans le processus.
Donc nous avons une façon de comprendre : dans le passé, l'argent arrivait, vous faisiez face à un problème d'ingénierie, généralement deux ans, échouant souvent, il y avait un régulateur naturel, puis finalement vous obteniez un produit. Maintenant, l'argent entre, le matériel produit directement de l'intelligence, rien ne bloque au milieu. Notre seule limitation actuelle est de savoir si nous pouvons produire suffisamment d'offre. C'est une dynamique totalement différente.
Raghu :
Peut-être que plus de GPU n'est pas non plus si solide...
Modérateur :
Oui, certainement.
Raghu :
Donc c'est comme un cercle.
Martin :
Tant que vous avez de l'argent, des GPU, des données, dans un avenir prévisible, vous pouvez continuer à passer à l'échelle de ces choses.
Modérateur :
C'est vraiment intéressant. Ces dix dernières années, j'ai souvent entendu une voix répandue dans toute l'industrie — trop d'argent va aux start-ups, nous surinvestissons dans ces entreprises, il y a trop d'argent dans le capital-risque.
Ben, pouvez-vous en dire plus sur ce que cela signifie ? Parce qu'auparavant, il y avait généralement un scepticisme : mettre plus d'argent dans une industrie ne conduit pas nécessairement à une plus grande production. Mais maintenant, nous disons le contraire — d'une certaine manière, la taille de ce marché dépend de combien nous investissons collectivement.
Ben :
Oui, voyez, dans le monde des start-ups, il y a une chose que nous savons tous : si j'ai deux ans d'avance sur vous, et que vous essayez de me rattraper en embauchant 1000 ingénieurs, vous allez juste couler votre entreprise. Cela n'a jamais fonctionné. C'est le mythe de l'homme-mois — neuf femmes ne peuvent pas faire un bébé en un mois, impossible. C'est une loi.
Mais maintenant, cette logique s'est inversée. Ce n'est pas embaucher 100 000 ingénieurs, c'est prendre 3 milliards de dollars, allumer un cluster hyperscale, et — soudain, regardez, Grok peut émerger de nulle part, ou n'importe qui, apparaît soudain, existe réellement.
Ces avantages, vous pouvez les combler avec de l'argent ; presque n'importe quel problème, vous pouvez le résoudre avec de l'argent, et cela fonctionne vraiment. C'est totalement différent de tout ce que nous avons connu auparavant. Soit dit en passant, psychologiquement, nous nous adaptons tous encore à cela.
Modérateur :
ChatGPT a atteint un milliard d'utilisateurs actifs par semaine. Environ 30 millions de développeurs l'utilisent, ce qui représente une part importante de la demande de puissance de calcul. Compte tenu de ce que les gens en font réellement, comment devrions-nous considérer la demande actuelle et future de puissance de calcul ?
Raghu :
C'est une trajectoire, n'est-ce pas ? Au début, ChatGPT était un outil de conversation quotidien, puis il est devenu un assistant de programmation pour les professionnels. Ensuite, grâce aux capacités de programmation, de nombreux outils puissants ont été développés pour les travailleurs du savoir. Donc les travailleurs du savoir sont le prochain grand champ de bataille. Maintenant, il y a plus d'un milliard de travailleurs du savoir dans le monde qui attendent de l'utiliser. Il reste encore beaucoup de chemin à parcourir de ce côté. Et pensez à ce qu'ils font — divers flux de travail, automatisation, etc. — puis il y a aussi les opérations backend, toutes exécutées par des agents. Donc ces choses se débloquent étape par étape, je peux dire que chaque étape débloquée, la demande augmentera d'un ordre de grandeur. Nous commençons tout juste.
Ben :
Oui, et maintenant avec Grok Bot, les changements qui se produisent dans la programmation se propagent via Grok Bot à tous les scénarios d'utilisation de l'ordinateur. Nous sommes donc au milieu d'une autre vague de demande, et il y en aura certainement d'autres. La demande semble presque sans limite actuellement. Nous n'avons même pas parlé de l'IA incarnée ou des robots, ce sera une autre énorme source de demande.
Raghu :
Martin est l'expert dans ce domaine, mais ma compréhension est que Grok Bot utilise la capacité "utilisation de l'ordinateur", comme une personne réelle assise devant un ordinateur tapant constamment sur le clavier.
Martin :
Je l'ai vraiment utilisé ce week-end — pour mettre à jour mes informations de carte de crédit dans un tas de services que je n'avais pas pris la peine de faire, et pour annuler un tas d'abonnements. Je veux dire, cela n'a rien à voir avec la programmation, c'est littéralement l'utilisation de l'ordinateur.
Raghu :
Vous avez soudainement créé un groupe de travailleurs du savoir, mais ils sont tous assis à l'intérieur de l'ordinateur à travailler.
Martin :
Je pense vraiment que Marc Andreessen a raison, l'analogie la plus appropriée est la machine à vapeur ou l'électricité, voici pourquoi : nous introduisons cette nouvelle chose, qui peut être convertie en main-d'œuvre, il y a maintenant des applications très évidentes, mais il pourrait y avoir encore trente ou quarante ans où nous appliquerons la puissance de calcul à divers problèmes — tout problème avec un signal de récompense clair. Et nous ne faisons que commencer, nous n'avons pour l'instant réglé que le langage et le code, juste ces deux choses, l'utilisation de l'ordinateur commence tout juste.
Mais qu'avons-nous encore devant nous ? La science, les matériaux, la biologie... Bien sûr, la création créative est aussi un énorme cas d'utilisation. Donc, nous sommes à un stade très précoce d'un long voyage, et nous avons supprimé un goulot d'étranglement clé — l'ingénierie logicielle traditionnelle. Bien sûr, les goulots d'étranglement se déplaceront, la complexité augmentera ailleurs.
Mais je pense que nous sommes à l'aube d'une période très précoce, très longue d'application de la puissance de calcul aux problèmes. Donc soyez prêts : cette demande de puissance de calcul durera des décennies.
Modérateur :
Puisque nous en parlons, Marty, parlons de Grok Bot. Nous en avons parlé en off, vous avez dit que cela vous impressionnait — bien sûr, nous y participons sous divers angles — mais qu'est-ce qui vous semble le plus intéressant à ce sujet ?
Martin :
Je pense que notre industrie a traversé plusieurs itérations de compréhension sur "comment l'IA entre dans notre vie", n'est-ce pas ?
Au début, les gens pensaient : OK, vous ajoutez un peu d'IA à un produit, et c'est tout, comme une barre de recherche. Puis vous commencez à discuter avec, et elle vous répond, parce que c'était la façon standard de faire à l'époque.
Puis OpenAI a sorti quelque chose, c'était plus tôt cette année. En voyant cela, je me suis dit : OK, peut-être que juste "un meilleur moteur de recherche que Google" n'est pas la forme complète de l'IA. Pourquoi ne pas en faire une entité indépendante, mais une extension de vous — elle partage vos clés, connaît vos mots de passe, fait directement ce que vous alliez faire. Donc c'est plus comme une extension de vous, mais plus comme une personne.
Puis je pense que ce que Grok Bot a vraiment bien fait est : non, changeons d'approche — et si c'était en fait un employé ? Maintenant, vous avez cette entité, elle n'a pas besoin d'obtenir spécialement vos clés ou permissions, elle a son propre ordinateur, son propre navigateur. Et parce que ce sont les modèles les plus intelligents au monde, elle peut faire tout ce qu'un employé peut faire.
C'est intéressant, parce que maintenant, si je veux accomplir quelque chose, ma première réaction est : Grok peut-il le faire pour moi ? Et souvent la réponse est oui, même pour des choses auxquelles vous n'auriez pas pensé. Les trucs évidents, bien sûr, comme gérer mon calendrier, organiser des réunions, mais aussi d'autres moins évidents. Par exemple, je lui fais lire mes emails, les classer, je ne lui dis pas exactement comment faire, mais il sait venir me confirmer avant de réellement exécuter le classement. Donc ces choses sont déjà assez intelligentes, vous pouvez leur donner des tâches relativement de haut niveau, elles trouvent un moyen de faire les choses de manière décente.
Modérateur :
Ben, je sais que tu as beaucoup réfléchi à ce problème, y compris comment cela fonctionne dans une organisation. Tu es bien sûr très concentré sur la culture aussi. Quel est ton point de vue là-dessus ?
Ben :
Eh bien, je veux dire, si vous regardez juste notre propre situation, c'est comme si nous avions un nouveau type d'employé. Et nous en aurons beaucoup. Nous devons nous adapter, tout comme à l'époque, il nous a fallu des années pour comprendre comment travailler avec les employés humains ordinaires. Maintenant, nous avons cet autre type d'employé. Travailler avec eux a une courbe d'apprentissage.
Ils peuvent brûler des tonnes de tokens, dépenser beaucoup d'argent, et ne rien accomplir d'utile. Ils peuvent oublier des choses, inventer du contenu, avoir de bonnes performances, de mauvaises performances, ou poser des problèmes de sécurité. Tous ces aspects existent. Mais en même temps, ils peuvent être extrêmement efficaces.
Donc je pense qu'apprendre à les intégrer, à les faire collaborer avec de vrais collègues humains, tout cela est en cours d'exploration.
Je ne veux pas rester là à dire que j'ai trouvé la réponse — que nous avons un cycle parfait, que toute l'entreprise est complètement automatisée, que je vais lentement licencier tous les humains parce que je peux le faire — pas du tout le cas. Nous réfléchissons plutôt : OK, comment rendre tous les employés humains super puissants, sans couler l'entreprise, parce que si les robots deviennent incontrôlables, ce sera un gros problème.
Raghu :
Oui, c'est vraiment intéressant. Nous avons essayé plusieurs façons différentes d'introduire au mieux les agents dans le système. En fin de compte, l'intuition de Martin était la plus efficace : traitez-les simplement comme des personnes, puis avancez. C'est ce que nous faisons maintenant, et cela s'avère être la manière la plus éprouvée de pousser cela au sein d'une organisation.
Modérateur :
Je veux revenir au côté de l'offre, approfondir où sont les goulots d'étranglement. Nous avons parlé plus tôt que les centres de données, l'architecture des puces, les logiciels système, l'infrastructure elle-même, n'ont pas été conçus pour l'IA à l'origine. Si nous devions vraiment les redessiner pour l'IA, à quoi cela ressemblerait ? Quel devrait être le modèle mental pour penser à cela ?
Raghu :
OK. Si vous partez de ce jugement — "ce modèle d'infrastructure doit changer" — alors vous pouvez examiner catégorie par catégorie, trouver où se situe la discontinuité de valeur, et ensuite débloquer chaque goulot d'étranglement dans chaque maillon.
Finalement, vous voulez atteindre un état où : regardez ce que fait le moteur d'inférence — il occupe beaucoup de mémoire, tout en calculant, il génère constamment de nouveaux tokens. Ensuite, vous pouvez penser : comment optimiser l'ensemble de ce processus ? À quoi devrait ressembler la mémoire ? À quoi devrait ressembler le calcul ? Comment communiquent-ils ? Quelle puissance chacun nécessite ? Avec ces besoins en puissance, comment les planifier ? Ensuite, comment assembler ces choses ?
C'est précisément ce que font maintenant de nombreux fondateurs dans l'industrie. Ils décomposent le problème en composants les plus fondamentaux, et demandent : quel genre de calcul se passe-t-il ici ? La réponse est la multiplication matricielle. Comment optimiser mon unité de calcul pour ce scénario ? Ensuite, le processus de génération de tokens nécessite de plus en plus de mémoire, comment concevoir hiérarchiquement ce système de mémoire de manière optimale ? Comment la puissance est-elle consommée ? Ensuite, vous devez connecter ces choses — comment se connectent-elles à l'intérieur d'une même puce, entre les puces, entre les centres de données ? Combien de puissance chaque niveau de transmission de données nécessite-t-il ?
Donc vous devez le décomposer de bout en bout, puis reconstruire avec ces éléments de base. C'est la direction que nous voyons, et c'est là que nous voyons les opportunités.
Martin :
Laissez-moi vous donner un modèle mental intéressant pour comprendre comment ce paysage change.
Aujourd'hui, le coût de formation d'un modèle de pointe est d'environ trois à cinq milliards de dollars. Après la formation, l'inférence doit au moins récupérer ce coût, n'est-ce pas ? Pour que cela soit économiquement viable, il faut probablement récupérer environ deux fois, ce qui signifie que l'inférence doit générer environ dix milliards de dollars de revenus.
Si vous pouvez économiser 20% d'efficacité dans ce processus, cela représente deux milliards de dollars. Et deux milliards de dollars peuvent tout à fait financer le développement d'un ASIC (circuit intégré spécifique à une application).
Nous sommes donc arrivés à un point intéressant : créer un ASIC dédié à un modèle unique est économiquement justifié, simplement à cause de la quantité de capital investi dans ce modèle.
Et contrairement au logiciel traditionnel, qui a beaucoup d'états, très dynamique ; ces modèles sont fixes, les poids du modèle sont fixes.
Nous ne savons pas si le monde évoluera vraiment vers "un ASIC dédié par modèle", mais cela vous donne un bon modèle mental pour comprendre comment l'architecture évoluera — de plus en plus spécialisée, sur mesure pour ces énormes investissements en capital.
Je pense que dans l'histoire de cette industrie, nous n'avons jamais directement investi cinq milliards de dollars dans un seul produit numérique. Donc, cela imposera les exigences les plus élevées que nous ayons jamais eues sur le matériel.
Modérateur :
En parlant de cela, la puissance des baies passe d'environ 5 à 10 kW à 100-150 kW. La densité de calcul augmente d'environ 70 fois. Le refroidissement passe de l'air au liquide, c'est déjà une exigence stricte. Alors, quelles opportunités d'investissement y a-t-il derrière cela ?
Ben :
Tout d'abord, lorsque la puissance de votre baie atteint ce niveau, le courant alternatif (CA) ne fonctionne plus. C'est assez fou. Donc vous devez utiliser du courant continu (CC) — soit dit en passant, le courant continu nécessite également un refroidissement séparé, et franchement, c'est très dangereux. C'est un peu ironique, car à l'époque, Edison utilisait les dangers du courant alternatif pour promouvoir le courant continu, en électrocutant spécifiquement des animaux pour le démontrer.
Oui, ce cheval.
Donc, il avait raison, mais il parlait de sa propre technologie — la puissance énorme du courant continu, c'est vrai.
Commençons par l'électricité. Je pense qu'il y aura de grands changements dans ce domaine, surtout si on le considère avec le refroidissement. Nous passons du refroidissement par air au refroidissement liquide, en fait, pour tout centre de données de pointe, le refroidissement liquide est déjà la norme, c'est pratiquement acquis. Mais le problème ne s'arrête pas là.
Vous savez, compte tenu du climat politique actuel, le refroidissement liquide seul ne suffit pas, il doit être du refroidissement liquide respectueux de l'environnement. Le courant continu ne suffit pas non plus, l'électricité utilisée doit être celle qui peut alimenter la société, pas seulement en extraire.
Actuellement, certains centres de données ont de mauvaises pratiques — en fait, une petite partie, environ 10% — gaspillent beaucoup d'eau. Bien sûr, certaines personnes en ligne comparent avec des pistaches, des amandes, disant qu'elles consomment plus d'eau, mais les centres de données peuvent être plus efficaces à cet égard. Certains centres de données sont comme des "parasites électriques", ils ne consomment que de l'électricité, sans rien rendre au réseau. Je pense que cela prendra fin, et doit prendre fin, car nous avons dépassé le point de non-retour.
Cela nécessite des compétences d'ingénierie de très haut niveau, et beaucoup de gens n'ont pas encore investi dans ce domaine. Donc, des opportunités vont arriver ici.
De plus, si la densité des baies est si élevée, il y a de nombreux autres problèmes, par exemple, la conception des sols doit pouvoir supporter ce poids, ce n'est pas qu'une expression, c'est un vrai problème d'ingénierie.
Et vous avez besoin de beaucoup de ressources diverses. De plus, ces équipements sont très bruyants, donc les murs des centres de données doivent être plus épais, sinon cela dérangerait les voisins, ce qui est inacceptable. Je ne pense pas qu'aucun État autoriserait cela.
Donc, l'approche que beaucoup de gens ont actuellement en matière d'architecture et de conception de bâtiments est totalement obsolète. Une fois que nous entrerons dans la génération suivante, seule une petite partie des centres de données existants pourra être utilisée.
Raghu :
En effet, tout le monde parle des prix de la mémoire, mais un domaine où les prix augmentent le plus vite est en fait le béton armé utilisé dans les centres de données.
Une autre chose, lorsque ces centres de données envoient 800 volts aux baies, premièrement, le niveau de danger augmente considérablement ; deuxièmement, nous n'avons tout simplement pas assez d'entrepreneurs électriciens qualifiés pour gérer les 800 volts haute tension à l'intérieur des centres de données, car c'est déjà de la haute tension.
Ben :
Aux États-Unis, seulement 2% des ingénieurs électriciens ou électriciens sont certifiés pour le courant continu. Ce chiffre parle de lui-même. Meta a maintenant un programme de formation dédié, formant gratuitement des gens pour ce travail, c'est bien, un peu comme une nouvelle version des "Civilian Conservation Corps".
C'est intéressant — on dit que l'IA va prendre tous les emplois, et finalement, l'IA va créer un grand nombre de nouveaux électriciens.
Modérateur :
Oui, nous semblons faire quelque chose de majeur.
Raghu :
Oui, les géants qui possèdent de grands centres de données cloud expérimentent maintenant furieusement avec des robots pour accomplir des tâches comme assembler des serveurs, installer des équipements dans les centres de données. À mesure que l'IA évolue, vous verrez cette tendance devenir de plus en plus évidente.
Martin :
Soit dit en passant, le fonds que nous levons se concentre sur l'infrastructure informatique — c'est-à-dire tout ce dont un modèle a besoin pour fonctionner, cela relève de l'informatique. Pensez aux puces, à l'interconnexion réseau, au stockage, en descendant, peut-être jusqu'à l'électricité elle-même.
Modérateur :
Et dans le domaine des robots, en particulier l'architecture Arm, comment comptez-vous vous positionner ? Ou comment comprendre cela par rapport à la fabrication locale américaine ?
Martin :
Bien sûr, en parlant de cela — nous pensons que toute plateforme sur laquelle l'IA va s'exécuter est une direction que nous suivons. Une avancée majeure de l'IA est de permettre aux ordinateurs d'interagir avec le monde physique — ils peuvent voir, entendre, parler. Cela signifie que de nouvelles plateformes émergeront.
Les gens aiment dire "appareils périphériques", mais ce terme n'a pas vraiment de sens concret, cela peut être des appareils mobiles, des CDN, des ordinateurs portables, ou un appareil incarné capable de se déplacer.
Donc, en tant qu'investisseurs en infrastructure, nous ne faisons pas d'industries fortement réglementées ou trop verticales, mais toute plateforme informatique capable d'étendre davantage l'IA vers l'extérieur nous intéresse beaucoup.
Modérateur :
Revenons au sujet des centres de données — d'ici 2028, les nouveaux centres de données auront probablement besoin d'environ 44 gigawatts d'électricité supplémentaire, tandis que le réseau électrique ne devrait en ajouter qu'environ 25 gigawatts.
Ben :
Attendez, nous utilisons toujours ce mot "gigawatt". Comme si, oh, j'ai besoin de 100 gigawatts. Martin, c'est quoi un gigawatt concrètement ?
Martin :
Je veux dire, quelle est sa taille ? Cela occupe plusieurs terrains de football. Vraiment énorme. Équivalent à la consommation de 50 000 personnes.
Ben :
Et quelle est sa consommation d'électricité ?
Martin :
Que voulez-vous dire ? Équivalent à 50 000 foyers. 50 000, 50 000 foyers, 50 000 familles. J'ai grandi à Flagstaff, en Arizona, une petite ville de 40 000 à 50 000 habitants, 60 000 avec les étudiants, et la consommation électrique de toute notre ville était inférieure à un gigawatt. Donc vous pouvez essentiellement alimenter...
Ben :
...votre ville entière, la climatisation, avec ça. Oui.
Martin :
Je veux dire, vraiment.
Ben :
Il le dit si légèrement.
Martin :
Non non non, pour revenir à ça, tout le monde parle de gigawatts, mais en réalité, il y a très peu de centres de données au niveau du gigawatt construits et opérationnels. Nous avons encore beaucoup de chemin à parcourir.
Modérateur :
Pourquoi les compagnies d'électricité et les grandes entreprises technologiques ne peuvent-elles pas construire plus vite ?
Ben :
Oh, il y a tellement de problèmes là-dedans. Tout d'abord, la construction de centres de données dépend encore de la main-d'œuvre, donc il y a les problèmes normaux de construction. Mais plus problématique, vous devez obtenir des permis, et vous devez être connecté à l'électricité. Donc vous devez faire plusieurs choses en même temps : premièrement, lutter pour l'accès à l'électricité, c'est une énorme bataille réglementaire et d'appel d'offres. Des ressources comme le réseau de gaz naturel, la quantité d'accès est très limitée. De plus, vous devez construire votre propre centrale. Et devinez quoi ? Maintenant, il y a une pénurie de transformateurs, de turbines, de tout ce dont vous avez besoin. Donc vous devez tout résoudre. Ce n'est pas un problème logiciel, où embaucher plus d'ingénieurs, travailler le week-end, peut le résoudre — cette méthode ne fonctionnait pas vraiment de toute façon, mais ici, elle ne s'applique pas du tout. Il y a de vrais goulots d'étranglement, les délais de livraison sont difficiles à compresser. Vous voyez, les personnes les plus intelligentes du monde essaient de compresser le temps, mais ce n'est pas facile. Et la demande ne montre aucun signe de ralentissement. Nous ne suivons déjà pas. La demande augmente maintenant d'un facteur 10 chaque année, l'offre ne peut tout simplement pas suivre cette vitesse.
Martin :
Soit dit en passant, la situation est si mauvaise que — maintenant, de nombreuses nouvelles entreprises voulant créer des clusters de GPU vont souvent au Mexique, en Australie ou dans d'autres pays, simplement parce que c'est trop difficile aux États-Unis.
Ben :
Oui, nous cédons en fait beaucoup d'emplois et d'avantages économiques à long terme à d'autres pays, parce qu'ici nous limitons l'implantation des centres de données de diverses manières. Je pense que la bonne approche serait de établir un ensemble de normes : les centres de données doivent rendre à la communauté — un approvisionnement électrique plus stable, pas de bruit, pas de problème d'eau, et créer des emplois. Cela devrait être la norme. Ensuite, tout le monde suit cette norme. Soit dit en passant, certains centres de données le font déjà, ce n'est pas une fantaisie futuriste lointaine. Les tarifs énergétiques baissent chaque année, parce qu'ils produisent leur propre électricité, vendent de l'électricité au réseau pendant la journée, et en empruntent la nuit — parce que la nuit, le réseau consomme moins, et les centrales électriques produisent toujours à pleine capacité. Les centres de données ont une consommation stable toute la journée, tandis que les villes ont une consommation élevée le jour, faible la nuit, créant une relation symbiotique complémentaire entre les deux.
Modérateur :
D'un point de vue macro, nous avons beaucoup parlé de ce nom, pourquoi pensons-nous que le terme "Machine Age" (Ère des Machines) décrit particulièrement bien ce que nous vivons ?
Martin :
OK, laissez-moi expliquer. Tout d'abord, je pense que Ben a parfaitement raison — le terme "intelligence artificielle" est mal utilisé. Nous n'aurions pas dû l'appeler "intelligence artificielle", mais intelligence machine.
Modérateur :
Développez, pourquoi dites-vous cela ?
Martin : Parce que ce n'est pas nécessairement la façon dont les humains pensent, n'est-ce pas ? C'est une archive de la pensée humaine, une collection de pensées humaines existantes. Mais jusqu'à présent, nous ne savons pas comment mettre une IA sans aucune connaissance préalable dans le monde et lui faire reconstruire le langage — nous n'avons pas réussi cela. Ce que nous faisons est : construire un système capable d'apprendre des connaissances humaines existantes et de les utiliser efficacement. Et le terme "IA" lui-même est un terme générique en informatique utilisé depuis 70 ans, couvrant beaucoup de choses différentes. Bien sûr, il porte aussi beaucoup de bagages, que ce soit de la science-fiction, ou des écrits de gens comme Nick Bostrom, etc. Donc le premier point, c'est de reconnaître la réalité : c'est essentiellement de l'intelligence machine. Ensuite, vous mettez particulièrement l'accent sur la partie "machine". Il y a une ironie profonde — ceux qui ont prêché que "le logiciel dévore le monde" arrivent vraiment à un endroit où vous investissez des sommes énormes, et finalement, ce sont les machines physiques sous-jacentes qui limitent. Donc je pense que ce nom rend en quelque sorte hommage : dans cette vague, l'importance du matériel est extrêmement cruciale, nous voulons l'exprimer.
Raghu :
Oui, je pense que la prochaine percée vient de la qualité des machines sous-jacentes, c'est essentiellement l'origine de ce nom.
Modérateur :
Et ce nom sonne aussi cool.
Ben :
"Machine", ça sonne bien. Futuriste.
Modérateur :
Oui... Compte tenu de l'importance des investissements actuels dans l'infrastructure IA, et du caractère intensif en capital de ces entreprises, avons-nous déjà dépassé le point où de nouvelles entreprises peuvent pénétrer substantiellement le marché ? Je veux dire, pourquoi Nvidia, CoreWeave et les autres géants existants ne prendraient-ils pas simplement la plus grande part de ces marchés ?
Raghu :
Ils font tous très bien, c'est indéniable. Mais pour revenir à notre discussion précédente — vous n'avez pas besoin d'une innovation fondamentalement nouvelle pour maintenir la croissance, ou maintenir le rythme d'amélioration, que ce soit les tokens par dollar par seconde, les tokens par watt, les tokens par baie, ou la consommation d'énergie. Prenez n'importe quel indicateur, si vous voulez une amélioration par 10 sur ces indicateurs, vous devez avoir de nouvelles innovations. Et les nouvelles innovations viennent traditionnellement de fondateurs qui partent des principes fondamentaux et pensent différemment, n'est-ce pas ? C'est exactement ce dont a besoin le prochain saut d'innovation.
Martin :
C'est la loi du marché, non ? Je veux dire, supposons que les géants des puces existants aient déjà une capitalisation de plusieurs milliers de milliards de dollars, c'est un fait absolu. Même juste 5% de cela, c'est une entreprise privée énorme. Vous pouvez dire, Nvidia pourrait faire cela, ils le peuvent, mais si leur priorité est sur les choses qui apportent 90% de croissance, pourquoi feraient-ils les 5% ? Vous poseriez la même question à l'ère du cloud, non ? Par exemple, Amazon ne ferait pas cela ? À l'ère de Microsoft, vous posiez la même question, pourquoi Microsoft ne le faisait-il pas ? C'est une loi très naturelle du marché : une fois qu'une certaine échelle est atteinte, d'énormes opportunités d'innovation émergent en périphérie.
Ben :
Oui, notre partenaire Alex Rampel a une phrase intéressante. Il avait une start-up appelée Trial Pay, voulant vendre son service à Meta (à l'époque Facebook). Dan Rose, responsable du développement d'entreprise, a dit : "Alex, c'est bien, on dirait que tu peux ramasser beaucoup de briques d'argent, mais j'ai des briques d'or partout, plus que je ne peux en ramasser. La dernière chose que je veux faire, c'est regarder une brique d'argent." Je pense que Nvidia est dans cette situation maintenant.
Modérateur :
Je suis totalement d'accord. Nous avons aussi parlé plus tôt, si vous vous trouvez précisément dans la zone de compétence d'OpenAI, d'Anthropic, c'est-à-dire leur cœur de métier, c'est peut-être une position inconfortable. Mais en dehors de ces trois à cinq domaines clés, peut-être...
Martin :
Lorsque le marché s'étend, il se fragmente, cela arrive toujours. Pensez à Ford au début, en 1913, l'usine de River Rouge, c'était, le charbon, l'eau, les arbres à caoutchouc entrent, les voitures sortent, comme une chaîne de montage.
Ben :
À propos, il a acheté toute une plantation d'hévéas dans la forêt amazonienne, non. Il y a un livre appelé "Fordlandia" à ce sujet — il voulait une intégration verticale complète, donc il a construit une ville appelée Fordlandia dans la forêt amazonienne, entièrement de style américain, avec un kiosque à musique, de la crème glacée, tout. Et au début, cela a fonctionné, jusqu'à ce qu'il exige que les travailleurs arrivent à l'heure, puis les gens ont dit, allez vous faire voir.
Martin :
Donc maintenant, regardez l'industrie automobile, bien sûr, il y a plusieurs niveaux de fournisseurs, un tas d'entreprises, cela arrive toujours. Le marché s'étend, puis se fragmente ; lorsque la croissance ralentit, il tend à se consolider. La consolidation se fait soit par acquisitions, soit par l'émergence de nouveaux challengers. C'est le cycle éternel du marché privé.
Ben :
Oui, parce que les cas d'utilisation se multiplient, même si vous êtes la plus grande entreprise, vous pouvez couvrir le plus grand cas d'utilisation, mais il y a tellement de cas d'utilisation, et comme l'a dit Martin, beaucoup sont très précieux, les grandes entreprises ne peuvent tout simplement pas bien faire chacun d'eux.
Raghu :
Même l'architecture était auparavant une architecture unifiée simple, maintenant ce n'est plus le cas, elle est devenue extrêmement complexe. Donc optimiser de différentes manières est une tendance inévitable.
Martin :
Soit dit en passant, une chose intéressante que beaucoup de gens ne comprennent pas — la rentabilité découle en quelque sorte naturellement des approches technologiques standard comme le logiciel. Ce n'est pas vraiment un problème technique, une fois que votre entreprise fonctionne, la rentabilité tend à être assez bonne, que ce soit des logiciels vendus sous forme de package, ou le modèle SaaS. Mais l'IA ne suit pas nécessairement cette règle, nous entrons peut-être dans une nouvelle ère où l'optimisation au niveau matériel pour améliorer la rentabilité de l'entreprise deviendra cruciale d'une manière que nous n'avons jamais vue auparavant. Donc il y a de grandes opportunités là-dedans.
Modérateur :
Approfondissons le type d'entreprises dans lesquelles nous investirions. Peut-être commencer par présenter les sous-secteurs, ou parler de quelques cas déjà investis. Je sais que certains projets ne sont pas encore publics, mais Raghu, veux-tu commencer ?
Raghu :
OK, comme nous en avons discuté, les sous-secteurs couvrent en fait de nombreuses catégories. Les plus évidentes sont les puces de calcul, mais maintenant, fabriquer juste une puce ne suffit plus, vous devez créer un système complet. Qu'est-ce qu'un système nécessite ? Cela peut impliquer des innovations en mémoire, des innovations réseau, des puces d'alimentation, etc. Chaque catégorie pourrait donner naissance à des entreprises de niveau public, ce sont toutes des directions que nous suivons. Après avoir intégré tout cela, il faut encore beaucoup de logiciels pour accompagner — pour automatiser ces processus, gérer ces clusters d'équipements, etc. Donc le logiciel est aussi un domaine important. Ces éléments s'imbriquent, aucune catégorie ne peut être négligée.
Modérateur :
Pouvez-vous parler de la différence entre ce type d'entreprises et les entreprises ordinaires ? D'après les cas d'investissement que nous avons rendus publics, l'échelle du premier tour de financement est très grande, souvent des centaines de millions de dollars. Le type de fondateur est-il différent ? Y a-t-il d'autres différences ? Comparé à nos investissements logiciels traditionnels, qu'est-ce qui est différent dans la construction et l'investissement de ce type d'activités ?
Ben :
Je pense que la plus grande différence, vous l'avez déjà mentionnée — c'est qu'avant même d'avoir un produit, il faut investir beaucoup d'argent. C'est sa nature. Les grands modèles aussi, mais je pense que le chemin des grands modèles est relativement plus clair, et ce domaine est plus risqué, nécessite plus d'argent, plus complexe que beaucoup de choses que nous avons faites auparavant. Un autre point, de nombreux fondateurs dans le domaine des puces sont des "vétérans", par exemple, ceux qui savent fabriquer de la mémoire, ils ne sont pas jeunes. Donc c'est aussi différent, mais aussi excitant.
Raghu :
Un autre point, ces fondateurs doivent tous être des fondateurs de type système. Je veux dire, vous ne pouvez pas être juste un chercheur ou un excellent informaticien. Vous devez être capable de concevoir l'architecture et la conception d'une puce ou d'un système entier, et aussi réfléchir à comment fabriquer cette chose — qui l'approvisionne, et une série de problèmes en aval. Si vous faites du logiciel, vous n'avez généralement pas besoin de considérer ces choses.
Les meilleurs fondateurs — bien sûr, Jensen (Huang) est le "Michael Jordan" dans ce domaine — ont déjà pensé à l'ensemble de l'écosystème avant de concevoir la puce, car il y a trop de goulots d'étranglement dans cette industrie, tous les maillons doivent s'emboîter. C'est une caractéristique marquante de ce type de fondateurs, et très différente des autres domaines.
Martin :
Il y a aussi deux facteurs environnementaux externes importants. Premièrement, les laboratoires d'IA sont tellement avides de ressources maintenant qu'ils sont prêts à collaborer avec les start-ups. Donc nous obtenons en fait beaucoup de signaux très tôt — les laboratoires signent des accords avec les entreprises avant même que le matériel ne soit livré. C'est totalement différent d'il y a cinq ans, où vous ne pouviez absolument pas vendre un produit matériel immature à une entreprise comme Google. Deuxièmement, l'offre de capital est beaucoup plus large. Maintenant, il est largement admis que c'est le moment de remodeler l'ensemble du paysage industriel, il y a beaucoup de capital disponible pour les tours de financement ultérieurs. Bien sûr, vous espérez investir dans des domaines où le capital est prêt à entrer. Donc l'environnement général est aussi complètement différent.
Modérateur :
Patrick Carlson a dit il y a quelques années qu'il pensait que les jeunes fondateurs étaient de moins en moins nombreux — contrairement à l'époque où Zuckerberg faisait Facebook dans son dortoir universitaire, ou Gates faisait Microsoft. Bien sûr, il y a encore des jeunes comme Michael, construisant des entreprises emblématiques. Mais comme vous le dites, il semble y avoir plus d'"anciens" qui lancent des entreprises maintenant, de moins en moins de jeunes de 20 ans. Quel est votre avis sur ce phénomène ?
Ben :
Je pense que, comme l'a dit Raghu, si ce que vous faites a une chaîne d'approvisionnement extrêmement complexe, nécessite de la fabrication, et a une difficulté technique élevée, alors l'expérience compte vraiment. Regardez Elon ou Travis Kalanick, quand ils étaient jeunes, ils faisaient aussi des entreprises de logiciels. Même ces personnes de premier plan "montent en gamme" pour s'attaquer à des domaines plus complexes et vastes après avoir accumulé beaucoup d'expérience entrepreneuriale et technique. Ces domaines ont trop de pièces mobiles.
Lorsque vous apprenez à créer une entreprise, si vous maîtrisez complètement le produit, c'est déjà assez difficile. Si vous ne maîtrisez pas encore le produit et devez apprendre en même temps que vous entreprenez, pour un fondateur tout nouveau, cette courbe d'apprentissage est trop raide.
Donc je veux dire : d'un côté, vous avez des jeunes intelligents comme Michael, qui fait de l'IA purement logicielle ; de l'autre côté, vous avez des personnes expérimentées comme Elon ou Travis, capables de gérer des domaines plus complexes. Michael pourra peut-être le faire dans 10 ans, mais maintenant, c'est vraiment trop difficile pour lui.
Martin :
Un autre point important — ce domaine a été négligé par l'industrie et le monde universitaire pendant près de 20 ans. Il a toujours existé, mais n'a jamais été un secteur de croissance. La croissance a toujours été le logiciel, le réseau, ces directions. Donc maintenant, les personnes sortant de l'université ou des grandes entreprises avec de l'expérience dans ce domaine sont vraiment très peu nombreuses. Vous ne faites pas de stage et "fabriquez une puce en passant".
Mais tout cela est en train de changer. Nous allons former toute une génération de fondateurs issus de ces nouvelles entreprises, qui savent comment faire cela. Ils entreront dans l'industrie à des postes plus juniors, puis grandiront.
En parlant de cela, je pense que l'un des plus grands héritages d'Elon, ce ne sont pas seulement les entreprises qu'il a créées, mais les entrepreneurs sortis de SpaceX — ils changent tout le système industriel, cet impact pourrait même dépasser les entreprises elles-mêmes. Je crois que nous verrons la même chose se produire dans l'informatique et le matériel.
Raghu : Oui, en fait, l'une des entreprises dans laquelle nous avons investi a été fondée par deux fondateurs dans la vingtaine, mais si vous visitez leur bureau, vous verrez aussi beaucoup de personnes expérimentées. C'est donc une combinaison idéale.
Ben : Ce n'est pas nécessairement que les fondateurs eux-mêmes aient de l'expérience, mais ce fondateur doit pouvoir mobiliser et s'appuyer sur des personnes expérimentées, vraiment les attirer, et pouvoir collaborer avec eux, et ces personnes doivent être suffisamment bonnes, etc. C'est assez complexe.
Modérateur : En parlant d'expérience, nous lançons un nouveau fonds de très grande taille cette fois, mais sans ajouter de nouveaux partenaires généraux. Oui, nous consolidons en quelque sorte. C'est parce que vous tous, et d'autres membres de l'équipe, avez accumulé beaucoup d'expérience dans ce domaine, qui n'a simplement pas été pleinement libérée auparavant. Oui, elle était en sommeil.
Martin :
C'est un peu intéressant, je pense que nous avons presque besoin qu'on nous rappelle de ne pas nous égarer, à cause de nos antécédents, c'est assez difficile. Je pense que nous avons besoin de ce rappel, parce que nous avons passé tellement de temps dans nos carrières sur les systèmes et le matériel, que nous sommes naturellement attirés par cette direction. Donc regardez, nous avons clairement investi pas mal dans le matériel ces dernières années, non ? Nous avons investi dans SpaceX, investi dans Android, ce sont des investissements très précoces, nous avons aussi investi dans Astronomer, dans Waymo. Donc même tôt, nous avons fait pas mal de ces investissements. Mais c'est parce que c'est déjà profondément gravé dans nos gènes. Donc je ne pense pas que cette fois, nous ayons nécessairement besoin d'élargir l'équipe ou de cultiver spécialement des compétences, ce sont des atouts supplémentaires.
Modérateur :
Merci à tous d'avoir participé à cette conversation de clôture du Machine Age Fund. Merci, merci, merci.
