Président d'OpenAI : Astra est le premier modèle « entraîné sur 100 000 GPU », franchissant le « seuil d'application »

Source : Wall Street News

Greg Brockman, président d'OpenAI, a accordé une interview approfondie à la veille de la sortie d'Astra, révélant pour la première fois que ce nouveau modèle est le premier de l'histoire d'OpenAI à avoir été entraîné sur plus de 100 000 GPU, et affirmant carrément que l'IA a franchi le seuil d'application de « l'utilisation de l'ordinateur » — ce qui signifie que l'IA n'a plus besoin de dépendre de connecteurs API, mais peut utiliser n'importe quel logiciel comme un humain.

Vendredi heure locale, le site d'analyse stratégique technologique Stratechery a publié une interview approfondie avec Greg Brockman, président et co-fondateur d'OpenAI, enregistrée avant la sortie officielle d'Astra. Il s'agit à ce jour de l'expression publique la plus détaillée de Brockman sur Astra et la dernière stratégie d'OpenAI.

Wall Street News résume les points clés de l'interview :

1. Astra est le premier modèle d'OpenAI entraîné sur plus de 100 000 GPU, une échelle qui représente une percée significative au niveau de l'ingénierie.

2. Astra a franchi un seuil d'application critique dans la capacité d'« utilisation de l'ordinateur », pouvant servir de « connecteur universel », sans dépendre d'interfaces API individuelles fournies par chaque logiciel.

3. Brockman a déclaré qu'à l'ère de l'AGI, la sécurité, l'alignement et les capacités doivent être promues comme des « exigences » d'égale importance, et non comme des compromis.

4. OpenAI a dirigé Astra vers son propre système pour scanner les vulnérabilités et les corriger, ce qui représente un changement culturel majeur en matière de sécurité.

5. Concernant l'incident de sécurité de Hugging Face, Brockman a reconnu que le mécanisme de sandbox présentait des défauts, l'IA ayant trouvé des voies créatives pour « s'évader ».

6. Brockman estime qu'OpenAI a franchi en interne le seuil de « l'ère de l'AGI », et pourrait atteindre le standard d'AGI reconnu par la plupart des gens avec Astra ou le prochain modèle.

7. En matière de stratégie de puces, OpenAI développe sa propre puce Jalapeño en utilisant l'IA pour la conception assistée, tout en maintenant un partenariat profond avec NVIDIA.

8. Il pense qu'avec l'amélioration des capacités de l'IA, les « échafaudages de compétences » soigneusement construits par le passé passent progressivement d'une aide à une limitation, une découverte importante lors du développement d'Astra.

« Premier entraînement sur 100 000 GPU » : la signification de l'échelle d'Astra

« C'est la première fois que nous nous entraînons sur plus de 100 000 GPU. Ce chiffre est facile à dire, mais vous devez imaginer cette échelle — ces centres de données sont en un sens des machines géantes que nous avons construites pour faire avancer la technologie de l'IA. Maîtriser une puissance de calcul de cette ampleur est en soi un véritable exploit d'ingénierie », a déclaré Brockman lors de l'interview.

Il a souligné que l'expansion massive de la puissance de calcul n'est pas seulement utilisée pour améliorer les capacités du modèle. « Une énorme quantité de puissance de calcul a été investie dans les travaux de sécurité et d'alignement, et beaucoup de génie de la sécurité s'est articulé autour de cela. C'est notre modèle le plus aligné à ce jour — et précisément parce qu'il est si puissant, l'alignement et la sécurité sont devenus plus centraux que jamais. »

Franchir le seuil de « l'utilisation de l'ordinateur » : l'IA devient un « connecteur universel »

Brockman situe la percée la plus fondamentale d'Astra dans « l'utilisation de l'ordinateur ».

« Au cours des deux dernières années, nous étions dans une « ère des connecteurs » — vous aviez des logiciels que les humains pouvaient utiliser normalement, mais auxquels l'IA n'avait pas accès. Vous deviez donc écrire un connecteur spécifique pour chaque logiciel, l'accrocher à son API ; et il y avait de nombreux logiciels sans API, qui étaient complètement hors de portée de l'IA », a-t-il déclaré. « Maintenant, nous avons une technologie qui est presque un « connecteur universel ». L'IA passe d'une aide strictement limitée à une capacité d'opérer presque n'importe quoi. »

Il a ensuite décrit l'impact de ce changement sur la façon de travailler interne chez OpenAI : « Cela change déjà la façon dont les gens travaillent en interne chez OpenAI, et je pense que cela va vraiment améliorer de nombreuses entreprises, de nombreuses personnes. »

Il est à noter que Brockman a également reconnu que franchir ce seuil n'est pas la fin : « Cela ne signifie pas que tous les problèmes sont résolus. Vous devez penser à la façon de mettre des garde-fous de niveau entreprise autour de ces IA, comment mettre en place une supervision, une gestion, un suivi et une observabilité appropriés — tout cela, nous y travaillons. »

« Nous sommes maintenant entrés dans l'ère de l'AGI »

Brockman a formulé un jugement aux mots assez audacieux lors de l'interview :

« Je pense que peut-être avec le modèle précédent, peut-être avec Astra, peut-être avec le prochain modèle, mais à un moment donné dans cette séquence, nous franchirons le seuil de l'AGI pour la plupart des gens.... En un sens, je dirais que nous sommes déjà entrés dans l'ère de l'AGI. »

Il a expliqué qu'à l'étape actuelle, l'alignement, la sécurité et les capacités doivent être promus ensemble comme des exigences parallèles. « Ces aspects deviennent le goulot d'étranglement du développement, et c'est exactement pour cela que nous nous sommes préparés. »

Les anciennes « compétences » deviennent un fardeau : l'IA est si puissante que les règles doivent être allégées

Un détail assez percutant de l'interview provient du processus d'entraînement réel d'Astra. Brockman a révélé que les règles de comportement que OpenAI avait passées beaucoup d'efforts à coder pour ses modèles dans le passé étaient désormais devenues un frein :

« Nous avons constaté que certaines compétences que nous avons laborieusement construites cette année — pour montrer au modèle la bonne façon de faire les choses en interne chez OpenAI — étaient en fait un fardeau net (net negative) pour ses performances. Il est capable de mieux généraliser que ce que nous avons écrit, de trouver de meilleurs modèles de traitement que ceux que nous avons prescrits. C'est comme des roues d'entraînement, utiles au début, mais une fois qu'il court plus vite, plus capable, elles deviennent un obstacle. »

« 1 milliard d'utilisateurs est un investissement » : la fusion entre consommateurs et entreprises

Brockman a abordé de front une question persistante sur le marché : ChatGPT compte 1 milliard d'utilisateurs, mais est-ce une distraction ?

« Aux États-Unis, environ un tiers de la population utilise ChatGPT chaque semaine », a-t-il dit. « C'est unique, aucun autre produit de ce type de technologie avancée ne peut se comparer. »

Il a qualifié ce milliard d'utilisateurs d'« investissement » : « C'est un véritable investissement, qui accumulera de la valeur dans la façon dont les futurs modèles seront débloqués. »

En même temps, il a reconnu les points sensibles : « Le défi du chat en tant que produit est qu'il ne correspond pas nécessairement directement à des modèles plus intelligents — si vous l'utilisez simplement comme un remplacement de moteur de recherche, vous ne ressentirez peut-être pas vraiment les avantages. » Il pense que la direction future est de connecter les scénarios consommateurs et entreprises, en créant un système AGI unifié. « Nous ne voulons pas faire deux choses, nous voulons en faire une — construire un AGI, un système, une pile technologique unifiée. »

Il a également souligné particulièrement les investissements dans le domaine de la santé : « 300 millions de personnes font des requêtes de santé via ChatGPT chaque semaine. 300 millions, c'est un énorme chiffre. »

Auto-inspection des vulnérabilités par l'IA : diriger Astra vers son propre système

Sur le sujet de la cybersécurité, Brockman a révélé une pratique interne notable : OpenAI a directement dirigé Astra vers son propre système pour trouver des vulnérabilités.

« Nous avons invoqué Astra, l'avons pointé vers nos propres systèmes pour découvrir des vulnérabilités — pas seulement lire le code, mais vraiment examiner le fonctionnement de bout en bout de ces systèmes, afin de trouver des vulnérabilités réelles, vérifiées, puis nous aider à effectuer les réparations et les correctifs », a-t-il déclaré.

Il a également reconnu que dans l'incident de sécurité de Hugging Face, les actions d'OpenAI pendant la fenêtre de défense n'étaient pas assez rapides. « Je pense que maintenant, c'est clairement le moment, peut-être que cela aurait pu l'être il y a quelques mois, mais à ce moment-là, les capacités du modèle étaient bien plus faibles. »

La relation avec NVIDIA : le développement de puces internes est une « multiplication », pas un remplacement

Sur la question de la concurrence dans la chaîne de valeur, Brockman s'est exprimé sur la relation entre la puce Jalapeño développée en interne par OpenAI et NVIDIA, niant clairement toute logique de remplacement :

« NVIDIA est notre partenaire informatique de choix, cela ne changera pas. En fait, notre collaboration avec eux se renforce encore.... L'expertise interne apportée par notre projet de puce interne est, pour moi, un effet multiplicateur, pas un remplacement. Je pense que cela profite à tout le monde. »

Il a également partagé une anecdote intéressante sur la conception de puce assistée par IA : au cours du dernier mois avant la date limite de Jalapeño, l'équipe a directement laissé l'IA exécuter des optimisations. « Nous nous sommes dit, laissons-le simplement tourner, sans lire en détail ce qu'il a fait. Plus tard, nous sommes revenus dessus et avons découvert qu'il avait trouvé un tas d'optimisations qui étaient sur notre liste mais que nous n'aurions jamais implémentées nous-mêmes — c'est vraiment une histoire cool. »

Ci-dessous la transcription complète de l'interview (traduite avec l'aide de l'IA)

Greg Brockman, bienvenue sur Stratechery.

GB (Greg Brockman) : Merci de m'inviter. C'est un plaisir d'être ici.

Évidemment, nous avons beaucoup de nouvelles à discuter, mais comme c'est notre première conversation, je ne veux pas manquer ma question biographique habituelle sur Stratechery. Je voulais vraiment vous demander — définissez-vous le Dakota du Nord comme faisant partie du Midwest ?

GB : Oui, je pense que oui.

D'accord, en tant que Midwesterner moi-même, je dois bien sûr prendre un moment pour en parler. Vous avez étudié à Boston, comme on dit, mais avant d'en arriver là — vous aviez déjà un parcours incroyable avant même l'université, comme les Olympiades internationales, mais en chimie. D'où vient l'informatique, ou est-ce que l'informatique a toujours fait partie de votre vie ?

GB : Eh bien, l'informatique a toujours été un arrière-plan dans mon éducation. J'aimais jouer aux jeux vidéo, mais j'étais très intéressé par les maths, les sciences. En fait, jusqu'en neuvième année, je pensais que je pourrais devenir acteur — j'adorais vraiment jouer la comédie, et je m'intéressais un peu à la philosophie.

Quel virage ! Je ne le savais pas du tout, mais je vais essayer de faire le lien entre ce que vous faites maintenant et le théâtre, mais continuons.

GB : Eh bien, en neuvième année, je me suis dit que j'avais été le protagoniste ou le rôle principal dans une ou deux pièces au collège et au lycée. Je me disais, je veux vraiment m'investir à fond dans quelque chose, je sens que je pourrais être le meilleur du monde dans un domaine, et vraiment essayer de faire avancer ce domaine. Je sentais que je devais choisir soit une approche plus intellectuelle, scientifique dure, soit la voie artistique, du spectacle et de la créativité. J'ai finalement choisi la voie des sciences dures, car j'avais le sentiment que c'était peut-être là où je pouvais avoir le plus grand impact sur le monde.

Pourquoi pensiez-vous que cette direction vous permettrait de changer le monde le plus possible ?

GB : Je pense que pour moi, la sensation était — ce que j'aimais dans le jeu d'acteur, c'était en fait son aspect collectif. J'aimais l'improvisation, juste penser de manière créative, échanger des idées, mais cela nécessitait aussi de faire partie d'une équipe qui devait bien fonctionner ensemble, et ce n'était pas toujours garanti. C'est une chose difficile à réaliser et à trouver. Ce que je préférais dans la voie intellectuelle, c'est que cela semblait plus affûter vos propres compétences. Mais une chose que j'ai vraiment apprise, c'est que même si vous êtes très bon en programmation, ce n'est pas suffisant. En fait, il s'agit aussi de constituer une bonne équipe, et je pense que cela a été une partie de ma carrière — vraiment aider à construire et façonner des environnements et une culture capables de livrer d'excellents résultats.

Une chose intéressante, il y a un aspect où l'environnement a aussi façonné certaines de ces choses. Vous avez mentionné que vous jouiez toujours les rôles principaux dans les pièces et films. D'après ce que j'ai compris avec mes enfants qui traversent cette phase — ma fille a adoré les comédies musicales pendant un moment — la compétition pour les rôles féminins principaux est très féroce, souvent si un homme compétent se propose, il obtient le rôle à chaque fois. La compétition pour les rôles masculins principaux était-elle féroce, ou étiez-vous unique ?

GB : (Rires) Je pense que cela pourrait l'expliquer. Mais laissez-moi vous raconter une histoire.

D'un autre côté, au Dakota du Nord, n'y avait-il pas beaucoup de gens qui se spécialisaient vraiment dans les sciences dures, donc du même point de vue, était-ce aussi plus rare ?

GB : Eh bien, laissez-moi vous raconter deux histoires. La première concerne le jeu d'acteur. Mon premier travail rémunéré était un petit boulot d'acteur. Le groupe Mannheim Steamroller est venu à Grand Forks, dans le Dakota du Nord. Vous avez entendu parler de Mannheim Steamroller ?

J'en ai entendu parler. Oui, bien sûr.

GB : Ils organisaient un concert et avaient besoin de figurants. Ils avaient besoin de gens pour faire les soldats de plomb, parce que c'était un concert de vacances de Noël. Je suis allé à l'audition, j'étais un élève de neuvième année maigre, et il y avait là tous ces grands étudiants universitaires.

Ce qu'ils ont fait, c'est « OK, tout le monde marche dans cette direction », et les gens du casting comparaient leurs notes, puis il y avait une pause, puis ils disaient « OK, marchez dans l'autre direction ». J'ai remarqué que pendant la pause, tous ces étudiants universitaires parlaient entre eux, traînaient, et moi je pensais : ce travail n'a qu'une exigence, c'est de rester concentré pendant six heures entières de concert, à marcher d'avant en arrière. Alors pendant la pause, je restais là, concentré, complètement dans le personnage. Finalement, ils ont dit, « OK, nous prenons cette personne, cette personne, cette personne. Les autres peuvent partir ». Je n'ai pas été choisi.

Mais en partant, ils ont dit : « En fait, nous vous trouvions génial. Nous adorions voir à quel point vous étiez passionné, alors nous allons créer un nouveau rôle spécialement pour vous ». Alors j'ai eu le rôle d'un bonhomme en pain d'épice, ils m'ont donné un costume complet. C'était mon premier travail. C'était un peu comme essayer de sortir des sentiers battus pour accomplir la tâche — ne pas toujours accepter par défaut un rôle, mais essayer de trouver des moyens créatifs de l'obtenir.

Mais je pense qu'une chose vraiment géniale d'avoir grandi dans le Dakota du Nord, c'est que j'ai eu la possibilité d'être le meilleur de l'État dans différents domaines sur lesquels je me concentrais. Je me distinguais en mathématiques. J'ai commencé à suivre beaucoup de cours à l'Université du Dakota du Nord dès la dixième année. J'ai participé intensément aux compétitions de mathématiques, puis je suis allé aux compétitions nationales, aux camps d'été de mathématiques nationaux, où je rencontrais les meilleurs du pays. Ces gens étaient incroyables, en fait, l'un de mes plus grands honneurs est que beaucoup de ceux que j'admirais tellement au camp de maths travaillent maintenant chez OpenAI. J'ai donc eu la chance de les revoir dans ce nouveau domaine, avec une nouvelle perspective.

Fantastique.

GB : Mais cela montre aussi que j'ai pu vraiment tracer ma propre voie. J'ai commencé à faire de la recherche en maths, et je sais que si j'étais allé dans un de ces lycées très forts ou dans un État bien plus compétitif, je ne pense pas que je me serais démarqué. J'aurais dû suivre la voie standard. C'est précisément parce que j'étais dans cette région que j'ai pu explorer mes intérêts, vraiment suivre mon propre chemin.

Alors quand les gens disent qu'ils ont étudié à Boston, ils parlent généralement de Harvard, c'est là que vous avez commencé. Ensuite, vous êtes passé au MIT. Puis à un moment donné, vous travailliez pour Stripe. Quel était l'ordre ? Quand avez-vous rencontré les frères Collison ? Que s'est-il passé à Boston ?

GB : Eh bien, après le lycée, j'ai pris une année sabbatique, et j'ai en fait commencé à écrire un manuel de chimie, parce que j'étais fasciné par la chimie au lycée, je participais aux Olympiades de chimie, et j'avais développé une manière unique de penser. Très basée sur les premiers principes, très mathématique, plutôt que du par cœur. Je voulais enseigner cette méthode, la promouvoir. J'ai donc écrit une centaine de pages. C'est encore sur mon site web. Je ne l'ai pas fini. J'ai toujours eu l'intention d'y revenir.

C'est comme un projet de retraite, j'aime bien.

GB : Exactement. Donc à ce moment-là, je réfléchissais à comment publier ce livre, alors j'ai demandé à un ami qui avait fait quelque chose de similaire en maths, il a dit : « Eh bien, tu n'as pas de doctorat, donc personne ne le publiera. Donc soit tu l'auto-publies » — je me suis dit, oh, c'est beaucoup de travail et cher — « soit tu peux créer un site web, promouvoir tes idées de cette façon ». J'ai dit : « Je suppose que je dois apprendre à programmer ». Alors je suis allé sur W3Schools. Vous vous souvenez de W3Schools ? Vous connaissez ce site ?

Non, je ne pense pas.

GB : OK, c'est un site classique — ils ont des tutoriels HTML, JavaScript, CSS, PHP. Je les ai tous lus, puis je me suis dit : « Je devrais tester ». Je me souviens avoir créé mon premier petit widget : vous cliquiez sur une colonne de tableau, et il triait les lignes en conséquence. C'était la sensation la plus cool de tous les temps. J'avais cette chose dans ma tête, et maintenant elle existe dans le monde, n'importe qui peut en bénéficier. Ils n'ont pas besoin de comprendre les détails sous-jacents, ça fonctionne juste.

Je me souviens que le premier programme que j'ai créé et qui avait des utilisateurs était en fait un jeu de chatbot compétitif, et un jour j'ai eu 1500 clics depuis StumbleUpon. C'était une sensation incroyable, 1500 personnes avaient joué à mon jeu, j'espérais qu'elles s'étaient amusées, et qu'elles y avaient joué assez sérieusement. Je me suis dit : « C'est ce que je veux, je veux aider les gens, je veux leur créer de la valeur et leur être utile ».

Donc, c'est avec cette idée que je suis entré à Harvard, et cela a vraiment changé ma façon de penser. Je pensais que j'allais poursuivre des intérêts plus éclectiques, et finalement je me suis dit : « Je veux juste construire des choses ». En première année à Harvard, j'ai rejoint le club d'informatique, il y avait deux étudiants en dernière année qui avaient chaque fois des débats techniques obscurs. On écoutait tous en se disant : « Un jour, on comprendra, un jour ce sera nous ». Mais après leur diplôme, la deuxième année est arrivée.

Alors vous êtes directement passé au MIT, parce que vous avez réalisé que vous vous concentriez sur le code et la construction ?

GB : En gros, oui. Parce qu'en deuxième année, je gérais le club. J'étais censé mener ces débats techniques obscurs, et je me disais : « Je ne suis pas prêt. J'ai encore trop à apprendre. J'ai besoin d'être avec des gens bien meilleurs que moi ».

Je vois.

GB : J'ai donc passé beaucoup de temps du côté du MIT, et j'ai pensé qu'il était logique de transférer là-bas.

Stripe

Je vois. Et quand avez-vous rencontré les frères Collison ?

GB : Je les ai rencontrés fin 2010. Nous avions beaucoup d'amis en commun, parce que John est allé à Harvard, Patrick au MIT, et ils posaient des questions partout. L'équipe cherchait dans les deux écoles qui s'intéressait à l'informatique, et mon nom revenait sans cesse.

Oui.

GB : J'ai donc reçu une invitation de leur équipe, j'ai pris l'avion pour les rencontrer. Je me souviens de ma rencontre avec Patrick, pour moi, à ce moment-là, je me suis dit : « OK, ce sont les gens avec qui je veux travailler, je pense qu'on peut faire de grandes choses ensemble ».

Donc ma prochaine question est, qu'est-ce qui vous a attiré chez Stripe, mais il semble que vous ayez déjà répondu. Qu'avez-vous appris là-bas ? Vous avez rejoint l'équipe très tôt, avez progressé très vite. Au moment où vous êtes parti, vous étiez CTO. Quelles sont vos réflexions sur Stripe lui-même et sa mise à l'échelle, et sur votre propre croissance rapide alors que l'entreprise grandissait aussi vite ?

GB : Premièrement, pour moi, ça a toujours été une question de personnes. Je savais que c'étaient les gens avec qui je voulais travailler, j'avais le sentiment qu'on pouvait apprendre ensemble, accomplir de grandes choses ensemble, donc c'était vraiment la clé. Soit dit en passant, les deux abandons d'études sont quelque chose que je ne voudrais absolument pas que les parents de quiconque vivent. Ça a clairement été difficile pour mes parents, mais ils ont fini par être très soutenants.

Non, nous comprenons, vous poussez les choses à l'extrême, non ? La plupart des fondateurs abandonnent une fois, vous avez dû le faire deux fois. Nous comprenons ce que vous voulez dire.

GB : Exactement, exactement. Je me souviens que les débuts de Stripe étaient beaucoup axés sur la réflexion à partir des premiers principes. Nous étions dans un domaine, l'industrie des cartes de crédit, très opaque, très byzantine, accumulée sur des décennies, incroyablement complexe, même les réseaux de cartes eux-mêmes fonctionnent sur ISO 8583, une norme des années 80. C'est un format orienté octet, entièrement. Nous essayions de comprendre : « Comment pouvons-nous le rendre simple, extrêmement simple, pour l'ère d'Internet ? ».

Donc, il s'agissait beaucoup de comprendre en profondeur un domaine qui nous était totalement étranger. Aucun d'entre nous n'était vraiment un expert en paiements à la base, mais on voulait juste comprendre très profondément comment ça fonctionnait, afin de pouvoir exposer les bonnes primitives, les bonnes API et abstractions. Pour moi, c'était en fait une compétence centrale, et c'est très transférable entre Stripe et OpenAI. Ils sont similaires à certains égards, vous devez apprendre un domaine de manière scientifique. L'IA et les paiements, évidemment différents dans les détails — l'un ressemble plus à une science naturelle, l'autre est presque un système empilé de complexités — mais au fond, ils consistent tous deux à comprendre les raisons sous-jacentes du fonctionnement des choses, et à les exposer de manière simple et utilisable.

J'ai passé beaucoup de temps sur le recrutement, beaucoup de temps sur la culture, et je pense avoir découvert une chose : j'aime coder, j'aime cet état de flow, et la sensation de construire et créer.

Oui, vous êtes connu pour ces sessions de flow/codage de plusieurs heures, sans fin. Lorsque vous construisiez Stripe, quelle a été votre session de codage/flow la plus longue ?

GB : Oh, tout se mélange. Je ne pourrais pas dire, mais je peux juste dire que pour moi, il y a eu un sprint de 24 heures qui nous a vraiment permis de nous connecter au réseau de cartes de crédit. C'était un moment vraiment génial, nous étions tous au bureau, personne ne dormait, c'était une intégration censée prendre neuf mois, nous l'avons faite en une nuit, et si nous avions eu un jour de retard, nous aurions dû attendre un mois de plus. Pour une startup, chaque jour compte, donc cette sensation d'accomplir ce qui semblait impossible, j'ai adoré. C'était très excitant.

Lorsque vous êtes devenu CTO, vous avez écrit un article disant que vous aviez parlé à d'autres CTO, que vous pensiez que c'était plus un travail d'architecture, mais qu'ils ne faisaient pas ça, vous avez écrit : « J'ai l'impression d'avoir perdu la boucle de rétroaction, je suis déconnecté du produit, j'ai besoin de coder à nouveau, je vais être un codeur ». Je suis curieux, c'était au début de votre mandat de CTO, combien de temps cela a-t-il duré ? Combien de temps êtes-vous resté connecté au codage ?

GB : Eh bien, je pense que cela a duré encore presque dix ans. Je pense que j'ai grandi et appris beaucoup sur un aspect : comment rester engagé même quand on ne code plus soi-même, comment vraiment aider à faire avancer l'équipe, et rassembler l'équipe.

Et, au fait, je pense que c'est en fait une leçon importante pour presque tous les ingénieurs logiciels maintenant, parce que l'acte de « coder » lui-même a énormément changé au cours de la dernière année. Je pense que dans l'année à venir, le changement sera encore plus grand. Nous passons tous d'un rôle où il fallait savoir quelle bibliothèque utiliser exactement, maîtriser précisément la syntaxe et savoir où mettre les points-virgules, à devenir des gestionnaires de plus haut niveau, des superviseurs, des sources d'inspiration, de vision, de jugement et de feedback. Je pense que cette transition a été difficile pour moi, parce que vous devez abandonner des choses auxquelles vous êtes habitué, que vous chérissez et que vous aimez vraiment. Mais en fait, je l'ai remplacé par quelque chose que j'aime encore plus.

Je sais que je parle à une personne intelligente, parce que vous avez devancé mon point. J'allais y revenir plus tard, mais oui, c'est exactement ce dont nous allons parler.

OpenAI et le test de Turing

Parlons d'OpenAI. Vous faites partie de l'équipe fondatrice d'OpenAI. Quelle est votre version de l'histoire ? Je suis sûr que cela pourrait faire un podcast d'une heure à lui seul, mais qu'est-ce qui vous a attiré dans ce domaine et vous a fait commencer ?

GB : Eh bien, j'étais excité par l'idée de l'IA depuis longtemps. Je me souviens qu'au début de ma programmation, j'ai lu l'article de 1950 d'Alan Turing sur le test de Turing. C'est un article très intéressant, d'environ 70 pages. Il commence par dire : « Eh bien, qu'est-ce que cela signifie qu'une machine soit intelligente ? Je ne sais pas ce qu'est l'intelligence. L'intelligence n'a pas de définition claire. Alors donnons-lui une version bien définie ».

Je vous demanderai plus tard ce qu'est l'AGI. Donc il semble que cela reste non résolu, non ?

GB : Eh bien, vous avez raison. Turing a donc intelligemment contourné la question en disant : « Donnons-lui simplement une définition opérationnelle, à savoir que si vous pouvez faire un test où un humain ne peut pas distinguer l'IA avec qui il parle d'un autre humain, nous définissons que cette machine est intelligente ».

Cependant, un point très intéressant, mais moins souvent mentionné, est qu'il dit : « Eh bien, comment allez-vous résoudre ce problème ? C'est trop difficile de programmer la réponse. Vous ne pouvez pas écrire toutes les règles pour répondre à toutes sortes de questions. Au lieu de cela, et si vous pouviez construire une machine capable d'apprendre ? Et si vous pouviez construire ce qu'il appelle une « machine enfant » ? ». Ensuite, vous l'éduquez — un enseignant lui donne des récompenses et des punitions, et vous pouvez alors lui donner l'intelligence, l'aider à passer ce test.

Je me souviens avoir été profondément frappé par cette idée, parce qu'en tant que programmeur, on ne progresse que si on comprend en profondeur la solution à un problème. Il y a tellement de problèmes dont je ne connais pas la solution, vous ne la connaissez pas, personne n'a pensé à une solution, nous ne pourrons jamais en écrire le programme. Mais si vous pouviez avoir une machine qui comprend des problèmes que nous ne comprenons pas, qui comprend des solutions que nous ne comprenons pas ? Il ne s'agit pas seulement de reconnaissance d'images, bien que cela s'applique aussi. Il s'agit aussi de comment mieux vivre ensemble en société ? Comment construire le monde ? Comment s'assurer que les bénéfices que nous créons finissent par profiter à tout le monde ? Ce sont des problèmes très difficiles, et les humains ne sont pas nécessairement les plus capables de les résoudre. Mais si une machine pouvait comprendre, pourrait examiner plus de données, pourrait avoir une compréhension plus profonde et plus riche de nombreux domaines différents, peut-être pourrait-elle résoudre ces problèmes d'une manière que nous ne pouvons pas.

Donc, j'étais profondément motivé par cette idée. Mais ce n'était qu'une idée. Je me souviens qu'en entrant à Harvard, j'ai demandé à mon professeur : « Hé, je peux faire de la recherche en IA ? », et il m'a montré l'état de l'art en traitement du langage naturel à l'époque. J'ai clairement vu, je me suis dit, ce n'est pas ce dont Turing parlait. C'était plus du codage en dur, des arbres d'analyse, tout ça, ça ne peut pas passer à l'échelle vers l'AGI.

Mais au début des années 2010, quelque chose a changé, j'observais de l'extérieur. 2012 a été AlexNet, puis une série d'autres articles, je les voyais souvent sur Hacker News, on avait l'impression qu'il y avait chaque jour un nouveau « Deep Learning pour X », je me disais : « Qu'est-ce que le Deep Learning ? » — je me souviens être allé sur deeplearning.org, il était juste écrit : « Le Deep Learning est une nouvelle approche de l'intelligence artificielle ». Je me suis dit, je ne sais absolument pas ce que ça veut dire, je ne connaissais en fait qu'une seule personne dans le domaine, je suis allé la voir, je lui ai demandé de me présenter à plus de gens du domaine, puis j'étais sans cesse réintroduit à certains de mes amis les plus brillants de l'université. Je me disais : « Attendez, c'est intéressant, ces gens travaillent là-dessus, c'est en fait un signal très fort ».

Donc, vers 2015, pour moi, il semblait que quelque chose de réel se passait. J'ai aussi passé beaucoup de temps à réfléchir sérieusement à la sécurité de l'IA, à l'avenir à long terme de ce type de technologie, ce qu'il faut pour bien faire les choses, c'était plus philosophique à l'époque. On pouvait trouver toutes sortes d'expériences de pensée cool en ligne, j'ai organisé un groupe de lecture chez Stripe, nous discutions de ces choses chaque semaine. C'était donc quelque chose qui me tenait vraiment à cœur, je pensais que si je pouvais aider d'une manière ou d'une autre à ce que le développement de l'IA soit un peu meilleur que si je n'étais pas là, ce serait la meilleure chose que je pourrais faire dans ma carrière.

Tout cela a convergé vers 2015, je sentais avoir atteint un jalon chez Stripe, l'entreprise continuerait avec ou sans moi, c'était un peu une question : « Est-ce que je veux prendre la voie managériale ? », ce qui était nécessaire pour la phase suivante, ou « Est-ce que je veux créer une nouvelle entreprise ? », ce qui m'a toujours motivé, alors j'ai décidé que c'était ce que je voulais. Au moment où j'allais partir, Patrick a dit : « Pourquoi ne parles-tu pas avec Sam [Altman] ? », il m'avait présenté à lui quelques années plus tôt. Il a dit : « Il a rencontré beaucoup de jeunes dans des situations similaires, peut-être qu'il pourra te donner des conseils » — espérant un peu que Sam me convaincrait de rester. Ce ne fut pas le cas.

(Rires) Oui.

GB : J'ai rencontré Sam, en trois minutes, il a dit : « OK, tu pars clairement, qu'est-ce que tu comptes faire ensuite ? », j'ai dit : « Eh bien, je pense à faire quelque chose dans l'IA », il a dit : « Je pense aussi à faire quelque chose dans l'IA ». C'était le début.

Étiez-vous d'accord avec toute l'histoire de l'organisation à but non lucratif ? Quelles étaient vos réflexions à ce sujet au moment de la création ?

GB : Eh bien, l'idée d'être une organisation à but non lucratif venait de Sam, et je pense qu'elle avait de nombreuses propriétés très importantes, dont certaines tiennent encore aujourd'hui. La technologie que nous construisons, elle est plus grande que tout ce qui a été créé, elle transcende les structures et systèmes traditionnels. Aucune structure d'entreprise existante ne peut entièrement englober notre mission et le travail dont nous avons besoin.

Donc, je pense que commencer ainsi était tout à fait raisonnable, et il y a toujours eu la question de savoir ce qu'il fallait réellement pour accomplir la mission ? C'est quelque chose sur lequel nous avons réfléchi longtemps. Je pense que nous avons toujours été très innovants en tant qu'entreprise dans la réflexion sur la construction d'une structure capable de couvrir le développement commercial, la distribution des bénéfices, tous les différents aspects de la mise en œuvre réelle de cette économie pilotée par le calcul, tout en accomplissant tout cela. Donc je pense que cela a toujours été un élément important, cela reste une partie clé de notre travail. Mais encore une fois, je pense que nous avons beaucoup innové autour de la structure de l'entreprise au cœur de la mission, et cette mission est immuable.

Oui, l'innovation est une façon de le dire. Vous avez mentionné le réseau de cartes de crédit, non ? C'est super opaque, beaucoup de choses des années 80, beaucoup de dépendance au chemin parcouru, cela a donné une opportunité à Stripe, parce que vous pouviez tout abstraire, pour les autres c'était : « Voici une API, elle fonctionne, ne posez pas de questions ». Maintenant, quand vous regardez en arrière sur OpenAI — difficile de croire que ça fait plus de dix ans — OpenAI aurait-il pu émerger d'une autre manière ? Y avait-il aussi cette dépendance au chemin ? Ou y avait-il un « si je revenais aux premiers principes, moi, Greg Brockman, ce que j'aime faire, je concevrais cette structure très différemment » ?

GB : Je ne vois pas d'autre manière qui nous aurait permis d'arriver là où nous en sommes aujourd'hui, là où la mission nécessite que nous soyons.

ChatGPT et les remous chez OpenAI

Parlez-moi du lancement de ChatGPT, parce que vous avez eu un tournant, vous avez réalisé qu'il fallait s'étendre, vous avez collaboré avec Microsoft, ajouté une partie lucrative, puis ChatGPT est arrivé, c'est devenu énorme. Vous attendiez-vous à ce qu'il devienne aussi gros ?

GB : Ce qui m'a surpris, c'est que mon erreur de prédiction était que GPT-3.5 serait quelque chose que les gens aimeraient vraiment et voudraient. Nous avions déjà GPT-4 à l'époque, il avait fini son entraînement vers août, et nous avons lancé ChatGPT fin novembre. À chaque fois que nous avons un nouveau modèle, ce qui se passe toujours c'est que nous nous y accrochons.

L'ancien semble horrible.

GB : Tout ce que nous voyons, ce sont les défauts du modèle précédent. Nous pensions juste : « Ah, ce modèle précédent est tellement mauvais, je n'arrive pas à imaginer que quelqu'un veuille l'utiliser ». Nous avions environ 200 testeurs, nous les payions pour utiliser ChatGPT avant sa sortie, encore une fois, nous devions les payer pour l'utiliser, et non l'inverse. Donc il y avait des signes de produit adapté au marché, si on creusait et regardait les détails, mais si on regardait de loin, ça n'en avait pas l'air.

Mais notre pensée était que GPT-4 allait clairement changer le monde, nous le savions, c'était très évident dès notre première conversation avec lui. Je me souviens de la première semaine après la fin de l'entraînement de GPT-4, juste ressentir sa réalité. Nous avions rêvé de l'AGI, réfléchi à l'AGI, imaginé à quoi elle ressemblerait. Mais quand vous avez pour la première fois une technologie que vous pouvez réellement interroger sur n'importe quoi, et qu'elle donne des réponses assez raisonnables, qu'elle obtient un 5 à l'examen AP de biologie — tout cela, pour moi, donnait l'impression que, OK, certaines choses vont être différentes. Ça ne changera peut-être pas le monde demain, mais dans les années à venir, cette technologie le fera absolument, et maintenant c'est une réalité. C'était très clair.

Donc, vous regardez le lancement de ChatGPT, ma pensée à l'époque était que nous devions d'abord mettre en place l'infrastructure, pour avoir une infrastructure de service LLM éprouvée en conditions réelles, nous y avions consacré des efforts. Puis en mars, quand nous avons lancé GPT-4 — si vous vous souvenez, nous avions six mois de retard entre la fin et la sortie réelle — à ce moment-là, nous avions déjà l'infrastructure prête. Mais je ne m'attendais pas à ce qu'il décolle aussi vite sous cette forme, même si je m'attendais à ce qu'il le fasse à l'avenir.

Comment était cette période ? Est-ce que tout le monde était à fond pour empêcher les serveurs de planter ?

GB : Oh, absolument. Nous avons donc lancé ce qu'on a appelé une prévisualisation de recherche discrète, et bien sûr, le résultat a été exponentiel, tous les systèmes imaginables ont planté. Notre système de connexion est devenu un énorme goulot d'étranglement, nous avons dû faire beaucoup de travail pour l'améliorer, on se prenait la tête en se disant : nous construisons cette technologie d'IA magique, et le goulot d'étranglement est « votre système de connexion peut-il passer à l'échelle ? ».

Je me souviens que nous avions un déploiement de noyaux d'inférence assez inefficace en production, j'avais en fait écrit quelque chose de plus efficace, ou nous avions quelque chose de plus efficace côté recherche, et un travail important a été : « Adoptons réellement ces optimisations, migrons-les », donc un groupe de personnes s'est attaqué au problème, l'a résolu. Je pense que c'était le tableau général du premier jour, de la première semaine, du premier mois : mettre à l'échelle chaque système, essayer de suivre vague après vague de demande.

Que s'est-il passé en novembre 2023 ?

GB : Réponse très complexe. Par où voulez-vous que je commence ?

Je ne sais pas, je pense que je dois vous demander ça. Est-ce lié à — vous avez pris des congés peu après, y a-t-il un lien entre les deux ?

GB : Écoutez, ce que je veux dire, au plus haut niveau, je pense que 2023 a vraiment montré qu'il y avait des tensions qui s'étaient accumulées, vraiment des tensions interpersonnelles, que nous n'avions pas suffisamment anticipées et résolues. Pour moi, c'est l'une des leçons les plus importantes d'OpenAI : nous construisons de la technologie, mais il s'agit toujours des gens, dans le bon comme dans le mauvais sens. Cela signifie que la gestion des dynamiques relationnelles est l'une des choses les plus importantes que nous faisons, et si nous ne les résolvons pas à l'avance, si nous n'avons pas les conversations difficiles, c'est là que les choses peuvent devenir délicates. Donc je suis heureux d'entrer dans plus de détails, mais je pense que si vous creusez vraiment, beaucoup ne concernent pas les problèmes techniques plus intéressants.

Dans quelle mesure cela est-il lié au succès énorme et inattendu de ChatGPT ? Y a-t-il un lien, ou pensez-vous que ces tensions seraient de toute façon apparues ?

GB : Je ne pense pas qu'il y ait un lien de causalité direct, du moins de mon point de vue. Je pense que d'une certaine manière, il y a peut-être un thème sous-jacent : à mesure que notre technologie progresse, chacun ressent le poids du monde, ressent les enjeux.

En fait, l'une des choses les plus difficiles est de savoir comment avancer ? Pour moi, une chose que je commente souvent est que nos activités quotidiennes ressemblent presque à celles de n'importe quelle autre entreprise. Vous déboguez toujours un problème de bas niveau, quelqu'un est en colère contre quelqu'un d'autre pour quelque chose qu'il a dit ou ne l'a pas invité à une réunion, ce genre de choses. Ce sont juste des facteurs humains, le travail des gens. Mais bien sûr, les enjeux sont si énormes.

Donc je pense qu'il y a quelque chose de très important chez OpenAI, en fait une chose sur laquelle je me concentre particulièrement, c'est de vraiment essayer de ne pas mettre les gens dans des situations où ils sentent le poids du monde sur leurs épaules et se sentent seuls. Le faire vraiment ensemble en équipe, c'est la chose clé, et je pense que c'est peut-être ainsi que je dirais que cela est lié à ces événements — ce n'est pas spécifique à ces événements, mais c'est un thème continu dans le développement d'OpenAI — vraiment maintenir ce sentiment que nous faisons cela ensemble, essayer à la fois de relever le défi et de nous assurer que nous faisons tout le travail de fond, ce travail de fond. C'est une façon dont je pense que nous avançons.

Oui, je veux dire, vous avez toujours été un promoteur très positif, je pense que c'est l'une des philosophies générales d'OpenAI : mettre des choses dans le monde, expérimenter, voir ce qui se passe, puis réagir en conséquence. Prendre des décisions basées sur des preuves empiriques, plutôt que sur des théorisations sur l'avenir. Je pense que vous avez beaucoup articulé cela autour de l'IA, mais ma question est, je pense que vous l'avez aussi abordé d'une certaine manière, OpenAI en tant qu'organisation elle-même semble aussi être une expérience à grande échelle en cours d'ajustement. L'interprétation négative est qu'il semble juste osciller, se réorganiser ici, changer de direction là, est-ce un monstre difficile à maîtriser ? Ou est-il peut-être plus structuré, plus résilient que les gens ne le pensent ? Quand vous regardez en arrière, vous dites que cela ne pouvait pas être autrement, aurait-il été mieux d'une autre manière ?

GB : Premièrement, nous avons beaucoup changé et grandi depuis le début, opérer l'entreprise est très différent, mais nous avons toujours été des pionniers pour faire avancer le domaine. Cela a été vrai en matière de sécurité, de sûreté, de technologie de base et de réflexion sur la distribution des bénéfices. Tous ces domaines sur lesquels nous nous sommes concentrés dès le début, et je pense que les résultats parlent d'eux-mêmes.

Maintenant, ce changement est réel. Et, parfois, l'équipe qui convient à une phase ne convient pas nécessairement à la suivante. Une chose sur laquelle je me suis beaucoup concentré cette année est de constituer une équipe dirigeante qui m'enthousiasme beaucoup, de réfléchir à la phase suivante et à ce que nous pourrons accomplir ensemble. Donc, un thème pour 2026, peut-être un changement par rapport à ce que nous avions auparavant, c'est que parce qu'il y a tellement de gens dans le domaine, tellement de choses à faire, et que la technologie évolue si vite, nous sommes sévèrement limités par la puissance de calcul, vous devez vous concentrer. Vous devez vraiment être léger. Vous devez choisir des domaines qui progressent de manière synergique.

Donc, en fait, prendre des décisions comme : « Hé, Sora, technologie incroyable, mais plus orientée vers le divertissement grand public, par rapport à nos autres priorités, nous ne pouvons pas la prioriser », puis nous l'annulons. Cela a des impacts en aval, c'est douloureux, il est difficile de prendre ces décisions, mais tout cela pour maintenir cette concentration serrée, afin que nous puissions accomplir la mission centrale.

Vous croyez beaucoup à l'évolutivité, OpenAI lui-même est-il évolutif ?

GB : Je crois que c'est peut-être l'entreprise la plus évolutive de l'histoire. Oui.

Je parle en interne, en tant qu'organisation. Qu'est-ce qui n'est pas évolutif ? Nous avons parlé de calcul, de données, vous avez mentionné le facteur humain plus tôt. Le défi ultime d'alignement — nous pensons que l'alignement consiste à faire faire à l'IA ce que nous voulons — mais faites-vous face au défi inverse ? Pouvez-vous suivre le domaine, le problème d'un point de vue managérial ?

GB : Je dirais deux réponses. Premièrement, absolument oui. Vous pouvez le voir à la manière dont nous avons mûri en tant qu'organisation au cours des dernières années, il y a quelques années, nous avions beaucoup de dette managériale. Encore une fois, dans de nombreux domaines, je pense que nous avions vraiment besoin de grandir, de mûrir, mais je pense que nous avons fait ce travail. C'était difficile et douloureux, mais je pense que nous sommes maintenant dans une bien meilleure position, et je suis incroyablement enthousiaste pour l'entreprise et son avenir.

Mais il y a une deuxième chose, c'est qu'il vaut la peine de prendre du recul et de reconnaître que la manière dont les entreprises fonctionnent est en train de changer. Par exemple, vous pouvez regarder le revenu par employé. Notre revenu par employé, et celui d'entreprises similaires, est astronomique par rapport à toute entreprise précédente. Il y a une raison à cela, vous commencez à voir ce levier accru que cette technologie peut offrir. Et, parce que nous fabriquons cette technologie, et nous efforçons de la rendre largement disponible, d'aider tant d'entreprises, vous verrez que de nombreuses autres entreprises pourront fonctionner différemment, pourront avoir ce genre de revenu par employé excédentaire.

Pour moi, c'est très excitant, nous changeons ce que signifie même opérer une entreprise, comment fonctionner. Donc, certaines choses sont constantes, juste des gens qui travaillent ensemble — il y a quelque chose de très fondamental là-dedans, vraiment le faire de manière bonne et cohérente est quelque chose sur quoi je me concentre toujours. Mais je pense qu'il y a aussi la question de tirer parti des possibilités de notre technologie, ce qui signifie que chaque entreprise aura une nouvelle opportunité.

Productivité et AGI

Vous avez mentionné l'annulation de Sora, et l'avez positionné comme orienté vers le divertissement grand public. ChatGPT, un énorme succès grand public, vous gagnez de l'argent incroyable auprès des consommateurs. Mais en fin de compte, combien de gens sont prêts à payer pour ça ? Combien de clients veulent réellement augmenter la productivité ? Le fait d'avoir un si grand succès sur le marché grand public est-il presque un inconvénient, parce que cela distrait, cela consomme beaucoup de GPU, peut-être avez-vous manqué — pas vraiment manqué — mais vous avez commencé tard pour que l'entreprise devienne l'objectif principal ?

GB : Nous avons souvent cette conversation en interne, et en fait, je pense que c'est l'un des atouts d'OpenAI, nous examinons vraiment tout ce que nous faisons à partir des premiers principes, repensons constamment, avons beaucoup de points de vue et perspectives différents. Certaines personnes peuvent argumenter sous presque tous les angles, et elles ont toutes un certain mérite. Donc, l'affirmation « Hé, il y a ce moment agent, nous y avons réagi lentement » a un certain mérite.

Mais il est aussi vrai qu'il y a un milliard de personnes — c'est plus de 10 % de la population mondiale. Aux États-Unis, je pense que le chiffre est qu'environ un tiers des gens utilisent ChatGPT chaque semaine. Avoir autant de personnes utilisant votre système chaque semaine, c'est unique, il n'y a rien de comparable pour ce type de technologie avancée.

Donc, d'un côté, si vous le voyez simplement comme : « Hé, nous avons une technologie avancée », le défi du chat en tant que produit est qu'il ne correspond pas nécessairement à des modèles plus intelligents. Si vous l'utilisez simplement comme un remplacement de moteur de recherche, il n'est pas clair si les gens obtiendront directement ces avantages par le chat traditionnel. Mais je pense que toutes ces choses convergeront vers un point où nous verrons que ce milliard d'utilisateurs est un investissement, une accumulation réelle de valeur pour la manière dont les futurs modèles seront débloqués, vous en voyez les premiers pas avec ChatGPT Work et autres, il y a beaucoup de nuances et de complexité, mais une grande partie de la stratégie a toujours été de dire : nous avons les consommateurs, nous avons les entreprises, ce sont deux choses — nous ne voulons pas faire deux choses, nous voulons en faire une. Nous voulons construire un AGI, un système, une pile unifiée. Nous voulons que ce soit quelque chose que vous puissiez utiliser dans votre vie personnelle, votre vie professionnelle.

Oui, mais cela ne pose-t-il pas de problème de sortie de l'architecture organisationnelle interne ? Vous avez lancé un nouveau ChatGPT, très différent de l'ancien, basé sur Codex. Je peux voir les avantages en interne chez OpenAI, mais les clients ne sont-ils pas frustrés parce qu'ils ne réalisent pas ce qu'ils peuvent faire, donc « Nous allons les jeter directement dans le grand bain, en espérant que cela les aide à comprendre par eux-mêmes » ?

GB : Je pense que l'industrie subit une transformation fondamentale, vous pouvez le voir dans les nouveaux produits d'agents qui émergent actuellement. Je pense que le changement central est que vous passez du chat aux cas d'utilisation d'agents. Encore une fois, ce n'est pas seulement une question de productivité. Je pense que dans votre vie personnelle, vous voulez pouvoir demander à cette chose de réserver des billets pour vous, de prendre rendez-vous chez le coiffeur, de faire ces choses personnelles, mais vous voulez aussi qu'elle vous donne de bons conseils de vie, qu'elle vous aide à gérer les informations de santé.

Donc pour moi, le mot productivité est trop étroit. Pour moi, le mot consommateur est trop large. L'entreprise est aussi quelque chose qui, je pense, va se transformer. Tous ces mots classiques, ils vont fusionner et s'entremêler d'une manière sans précédent dans la construction de produits. Donc mon point de vue est qu'il faut ici une gestion du changement, à savoir comment guider un milliard d'utilisateurs vers de nouveaux ensembles de cas d'utilisation, les aider à comprendre. Et, au fait, il y a un « avantage déloyal » possible, c'est que vous avez une IA qui comprend ce que vous essayez d'accomplir.

C'est vrai.

GB : Elle peut dire : « Oh, si vous activez ce connecteur, si vous faites ça, je peux en fait vous aider davantage ». Cela me semble être une chose merveilleuse, une opportunité merveilleuse, il y a un grand potentiel là-dedans. Quand je dis « déloyal », je veux dire par rapport à ce que vous pourriez accomplir avec la technologie classique. Si vous comparez simplement une technologie à une autre, cette technologie a quelque chose d'unique.

Vous avez mentionné plus tôt l'angle de Turing, je suis content que vous ayez mentionné les deux parties, parce que l'IA peut-elle parler comme un humain ? Évidemment, nous avons dépassé ce point il y a longtemps. Mais pour moi, la définition de l'AGI — c'est une question délicate pour vous, je pense, elle n'est finalement plus limitée par votre accord avec Microsoft, donc nous n'avons pas à nous inquiéter de cet angle — pour moi, elle a un certain lien avec l'apprentissage. Vous avez mentionné l'apprentissage, et dans quelle mesure le LLM a-t-il appris (passé), mais le défi est de savoir s'il continue d'apprendre (présent) ?

Pour moi, ce qui est révolutionnaire dans le moment agent, je pense, c'est vraiment qu'il peut écrire des choses. C'est la nécessité de la transition Codex/ChatGPT, parce qu'il a acquis la capacité d'écrire des choses. Si vous pouvez écrire, vous pouvez vous souvenir des choses. Si vous pouvez vous souvenir des choses, vous pouvez devenir très utile à bien des égards. La question est, est-ce un état final, ou allons-nous obtenir un LLM qui peut apprendre en continu, et c'est ça l'AGI ? Ai-je tort, ou cela correspond-il à la deuxième partie de la question de Turing ?

GB : Oui, je pense que c'est aussi un domaine de débat très intéressant, parce que les gens ont vraiment leur propre définition de l'AGI, c'est presque une chose floue. Au début, nous pensions que ce serait comme, il y a un point dans le temps où tout le monde s'accorderait à dire que c'est l'AGI, mais les choses ne se sont pas du tout passées comme ça.

Maintenant, je tends à avoir une perspective abstraite de la technologie. Donc, des questions comme : la mémoire doit-elle être intégrée aux poids ? Est-ce un Transformer ou autre chose ? Je pense que ce sont des détails. La vraie question est : avez-vous un système qui fonctionne de la manière dont vous vous attendez à ce qu'une vraie IA fonctionne, un système capable d'apprendre, capable d'apprendre de vous, capable de s'adapter à vos besoins ? Et cette question, est-elle réalisée par le fait qu'il écrit sur un bloc-notes ? Par des tokens logiciels ? Ou par d'autres moyens ?

Tout cela, pour moi, semble être des réponses possibles à la question. Je pense qu'il est clair que nous sommes allés beaucoup plus loin qu'on ne pouvait raisonnablement s'y attendre avec « écrire sur un bloc-notes ». C'était surprenant de voir à quel point c'était réussi, parce qu'il y a deux ans, nous aurions peut-être dit : « Oui, vous avez besoin de ces contextes très longs, c'est ce dont vous avez besoin », et en fait, il s'avère que juste en « écrivant un bloc-notes » avec un contexte plus court, on va incroyablement loin.

Il suffit d'écrire.

GB : Nous verrons donc ce que l'avenir apportera pour améliorer ces aspects. J'ai cette conviction que si vous regardez en grand, tout est exponentiel. Si vous zoomez, vous verrez ces changements de paradigme. Soit dit en passant, c'est le point de vue de Ray Kurzweil sur la façon dont la technologie et le calcul fonctionnent. Je pense que c'est absolument vrai, même sur des questions comme comment fonctionnera la mémoire.

Astra

Vous venez donc de lancer Astra. Nous y arrivons enfin. Est-ce un nouveau modèle pré-entraîné ? Allez-vous publier des détails sur la taille, l'architecture ? Nous enregistrons cela avant l'annonce officielle, donc je n'ai pas encore vu tout ce que vous avez publié.

GB : Eh bien, nous ne discuterons pas des détails internes et de l'architecture, etc. Mais c'est un énorme progrès. Nous disons que c'est la première exécution que nous entraînons sur plus de 100 000 GPU, c'est un chiffre facile à dire, mais pensez à l'échelle. Ces centres de données sont en un sens d'énormes machines que nous avons construites pour aider à livrer et créer la technologie de l'IA, pouvoir exploiter autant de puissance de calcul pour livrer le genre de résultats que nous avons obtenus, c'est un véritable défi et miracle d'ingénierie.

Donc une partie de cela consiste à rendre le modèle plus capable, mais une si grande quantité de puissance de calcul est consacrée à la sécurité et à l'alignement, nous avons fait beaucoup de travail de sécurité autour de cela. Je pense que nous avons fait un travail considérable pour livrer ce modèle en toute sécurité. C'est notre modèle le plus aligné à ce jour, et pour moi, c'est absolument crucial, et ça l'a toujours été. Mais parce que les capacités sont si puissantes, l'alignement et la sécurité deviennent plus saillants et centraux dans le travail de chacun.

Votre post d'annonce était intéressant. Il était très factuel. Il y avait beaucoup de cas d'utilisation pratiques. Comparé aux annonces de vos concurrents, le contraste était très grand. Vous positionnez l'IA comme un outil — je pense que c'est une façon juste de le dire — est-ce du marketing, ou est-ce ainsi que vous voyez l'IA, plutôt que, disons, créer Dieu ?

GB : Je pense que nous avons une valeur fondamentale profonde, dont certaines concernent réellement la façon dont nous voyons les gens. Les gens ont de la valeur, pas seulement parce que nous pouvons accomplir des tâches. Nous avons de la valeur parce que nous sommes des personnes, parce que nous avons des sentiments, parce que nous comptons. Le jugement humain, la supervision humaine, le contrôle humain, tout cela doit absolument être maintenu, et le rester pour toujours. C'est un noyau immuable en lequel nous croyons.

Donc, quand nous pensons à ce que nous pouvons faire pour aider à guider l'avenir de cette technologie — d'une certaine manière, c'est le but de tout cela, c'est la raison pour laquelle nous avons créé cet endroit, c'est ce qui nous préoccupe, comment aider cette technologie à prendre une direction légèrement plus positive que si nous n'étions pas là — nous réfléchissons à ces questions, sur la façon dont cette technologie se déploie dans le monde. Nous voulons qu'elle élève tout le monde, mais aussi sur la façon dont les humains interagissent avec la technologie, avec l'ordinateur. Cela change clairement. Même juste en réduisant la frappe, en parlant davantage avec votre ordinateur, en ayant cette interface plus naturelle.

Mais la supervision humaine réelle, la créativité et la vision, tout cela, je pense, est très important à préserver. Donc cela imprègne vraiment ces questions : en parlez-vous comme d'une personne ou comme d'un outil ? Considérez-vous les cas d'utilisation ? Ou y pensez-vous différemment ? Vous pouvez voir cela comme presque une petite chose, en fait je suis content que vous l'ayez souligné, mais c'est quelque chose que nous avons beaucoup réfléchi. L'équipe a passé beaucoup de temps à vraiment penser à tout ce que nous voulions dire, et à la façon dont nous voulions présenter ce genre de travail au monde.

Donc, est-ce une sortie de modèle, ou une sortie de produit, ou y a-t-il une différence ?

GB : Ces choses se mélangent vraiment. Je dirais que c'est d'abord une sortie de modèle, mais ce modèle est qualitativement plus capable. Le titre est peut-être l'utilisation de l'ordinateur. Il a vraiment franchi mon seuil, l'utilisation de l'ordinateur a toujours été — même depuis les tout débuts d'OpenAI, je me souviens en novembre 2015, avant même que cela ne commence vraiment —

Eh bien, c'était comme votre premier produit, non ? Comme jouer à des jeux vidéo et autres.

GB : Oui, c'est vrai. Ah, vous vous souvenez, oui. Nous avions une vision : si vous pouviez traiter les pixels de l'écran, le clavier, la souris, entraîner une IA de bout en bout, elle serait vraiment capable de gérer n'importe quel type de tâche, n'importe quelle chose pour laquelle vous voulez de l'aide, cette IA pourrait le faire.

Si vous regardez l'ère des deux dernières années, c'était une ère de connecteurs. Vous aviez des logiciels que les humains pouvaient bien utiliser, mais auxquels l'IA n'avait pas accès. Alors que faites-vous ? Vous devez écrire un connecteur très spécifique pour vous connecter à l'API, tout n'est pas exposé, donc vous ne pouvez pas faire tout ce que vous pourriez faire. Puis vous pensez à tous les logiciels sans API, ceux qui sont totalement hors de portée.

Nous avions donc un monde contraint, où l'IA était si limitée dans son aide. Je pense que nous avons maintenant une technologie qui est presque un connecteur universel. Maintenant, cela ne signifie pas que tous les problèmes sont résolus. Vous devez penser à la façon de mettre des garde-fous d'entreprise autour du comportement de ces IA ? Comment avoir une supervision, une gestion, un suivi et une observabilité appropriés ? Tout cela, nous y travaillons.

Je considérerais donc cela comme un processus continu, sur la façon dont les produits se déploient pour aider à exploiter cette capacité. Mais cela change déjà la façon dont les gens travaillent en interne chez OpenAI, et je pense que cela va vraiment améliorer tant d'entreprises, tant d'individus.

Chaine de valeur de l'IA

Si vous considérez la chaîne de valeur globale, il y a une position où vous voyez des combats sur deux fronts. L'un est que vous avez des entreprises comme Microsoft, ou d'autres partenaires — si vous ne voulez pas utiliser leur nom, parce qu'ils restent des partenaires importants — mais ils veulent commoditiser les modèles. Ils veulent construire des choses par-dessus, vous pouvez brancher et débrancher des modèles, ils détiennent tout le contexte et les choses importantes. Mais en même temps, vous construisez ces capacités incroyables qui finissent par être très proches de l'utilisateur final, elle fait juste ce que vous voulez qu'elle fasse. Est-ce inévitablement l'endroit où vous devez arriver pour atteindre vos objectifs ? Y a-t-il aussi cette nécessité économique — si nous ne voulons pas être commoditisés, nous devons monter vers le produit, et nous connecter directement aux utilisateurs ?

GB : Je dirais que notre mission fondamentale est que nous voulons plus de capacité d'IA dans le monde. Nous voulons que les gens utilisent davantage l'IA pour faire plus de choses, qu'elle les aide, et nous pensons vraiment que nous faisons avancer cette économie pilotée par le calcul. Cela prend des formes différentes dans différents secteurs verticaux.

Parfois, nous pensons être dans une position où nous pouvons vraiment nous concentrer sur un domaine et bien faire, ou c'est très central pour notre mission. La santé est un bon exemple. Nous construisons quelque chose de très unique dans le domaine de la santé. En fait, ce qui me surprend, c'est combien peu de couverture médiatique reçoit ce que nous faisons dans la santé par rapport au nombre de personnes que cela aide réellement. Nous avons environ 300 millions de personnes qui utilisent ChatGPT pour des requêtes de santé chaque semaine. 300 millions, c'est un chiffre énorme. Et nous construisons aussi un produit ascendant pour les cliniciens, et un produit descendant d'entreprise pour les hôpitaux. Donc nous avons un marché à trois volets dans la santé, et les choses que nous pouvons y faire incluent, par exemple, vouloir recruter des gens pour des essais cliniques — c'est un problème difficile, mais nous pourrions en fait avoir la capacité d'aider à trouver des gens qui autrement ne seraient pas trouvés. Cela aide à la fois les patients, et fait avancer ces médicaments plus rapidement.

Donc il y a un noyau où la santé est absolument centrale pour notre mission, nous avons une opportunité unique de réussir, une opportunité unique, alors nous nous concentrons vraiment dessus. Nous constituons une équipe, y mettons toute notre énergie, établissons toutes sortes de relations.

Une chose que nous faisons lorsque nous entrons dans des secteurs verticaux spécifiques est de réfléchir à la façon de bien collaborer avec l'écosystème. Cela ne signifie pas que nous n'allons pas y être concurrents — nous sommes souvent très concurrentiels — mais nous pensons aussi vraiment que nous allons élever tous les acteurs, et comment nous concentrer vraiment sur cette mission centrale, à savoir que nous avons cette technologie, nous voulons qu'elle soit largement diffusée, nous voulons qu'elle soit partout. Donc parfois, c'est un peu subtil. Quand nous entrons dans un domaine spécifique, il y a toujours beaucoup de questions sur ce que nous voulons exactement faire, ce que nous pouvons et ne pouvons pas faire. Mais je pense que la façon dont nous voyons cela est que l'objectif global d'OpenAI bénéficie du fait que plus de gens utilisent l'IA de manière positive.

Eh bien, s'il y a une couche au-dessus de vous qui essaie de vous commoditiser, alors il y a peut-être aussi un angle selon lequel vous essayez de commoditiser la couche en dessous de vous. Vous venez de parler davantage de votre puce Jalapeño à Hot Chips. Pourquoi Jalapeño est-elle importante ? Est-elle importante seulement pour économiser de l'argent sur l'achat de puces ?

GB : Je le vois comme ceci : depuis 2017, nous avons essentiellement été en contact avec chaque startup matérielle, chaque fournisseur. Nous leur parlons, leur donnons des retours, nous disons : « Hé, nous voyons la direction des modèles comme ceci, nous pensons que vous devriez faire ça ». Parfois ils nous écoutent, parfois non, parfois nous sommes des partenaires proches, parfois ils ne veulent pas trop nous parler.

Une chose très libérante d'avoir un projet de puce interne est que nous pouvons directement poursuivre ce que nous pensons être le meilleur, ce que nous pensons être parfaitement ajusté, pas seulement pour ce que nous faisons actuellement, mais pour la direction dans laquelle nous pensons que cette technologie évolue. C'est un investissement très important — nous avons une équipe, une équipe absolument incroyable, avec un leadership exceptionnel, qui travaille là-dessus depuis un bon moment. Mais encore une fois, cela fait aussi partie de notre collaboration étroite avec l'écosystème.

Nous travaillons en étroite collaboration avec NVIDIA en tant que notre partenaire informatique de choix, si vous regardez l'échelle et l'unicité des ordinateurs que nous construisons, nous avons besoin de NVIDIA, cela ne fait aucun doute, nous construisons ces incroyables ordinateurs d'entraînement, nous faisons aussi beaucoup d'inférence avec eux, nous pouvons pousser leur matériel d'une manière qu'ils ne réalisent même pas eux-mêmes.

Oui, j'ai entendu dire que c'était un peu difficile à ramasser, peut-être que cela a rendu plus difficile de sortir des modèles très grands à temps, mais je suppose que maintenant ça fonctionne.

GB : Oui, oui. Je dirais qu'avoir une expertise interne nous permet de faire certaines choses, parce que nous comprenons les choses en profondeur. C'est une chose de s'asseoir en dehors et de lancer des suggestions par-dessus la clôture, si vous vivez réellement la douleur, c'est autre chose.

Un bon exemple de cela est en fait l'IA pour la conception de puces. Nous en avons parlé, nous avons utilisé nos propres modèles dans la conception de Jalapeño, cela a vraiment accéléré les choses, nous a donné quelques victoires réelles, toutes des choses cool. Soit dit en passant, il y a une histoire cool là-dedans, nous approchions d'une date limite, il restait environ un mois, nous avons obtenu quelques optimisations via notre modèle. Nous nous sommes dit : « Passons-nous du temps à vraiment lire ce qu'il a fait ? Nous savons que c'est correct. Avons-nous besoin de comprendre exactement quelles optimisations il a faites, ou passons-nous le temps restant à faire plus d'optimisations ? » — alors nous nous sommes dit : « Vous savez quoi ? Faisons juste plus d'optimisations ». Nous avons donc passé ce mois à juste le faire tourner, sans comprendre en profondeur tous les ajustements qu'il faisait. Puis nous sommes revenus pour lire ce qu'il avait fait, et il s'est avéré qu'il avait trouvé beaucoup d'optimisations qui étaient déjà sur notre liste, mais que nous n'avions jamais faites, donc c'était en fait une histoire assez cool.

Mais maintenant que nous avons cette expertise, nous savons que cette chose fonctionne, nous pouvons l'apporter à l'écosystème. Nous pouvons travailler en étroite collaboration avec tout le monde, apporter vraiment largement ces bénéfices, transformer le matériel, et l'appliquer à grande échelle. Il y a donc quelque chose d'absolument crucial dans cette roue de l'innovation, les puces sont incroyables, l'équipe fait du bon travail.

Mais, quand vous ne pouvez pas expédier en volume, que vous devez encore travailler avec d'autres dans l'écosystème pour obtenir l'approvisionnement dont vous avez besoin, est-ce problématique d'en parler maintenant ?

GB : Eh bien, mais c'est le cœur, c'est en fait le cœur de tout. Nous le considérons comme — je pense que tout est un effet multiplicateur, tout est complémentaire, tout s'additionne. Encore une fois, NVIDIA est notre partenaire de choix, cela ne changera pas. En fait, nous collaborons plus étroitement avec eux. Nous sommes très reconnaissants de ce partenariat, nous passons beaucoup de temps avec leur équipe, nous apprenons beaucoup d'eux, nous espérons qu'ils apprendront aussi de nous, et je pense que cela ne changera pas. Pouvoir avoir une expertise interne et réfléchir par nous-mêmes, pour moi, c'est aussi un effet multiplicateur, je pense que cela profite vraiment à tout le monde.

Cybersécurité

Vous avez mentionné que vous avez simplement fait confiance à la conception de l'IA, cela vous a fait aller plus loin. Est-ce la réponse à la cybersécurité ? Certains de vos ingénieurs ont donné des conférences à Black Hat, parlant de ce problème structurel — les attaquants n'ont pas à s'inquiéter de casser des choses, leur objectif est de casser des choses. Si vous êtes du côté de la défense, en plus de repousser ces attaques, vous devez vous soucier que tout continue de fonctionner. Le côté défense doit-il arriver à un point de faire entièrement confiance à l'IA ?

GB : Je pense que le côté matériel est une étude de cas très importante, parce que là nous avons des garde-fous. Nous avons de la vérification, en fait, la façon dont nous avons écrit la conception matérielle sous-jacente était spécifiquement pour permettre la vérification, donc nous avons presque co-conçu l'ensemble du système.

C'est comme coder, vous écrivez d'abord les tests unitaires, puis vous implémentez à l'envers.

GB : Ce genre de choses, comment vous choisissez votre langage et votre chaîne d'outils, l'ensemble, ils vont ensemble, en fait tout cela s'additionne pour donner un système où vous pouvez avoir ce genre d'observabilité et de confiance.

Je pense que dans certains domaines, vous pouvez dire : « J'ai suffisamment de garde-fous, si c'est du code ou une optimisation que je n'ai pas complètement vérifiée, en fait c'est OK », tant que vous avez des contrôles compensatoires appropriés. Mais je pense qu'en tant qu'humains, il est très important de comprendre et de ressentir la responsabilité envers les systèmes que vous créez. C'est en fait central pour moi, pour revenir à ce qu'est l'humain, ce qui nous rend uniques, ce que nous allons apporter à l'avenir, je pense que la responsabilité en est le cœur. En fin de compte, vous êtes responsable de ce qui se passe dans votre entreprise.

Oui, mais si le côté attaque n'est pas responsable, est-ce un désavantage structurel ?

GB : Donc je pense que c'est quelque chose que nous considérons souvent, nous l'appelons la « fenêtre du défenseur ». Je pense que nous pouvons voir les grandes lignes de l'avenir, nos capacités de pointe montrent le type de capacités qui se diffuseront vers les acteurs de la menace. Soit dit en passant, je pense qu'il est très important que ces capacités ne soient pas enfermées à jamais dans quelques laboratoires, une large distribution du pouvoir est très importante, et cela fait partie de notre mission.

Mais nous avons la capacité d'avoir une séparation dans le temps. Il existe une fenêtre où les défenseurs peuvent obtenir ces capacités de manière différentielle. Mon point de vue est que c'est vrai — il y a un point de vue répandu dans la communauté de la cybersécurité que l'attaque est un problème technique, la défense est un problème politique. Les attaquants peuvent simplement prendre quelque chose sur l'étagère et l'utiliser, tandis qu'en tant que défenseur, vous devez considérer vos parties prenantes, vous devez considérer votre entreprise, vous devez considérer comment vraiment impliquer les gens, votre PDG, tous les cadres, tout ça. Donc je pense qu'ici, les défenseurs ont besoin de cette volonté.

Une chose que nous suggérons, que nous avons en fait fait et dont nous parlons maintenant publiquement, c'est que chaque entreprise devrait considérer cela comme un incident proactif. Les opérations critiques, un incident proactif, c'est votre prochaine priorité, donc nous avons en fait sorti 25 % de nos ingénieurs de production pour nous protéger nous-mêmes. Nous avons pris nos modèles — en fait, nous avons pris Astra, l'avons pointé vers nos propres systèmes pour trouver des vulnérabilités, pas seulement lire le code, mais vraiment observer comment ces choses fonctionnent de bout en bout, ainsi nous trouvons des vulnérabilités réelles et efficaces, puis cela nous aide aussi à effectuer les réparations, les correctifs et les réparations. Donc je pense que vous avez vraiment besoin d'un changement d'énergie dans l'écosystème, pour rester en avance et exploiter cette fenêtre.

Eh bien, c'est bien que vous fassiez cela maintenant, mais pour moi, ce qui est frappant dans l'incident de Hugging Face et les reportages associés, c'est le sentiment qu'OpenAI ne s'était pas particulièrement concentré sur la cybersécurité auparavant. Pourquoi ne faisiez-vous pas cela avant ? La « fenêtre du défenseur » n'était-elle pas ouverte depuis un moment, et vous ne l'avez pas exploitée ?

GB : Eh bien, deux réponses. Une, si vous regardez la façon dont nous avons fait le sandbox, ce n'est pas que cette charge de travail n'était pas sandboxée. Il y avait en fait un sandbox autour d'elle, et je pense qu'une chose que nous avons réalisée est que nous avions —

Oui, cela n'a clairement pas été suffisamment testé. Était-ce vraiment un sandbox ? Ou était-ce une connexion à Internet via un tiers qui a juste été jeté là-dedans ? Ce qui est frappant dans cet incident, c'est ça. C'est comme si, si vous vouliez tester des vulnérabilités, je suppose que vous l'avez fait.

GB : Sans aucun doute, l'IA a fait des choses très créatives pour s'échapper et entrer dans Hugging Face. Mais pour moi, il y a une chose plus grande, je pense que vous avez raison de le souligner, c'est que depuis la sortie de Mythos cet été, quand nous avons commencé à avoir des modèles avec des capacités réseau — nous en avons même parlé en février avec notre programme d'accès réseau de confiance, parce que nous voyions cette vague arriver, nous voulions vraiment nous y préparer — il y avait une tendance —

Je sais, mais vous en avez parlé en février, mais vous ne l'avez pas pointé vers votre sandbox, « mon sandbox est-il vraiment sûr ? ».

GB : Il y a un instinct, une réaction, qui est de dire : « Limitons l'accès à grande échelle, soyons vraiment restrictifs, seulement si vous pouvez obtenir l'accès vous pouvez l'utiliser ». Je pense que, comme vous le dites, parce que le domaine évolue, cela signifie que les défenseurs perdent du temps, les gens ne se défendent pas. Cela fait partie de l'accès, mais cela fait partie de la force que vous mettez à dire que nous allons opérer un changement majeur dans ce domaine.

Maintenant, je pense que d'une certaine manière, le temps n'est pas égal, parce que nous sommes passés d'un monde où les modèles réseau étaient moins utiles, moins différenciateurs, à un monde où ils sont en fait très capables, très puissants. Nous l'avons vu sur Astra, nous avons parlé de la façon dont il a vraiment saturé toute une série d'évaluations. Je pense que maintenant c'est le moment, il y a quelques mois ça aurait pu l'être aussi, mais vous n'auriez que des modèles bien moins capables, vous feriez bien moins de progrès.

Je pense donc qu'en évaluant vraiment où nous en sommes, nous y sommes clairement arrivés, je pense que c'est quelque chose que nous avons appris, que nous gardons à l'esprit, et je pense que vous voyez un véritable changement. C'est en fait un changement culturel, opérationnel à bien des égards, ce n'est pas facile, parce que cela signifie vraiment que vous devez faire travailler les équipes très étroitement ensemble, avoir des normes plus élevées sur la façon d'établir des politiques, etc. Tout cela, pour nous, en termes de changement, ce n'est pas que nous nous soucions de ces aspects depuis toujours, mais c'est vraiment les rassembler opérationnellement, et être capable de prendre des décisions de la manière dont nous le faisons maintenant, je pense que c'est une élévation de tous les aspects de ce que nous faisons.

Maintenant, soudain, ils peuvent le faire, comme si le faire avant aurait été une perte de temps, je pense que cela a un certain sens. Comment éviter de tomber dans le piège « l'IA le fera à l'avenir, donc nous n'avons pas besoin de le faire maintenant » ? En général, pas seulement pour cette chose.

GB : Je vais donner un point de données concret, donc tôt, vers le premier trimestre quelque part, nous avons vraiment commencé à penser, nous allions avoir — difficile de savoir quand, mais nous allions avoir ces modèles très capables en réseau. Quel sandbox pouvions-nous construire à partir de zéro, sur l'infrastructure cloud, aussi sûr que possible ? Nous l'avons construit. Nous avons en fait envoyé certains de nos meilleurs ingénieurs résoudre ce problème, ils y ont mis toute leur énergie et ont produit quelque chose.

Donc je pense que construire l'infrastructure à partir de zéro autour de l'avenir que vous voyez, c'est une chose que je pense importante. Quant à la question de timing que vous avez mentionnée sur « oh, nous pouvons laisser l'IA le faire » — nous l'avons vu dans différents domaines, dans l'écriture de noyaux, en pensant au fait : « OK, nous allons entrer dans un futur où l'IA pourra bien écrire des noyaux GPU », ce genre d'investissement classique qui prend des mois, parfois un an, pour établir l'infrastructure pour un nouveau type de matériel, ce genre de chose, ou nous disons-nous simplement : « Ah, l'IA va s'en occuper » ? Je pense que la réponse est toujours que l'IA met un peu plus de temps que prévu à atteindre cet objectif. Mais quand elle y arrive, elle est surprenante et puissante d'une manière que vous n'imaginiez pas.

Un exemple avec Astra. Une chose que nous avons découverte est que certaines compétences que nous avons très laborieusement construites cette année, pour montrer à notre modèle la bonne façon de faire les choses chez OpenAI, etc., sont maintenant en fait un fardeau net pour ses performances.

Trop de règles.

GB : Exactement. Il est capable de mieux généraliser, ou capable de trouver de meilleures façons de gérer les modèles, etc., que ce que nous avons écrit. Donc je pense que sur ce point, vous voulez vraiment établir ces contrôles, vous voulez construire cette infrastructure déterministe, vous voulez écrire ces compétences. Mais vous devez aussi être prêt, à mesure que l'IA devient plus capable, que certaines de ces choses, l'échafaudage, deviennent un facteur limitant. C'est un peu comme des roues stabilisatrices. Au début, cela aide, mais une fois que vous commencez à aller plus vite, une fois que vous avez quelque chose de plus capable, de meilleur, de plus aligné, cela commence en fait à devenir un obstacle.

Entrerez-vous à nouveau dans cet état de flow de codage de 12 ou 24 heures ?

GB : J'espère que oui. Je pense que peut-être un jour cela arrivera, mais je dois dire que j'ai trouvé tellement de joie et de valeur dans la façon dont j'aide l'équipe maintenant. Pour moi, c'est vraiment question de cette mission.

Eh bien, pas seulement vous, mais est-ce que quiconque le fera ? Parce que l'avantage de l'IA n'est-il pas presque qu'elle peut fournir un état de flow permanent à tout moment ?

GB : Je pense que nous trouverons de nouvelles façons, que ce soit en gérant des agents — en fait, c'est vraiment fou de voir les ingénieurs logiciels travailler plus dur que jamais, parce que vous réalisez que si votre agent ne fonctionne pas, c'est juste du temps perdu, vous ne le récupérerez jamais. Donc je pense que les gens atteindront ce genre d'état de flow d'une manière difficile à imaginer maintenant.

En fin de compte, vous parlez du fait que cela sera gérable, ces IA, « ne mettez pas trop de règles, elles s'en sortiront », si vous poussez cela à l'extrême, cela ne revient-il pas finalement au fait qu'elles sont ingérables ?

GB : Eh bien, je pense que c'est le cœur de ce moment, le cœur de cette nouvelle phase dans laquelle nous sommes, d'une certaine manière, je dirais que nous sommes maintenant entrés dans l'ère de l'AGI. Je pense que c'est le cœur de ce moment, là — peut-être le modèle précédent, peut-être Astra, peut-être le prochain modèle, mais à un certain point, je pense que nous franchirons le seuil de l'AGI pour la plupart des gens. S'assurer que nous maîtrisons le rythme, s'assurer que nous pensons à la sécurité, à la sûreté, à l'alignement et aux capacités, tout cela comme des exigences — nous avons des standards autour de tout cela, nous voulons les faire avancer ensemble — c'est ce en quoi nous avons toujours cru.

Mais je pense que ces autres aspects deviennent de plus en plus le goulot d'étranglement du développement, cela devient très saillant. Je pense que, encore une fois, c'est quelque chose pour lequel nous nous sommes préparés, nous y avons toujours pensé, et je pense que nous le mettons en œuvre de manière concrète. Donc mon point de vue est qu'il y a encore beaucoup de progrès à faire, mais je pense que nous devrions l'aborder en augmentant nos standards dans tous ces aspects. Si vous regardez cela, je pense que nous voyons des perspectives comme l'observabilité. C'est très crucial. Nous l'introduisons de manière concrète. Je pense que nous avons un très bon plan. Nous avons un groupe de personnes excellentes, nous avons un bon historique et une bonne mission, tout cela indique que nous construisons des systèmes de manière à ce qu'ils soient gérables, et que nous y allons pas à pas en termes de rythme.

Greg Brockman, félicitations pour le lancement d'Astra, et oui, j'ai hâte de l'utiliser.

GB : Merci beaucoup, merci de m'avoir invité.