Source : Bloomberg
Compilation : Felix, PANews
Bloomberg a récemment mené un entretien avec Dario Amodei, PDG d'Anthropic, abordant son parcours entrepreneurial à San Francisco, la concurrence avec OpenAI et les objectifs ultimes de l'IA.
PANews a synthétisé les points essentiels de l'entretien.
Modérateur : Vous êtes actuellement au centre de l'univers de l'IA. Quelle sensation cela procure-t-il ?
Dario : Tout au long de ma carrière, et particulièrement durant cette période chez Anthropic, ce que j'ai vécu est une courbe exponentielle lisse. L'expérience de cette courbe exponentielle lisse est la suivante : rien ne se passe, rien ne se passe, il se passe un petit quelque chose, puis « vlan » — une croissance folle. C'est l'expérience du monde, et aussi l'expérience de l'entreprise par rapport aux autres entreprises et au monde. J'ai observé ce graphique pendant très longtemps, et j'ai dit : « Nous devrions atteindre ce point pour devenir l'entreprise d'IA avec les revenus et l'évaluation les plus élevés » — et c'est effectivement arrivé. D'un côté, je ne suis donc pas surpris, car sur le graphique, ce n'est qu'une ligne lisse ; mais d'un autre côté, quand les choses se produisent réellement, vous voyez plus de détails et de couleurs, et c'est absolument surprenant. Nous devons toujours garder à l'esprit les questions les plus fondamentales : Comment bien entraîner les modèles ? Comment les intégrer dans de bons produits ? Comment assurer la sécurité ? Comment aider les gens tout en gérant les risques sociétaux de la technologie ? Ce sont toujours les mêmes questions, simplement examinées sous une loupe plus grande.
Modérateur : Vous avez grandi à San Francisco, à quoi ressemblait votre enfance ? Je sais que votre père était artisan du cuir et votre mère travaillait en bibliothèque. En quoi cela vous a-t-il influencé ?
Dario : À l'époque, la première révolution Internet avait lieu autour de moi, mais je ne m'y intéressais absolument pas. Je n'étais intéressé que par les mathématiques, le dessin, comprendre l'univers et la science-fiction. C'était mon environnement général, j'étais très curieux du monde.
Modérateur : Vous avez grandi dans cette ville centre de la technologie, qui est aujourd'hui aussi le centre de l'IA. Y a-t-il quelque chose dans cette ville qui a influencé votre vision du monde ?
Dario : L'esprit non conformiste, individualiste et « c'est OK d'être fou » qui y règne généralement m'a en effet influencé. Si vous allez en Europe ou même ailleurs dans ce pays, vous constatez que penser différemment ou avoir des idées folles est découragé, voire considéré comme étrange. Bien que j'aie beaucoup de critiques à l'égard de la Silicon Valley, je pense qu'elle a un point très fort : il est OK même si tous les experts sont contre vous, si vous avez une vision cohérente du monde, vous devriez la poursuivre. Peut-être que cela ne fonctionnera pas du tout, mais si cela réussit, cela produit un effet à longue queue, vous pourriez découvrir d'énormes filons dans certains gisements. Je pense que cet esprit est très important.
Modérateur : Votre décision de quitter OpenAI est devenue une légende de la Silicon Valley. Que s'est-il réellement passé ? Au-delà des rumeurs, quel était le vrai problème ? Sur quels points étiez-vous en désaccord ?
Dario : Je vais faire simple. Quand vous développez une technologie puissante, de nombreuses questions difficiles se posent, et Anthropic fait face chaque jour à celles pour lesquelles nous ne savons pas si nos décisions sont correctes ou non. Il existe donc de nombreux désaccords raisonnables sur la sécurité, et nous en avions effectivement avec eux, mais cela seul n'est pas une raison suffisante pour partir. Même chez Anthropic, les gens ont des désaccords avec moi et entre eux. Mais quand vous sentez que vous ne pouvez pas faire confiance à quelqu'un, quand vous pensez que ses valeurs ne sont pas ce qu'elles prétendent être, quand vous le trouvez malhonnête, qu'il n'agit pas par les motivations qu'il affiche, quand vous observez des schémas de tromperie troublants, il est difficile de continuer à travailler avec cette entreprise et de lui faire confiance. Au bout du compte, si votre vision diffère et que la confiance est rompue, pourquoi continuer à débattre ? La solution est d'aller chacun de son côté. Je suis parfaitement en paix avec le fait que nous agissions à notre manière et eux à la leur. Voyons qui gagne sur le marché, qui gagne dans l'opinion publique. Cela en dit plus que n'importe quel drame ou potin sur qui a quitté. Nous montrons un exemple de comment déployer cette technologie de manière responsable. S'ils ne sont pas d'accord, ils peuvent avancer leurs arguments. Je pense que c'est tout ce qu'il y a à dire.
Modérateur : Lors du sommet sur l'IA en Inde, vous et Sam Altman avez semblé refuser de vous tenir la main sur scène. Que s'est-il passé là-bas ?
Dario : La réalité est que ce sommet était extrêmement désorganisé. Nous sommes tous montés sur scène à la dernière minute, ils ont changé l'ordre de placement à la dernière seconde, ont pris des photos, puis nous ont soudainement ordonné à tous de nous tenir la main. Si vous avez déjà assisté à ce genre de sommet international avec des chefs d'État, vous savez qu'ils sont souvent super chaotiques (ce n'est pas spécifique à l'Inde).
Modérateur : Mais les autres se sont tenu la main.
Dario : Je ne sais pas comment vous expliquer. C'est juste Narendra Modi qui a soudainement appelé tout le monde à se tenir la main sur scène.
Modérateur : D'accord. Sam et Elon sont en train de se poursuivre mutuellement en justice. Vous n'aimez pas Sam. Si les personnes qui construisent la technologie la plus importante au monde ne peuvent pas se tenir la main sur scène, comment pouvons-nous vous croire pour coopérer sur des risques existentiels pour l'humanité ?
Dario : Ce que je veux vous dire, c'est qu'il existe d'énormes différences dans la qualité et la fiabilité des personnes qui construisent cette technologie. Cette notion de « personne ne fait confiance à personne » n'est pas correcte. Je connais Demis Hassabis, qui développe les modèles Gemini (concurrents de Claude), depuis 15 ans, et nous avons collaboré sur de nombreux sujets. Nous achetons de la puissance de calcul à Google, et nous échangeons souvent des idées sur la sécurité. Je pense donc, premièrement, que certains acteurs sont effectivement plus dignes de confiance que d'autres ; deuxièmement, il existe des acteurs en dehors d'Anthropic en qui j'ai confiance. Je pense que ce qui doit se passer, c'est que les acteurs dignes de confiance se rassemblent, forçant les acteurs indignes de confiance à adopter les mêmes normes. D'après mon expérience, certaines personnes ne feront pas d'elles-mêmes ce qu'il faut, mais si la majorité de l'industrie le fait, les autres n'ont pas beaucoup de choix. Cela se divise en deux aspects : le côté positif est l'inspiration mutuelle (la « compétition vers le haut »), comme le fait que Demis ait créé Alpha Fold nous a inspirés, nous faisons de la recherche biologique, nos recherches sur l'interprétabilité les inspirent, ce n'est pas une compétition à somme nulle. C'est le côté « carotte » positif de la course. Le côté « bâton » est que si vous ne faites pas ce qu'il faut, vous paraîtrez mauvais. Ils pourraient très à contrecœur faire ce qu'il faut, tout en prétendant faire autre chose, pensant même que nous avons des motifs sinistres cachés – c'est prévisible, mais c'est précisément ainsi que l'industrie peut s'unir et collaborer.
Modérateur : Au début, les autres se concentraient sur des applications grand public amusantes et spectaculaires, tandis que vous avez misé sur le codage et les entreprises. Claude Code et Claude Cowork sont très réussis. Pourquoi avez-vous fait ce pari ? Était-ce une décision de valeurs ou une décision commerciale ?
Dario : Lorsque nous avons fondé Anthropic, le plus fondamental était que nous voulions faire les choses correctement. Mais pour financer la création de modèles extrêmement coûteux, il fallait un modèle économique. Si le modèle économique est fondamentalement en conflit avec les valeurs, vous êtes dans une situation difficile : soit trahir vos valeurs, soit devenir insignifiant. Il est bien préférable de choisir un modèle économique compatible avec vos valeurs. Nous avons observé le monde des médias sociaux et des consommateurs, qui a souvent tendance à encourager l'engagement des utilisateurs, voire la dépendance (comme le chaos actuel des modèles vidéo d'IA), juste pour maximiser le temps d'écran et générer des revenus publicitaires. En revanche, du côté des entreprises, nous voulons utiliser l'IA pour guérir des maladies auparavant incurables (collaboration avec la biotechnologie, les pharmaceutiques et les institutions académiques), rendre l'énergie moins chère et plus efficace, aider l'éducation et les organisations à but non lucratif, stimuler la croissance économique. Ce sont essentiellement des applications côté entreprise. Un autre facteur est que les entreprises attachent beaucoup d'importance à la confiance et aux relations à long terme. Le côté consommateur est parfois sensationnaliste, tandis que le côté entreprise exige que vous établissiez une confiance sur plusieurs années et livriez ce que vous avez promis. Cela s'aligne parfaitement avec notre objectif de déployer les modèles de manière positive et sûre.
Modérateur : Un développeur peut passer de Claude à ChatGPT ou Gemini en un après-midi. Est-il vraiment possible de maintenir un leadership à long terme dans cette industrie ? Combien de temps faudrait-il à un concurrent puissant pour reproduire ce que vous avez construit ?
Dario : La qualité du modèle est le plus important. Nous sommes actuellement bien en avance sur la qualité des modèles. Bien qu'il existe une certaine inertie de changement, je (et Anthropic) ne comptons jamais sur le « pouvoir collant » du produit pour empêcher les gens de changer. Vous devez avoir un meilleur modèle, un meilleur produit. Nous ne voyons aucun ralentissement dans le taux de croissance. Au moment de cet enregistrement, si quelque chose change, c'est qu'il continue d'augmenter. Je suis donc enclin à penser que la qualité du modèle est la chose la plus importante.
Modérateur : Peu après la sortie de Claude Cowork, 2850 milliards de dollars de capitalisation boursière se sont volatilisés en une nuit, les traders appelant cela le « SaaSpocalypse » (l'apocalypse des SaaS). Si l'IA continue de progresser à cette vitesse, quelle part des logiciels traditionnels sera remplacée, et à quelle vitesse ?
Dario : C'est difficile à prédire avec précision à l'avance. Toutes les entreprises de logiciels traditionnels ont leurs propres douves. Certaines de ces douves disparaîtront, mais d'autres persisteront. La capacité à « écrire rapidement des logiciels complexes » en tant que douve disparaîtra certainement, vous ne pourrez plus vous défendre sur ce point. Mais les relations clients, la connaissance du fonctionnement du secteur et les compétences spécifiques à un domaine unique resteront importantes. Je conseille à ces entreprises : Ne vous complaisez pas, dressez la liste de toutes vos douves, voyez celles qui vont disparaître, celles qui vont se renforcer, car de nouvelles douves apparaîtront aussi. Les personnes flexibles s'en sortiront bien, tandis que celles qui se voilent la face et se contentent de l'expérience passée auront des moments difficiles. Globalement, je pense que l'industrie des logiciels deviendra plus grande et non plus petite, même s'il y aura certainement de gros perdants.
Modérateur : Expliquez cela.
Dario : Parce que le « gâteau » grossit. Si l'IA fait monter le plafond du secteur par un facteur 10, il est facile pour les entreprises existantes de connaître une croissance de 1,5x, même si leur part relative dans le grand gâteau diminue. Mais ceux qui ne s'adaptent pas et enfouissent la tête dans le sable connaîtront des moments difficiles, voire feront faillite.
Modérateur : Vos plus grands soutiens sont des entreprises comme Amazon, Google, Microsoft et Nvidia. Elles ont toutes leurs propres agendas, étant à la fois partenaires et concurrentes. Vos énormes jalons commerciaux sont liés à des financements. Qui tire réellement les ficelles ?
Dario : Dans de nombreux cas, nous avons été très francs sur ce que nous pensions réellement. Nous sommes tous des adultes, nous pouvons mettre nos désaccords de côté, collaborer sur une chose et être en désaccord sur une autre.
Modérateur : Des rapports indiquent que votre valorisation est supérieure à celle d'OpenAI. Pour une start-up de cinq ans, une valorisation proche du billion de dollars. Comment comprenez-vous ce chiffre ? Si vous êtes plus discipliné sur la puissance de calcul et avez des voies de rentabilité plus rapides, pourquoi avez-vous besoin de tant d'argent ?
Dario : La demande en puissance de calcul augmente très rapidement. Les fondamentaux de l'entreprise sont bons, mais il est probable que la puissance de calcul dont vous avez besoin triple ou quadruple en un an, avec une croissance extrêmement rapide. Nous nous attendons pleinement à ce que la croissance des revenus atteigne, voire dépasse, cette croissance de la puissance de calcul. Lever des fonds est très rationnel pour amortir l'impact de cette incertitude, cela dilue très peu les capitaux propres de l'entreprise et ne reflète en aucun cas un problème dans les fondamentaux de l'entreprise.
Modérateur : Surpasser votre principal concurrent, cela fait-il du bien ?
Dario : Nous avons encore de nombreux défis difficiles devant nous. Nous promouvons l'idée de « compétition vers le haut », essayant d'entraîner d'autres entreprises à nos côtés. Même s'ils ne le reconnaissent pas toujours, qu'ils nous attaquent parfois tout en nous copiant, cet effet d'entraînement a une énorme valeur. La valeur d'être une entreprise leader n'est pas de simplement battre les concurrents, mais d'avoir la capacité d'entraîner tout l'écosystème.
Modérateur : Mais gagner doit forcément faire un peu plus plaisir.
Dario : Nous nous efforçons bien sûr toujours de réussir, nous ne voulons pas échouer. Je ne pense pas que nous devrions fermer cette technologie, nous sommes en concurrence dans un système d'entreprise libre, nous avons juste besoin d'atténuer les risques des modèles. Nous cherchons toujours l'équilibre entre les deux pôles.
Modérateur : La vitesse de développement de vos produits est incroyable. Comment faites-vous ?
Dario : Deux raisons : premièrement, nous avons une culture unifiée et une efficacité organisationnelle, tout le monde est aligné ; deuxièmement, c'est Claude lui-même. Nous utilisons actuellement Claude pour aider à développer nos modèles et produits, les rendant plus efficaces. Cela produit un effet d'accélération important et de plus en plus fiable.
Modérateur : Quelle est la chose la plus folle que vous ayez vue l'IA faire ?
Dario : Tout tourne autour de la biologie et de la médecine. J'ai vu plusieurs fois Claude diagnostiquer des problèmes médicaux que des médecins seniors avaient manqués. En biologie, les modèles commencent à devenir incroyablement performants en conception de médicaments ou en chimie computationnelle. En tant qu'ancien biologiste, je sais à quel point cela nécessite un niveau de formation spécialisée très élevé. C'est l'énorme aspect positif de l'IA, qui améliorera considérablement la qualité de vie humaine. Imaginez les progrès scientifiques sur cent ans, de 1900 à aujourd'hui, puis imaginez un autre siècle de progrès. Si nous surmontons les défis actuels, nous aurons un monde bien meilleur.
Modérateur : Je sais que vous aimez écrire. Utilisez-vous Claude pour vous aider à écrire ?
Dario : Oui, mais je ne lui ai pas encore demandé d'écrire directement des textes complets, car je suis un peu pointilleux sur un style spécifique. J'utilise principalement Claude pour le brainstorming, clarifier des sujets ou fournir des références. Il joue actuellement un rôle de soutien, bien qu'il lui reste du chemin avant d'écrire mieux que moi, mais cela arrivera tôt ou tard.
Modérateur : L'écriture aide à clarifier les pensées, elle implique beaucoup de réflexion critique. Si nous laissons Claude le faire à notre place, allons-nous perdre cette capacité de réflexion ?
Dario : Je m'en inquiète effectivement un peu. J'insiste pour écrire moi-même, moitié pour le lecteur, mais tout autant pour clarifier mes propres idées. Seulement lui demander « écris un article sur les risques de l'IA » ne produirait pas ce que je veux vraiment exprimer et me priverait de cet avantage de la réflexion. À l'avenir, à mesure que les modèles s'amélioreront, nous devrons peut-être trouver un mode d'utilisation subtil qui permette de les exploiter plus directement tout en préservant les bienfaits de la réflexion.
Modérateur : Vous avez parlé ouvertement du chômage, prédisant que l'IA pourrait éliminer la moitié des emplois de cols blancs juniors en 1 à 5 ans. C'était il y a un an. Ce pourcentage est-il toujours de 50 % ou plus maintenant ?
Dario : Si vous regardez la vidéo originale complète, ce que j'ai réellement dit est : Je ne sais pas ce qui va se passer, mais cela représente un ordre de grandeur de mesure de la folie des événements. Cependant, la tendance psychologique des gens est de monter ces trois secondes d'« apocalypse imminente » en ignorant toutes les solutions que j'évoquais simultanément (comme la taxe token, l'adaptation des entreprises, les politiques macroéconomiques, etc.). Mon message n'était absolument pas « l'apocalypse est imminente », mais nous devons le voir venir, y prêter attention et y répondre activement. À court terme, l'IA rendra les gens plus efficaces, mais ce n'est qu'une phase de transition. Comme nous l'avons vu dans l'histoire de l'automatisation, l'IA finira par s'emparer de ce travail. Prenons l'exemple des ingénieurs logiciels d'Anthropic : aujourd'hui, l'IA les aide à écrire la majeure partie du code, les rendant plus efficaces, mais on commence aussi à voir des cas où il serait simplement préférable de laisser l'IA exécuter directement certaines tâches. D'un autre côté, cela génère également de nouvelles demandes, comme des « architectes de solutions d'IA appliquées (ingénieurs de déploiement frontaux) » combinant compétences techniques et relation client. La destruction et la transformation des emplois se produiront simultanément.
Modérateur : Vous avez publié un graphique montrant la destruction potentielle d'emplois, ceux qui disparaîtront et ceux qui émergeront.
Dario : C'est difficile à prédire avec précision, comme prédire le marché boursier. Mais globalement, les postes de cols blancs juniors (banque, finance, etc.) ont une forte probabilité d'être remplacés par l'IA. En discutant avec nos clients entreprises, nous constatons qu'ils sont face à un choix : réduire les effectifs pour économiser des coûts, ou utiliser les mêmes ressources pour faire plus de nouvelles choses ? Nous essayons toujours de les pousser vers le « jeu à somme positive » : utiliser les gains d'efficacité pour faire plus, et non licencier. À mesure que le « gâteau » s'agrandit, les gens trouveront probablement de nouvelles destinations, c'est une question de vitesse d'adaptation. L'ampleur de la destruction sera énorme, c'est pourquoi j'essaie d'avertir les gens.
Modérateur : Si un taux de chômage aussi élevé se produit, n'est-ce pas une raison pour qu'une révolution éclate ?
Dario : C'est absolument un résultat que nous voulons éviter. Je pense que plusieurs domaines offriront des opportunités : premièrement, le monde physique (car le développement des robots est plus lent que la vitesse de traitement de l'information par l'IA, la fabrication et la construction nécessiteront encore beaucoup de main-d'œuvre) ; deuxièmement, tous les travaux centrés sur l'humain. Même si l'IA est plus précise pour diagnostiquer qu'un médecin ou meilleure en service client, les gens voudront et auront encore besoin de parler et de créer des liens avec d'autres humains sur des questions importantes. Les humains conserveront également un rôle pour guider les valeurs et les intentions de l'IA.
Modérateur : Beaucoup de gens s'opposent à votre point de vue, comme Jensen Huang qui dit que vous confondez « tâche » et « emploi », et d'autres disent que c'est une sorte de « marketing apocalyptique » bénéfique pour Anthropic.
Dario : Je veux réfuter cela clairement. Nos rapports et articles contiennent cinq pages entières détaillant la différence entre tâche et emploi, expliquant en quoi cette fois est différente, et proposant six solutions couvrant les secteurs privé et public. Mais je constate que le travers de la Silicon Valley et des médias sociaux est la paresse : les gens regardent un extrait de trois secondes datant d'un an et commentent de manière irresponsable. Qualifier un travail intellectuel sérieux de « marketing bon marché » est en soi un marketing bon marché et un comportement extrêmement paresseux qui refuse une discussion sérieuse.
Modérateur : En tant qu'entreprise leader mondiale en IA, vous êtes profondément impliqués dans de nombreux domaines de la sécurité nationale américaine. Vous avez eu une position antiguerre de longue date depuis Caltech, mais vous êtes l'une des premières entreprises d'IA à signer des contrats d'exploitation de réseaux confidentiels avec le ministère de la Défense. Expliquez cela.
Dario : La raison est que le monde change. Quand j'ai vu la Russie envahir l'Ukraine, je me suis inquiété d'une résurgence des régimes autoritaires. Nous devons nous défendre. Nous ne voulons absolument pas que nos adversaires utilisent l'IA pour analyser le renseignement, attaquer l'Ukraine, sans que nous puissions nous défendre. C'est pourquoi nous apportons notre soutien à travers les agences gouvernementales. Au fait, nous ne le faisons absolument pas pour l'argent ; fonctionner sur des réseaux gouvernementaux est en fait un gros casse-tête, et les bénéfices sont minimes. Précisément parce que nous le faisons par « conviction », l'utilisation de la technologie doit avoir des limites et des lignes rouges claires, à savoir : pas de surveillance de masse et pas de développement d'armes totalement autonomes. Si pour gagner la compétition nous abandonnions nos valeurs démocratiques, cela ne vaudrait pas la peine. C'est l'équilibre et la position que nous maintenons.
Modérateur : Vous collaborez avec Palantir depuis 2024. Leur technologie est utilisée par l'ICE (Service d'immigration et de contrôle des douanes), les services de police, et même à Gaza. Claude est-il utilisé pour la surveillance ?
Dario : Nous ne collaborons ni avec l'ICE ni avec le CBP (Patrouille frontalière des États-Unis), ni directement ni via Palantir. À ma connaissance, nous n'avons pas non plus d'activités à Gaza. Nous limitons très prudemment notre implication aux valeurs que nous partageons.
Modérateur : Vous avez donc tracé des lignes rouges, le président a interdit certaines de vos autorisations fédérales, le Pentagone vous a étiqueté comme risque pour la chaîne d'approvisionnement, et OpenAI a signé des contrats que vous ne vouliez pas signer. À quoi ressemble réellement le fait de « gagner » ce combat ?
Dario : Je ne considère pas cela comme un combat à « gagner ou perdre », c'est un débat sociétal sur la manière dont le gouvernement devrait utiliser raisonnablement l'IA. Nous nous efforçons d'établir des précédents d'utilisation pour des scénarios inquiétants et avons attiré l'attention sur ce problème. Nous voyons des efforts bipartites au Congrès pour interdire les applications à haut risque et mettre en place des garde-fous. S'il faut parler de victoire, celle-ci consisterait à amener notre nation à réfléchir plus prudemment aux limites d'utilisation appropriées des nouvelles technologies.
Modérateur : Certains vous décrivent comme un fou idéologique qui ne devrait pas avoir autant de pouvoir, ou un fanatique de gauche. Cela vous dérange-t-il ?
Dario : Je me fais souvent insulter, et de choses bien pires. Les gens peuvent appeler moi et Anthropic comme ils veulent, je ne me soucie que de deux choses : que l'entreprise réussisse, et que nous restions fidèles à nos valeurs. En fait, cela rend ma vie très simple, j'ai toujours été clair sur ma position.
Modérateur : La guerre de l'IA est-elle plus susceptible de prévenir une troisième guerre mondiale ou de la déclencher plus facilement ?
Dario : Globalement, plus susceptible de la prévenir. Mais sans restrictions d'utilisation, elle pourrait la déclencher. Sans régulation appropriée, il serait facile pour les deux parties d'entrer en conflit par mécompréhension. Si nous avons une supériorité écrasante en matière de collecte de renseignements et de capacité de réponse, un adversaire réfléchira à deux fois avant d'agir. Une intelligence supérieure peut dissuader efficacement les conflits.
Modérateur : Anthropic fait presque chaque semaine la une, récemment concernant le modèle Mythos. Vous avez dit que Mythos était trop puissant pour être publié au public. Qu'est-ce qui vous a le plus surpris à son sujet ?
Dario : Ce qui m'a le plus surpris, c'est qu'il est non seulement capable de découvrir des vulnérabilités, mais qu'il peut les transformer en outils d'attaque substantiels, montrant un énorme bond dans cette capacité. Certaines entreprises qui l'ont testé tôt nous ont même demandé de ne pas le publier, le qualifiant de « super-arme », estimant qu'il fallait un permis de port d'arme pour l'utiliser. Nous ne le publions pas au public non pas pour le garder sous clé pour toujours, mais parce que les mécanismes actuels de défense des réseaux restent vulnérables au « jailbreak ». Nous attendrons d'avoir suffisamment confiance dans les mécanismes de défense pour y faire face, puis le publierons avec de solides garanties.
Modérateur : Mais il y a beaucoup d'opposition à l'extérieur : des chercheurs disent pouvoir le reproduire avec des modèles open source moins chers, et d'autres disent que c'est entièrement un coup de relations publiques et de marketing. Comment répondez-vous ?
Dario : Dire qu'on peut le reproduire avec des modèles open source est extrêmement absurde. Le modèle Mythos a découvert 271 nouvelles vulnérabilités dans le navigateur Firefox, des milliers dans de nombreuses entreprises privées que nous ne pouvons divulguer, que les modèles précédents n'ont tout simplement pas trouvées. La personne sur Twitter qui a dit pouvoir le reproduire avec un modèle open source a simplement utilisé ce modèle pour localiser à nouveau cette ligne de code une fois que nous avons indiqué quelle ligne était problématique. Ce n'est pas du tout la même chose.
Quant à l'affirmation de « marketing », ne pas publier ce modèle super puissant nous coûte énormément commercialement, il aurait pu accélérer considérablement la R&D interne et externe. S'il aide les défenseurs, il aide également les attaquants dans les mêmes proportions. Notre stratégie actuelle est donc de le donner d'abord aux défenseurs pour qu'ils corrigent les vulnérabilités du système. Une fois que tous les « trous » seront comblés, l'écosystème internet futur sera extrêmement sûr. Ceux qui tirent et contrarient sur X (y compris certains concurrents) ne prennent pas au sérieux l'arbitrage des risques pour la société entière, ce qui est extrêmement immature.
Modérateur : Avez-vous déjà fait des compromis qui ne vous satisfont pas complètement ?
Dario : Toute l'histoire d'Anthropic est remplie de compromis. Dans un monde idéal, vous pourriez passer des années à étudier chaque piège d'un chatbot avant de le publier. Bien que nous ayons effectivement retardé la première version de Claude de quelques mois, tout reste un compromis. Maintenant que nous sommes leaders commerciaux, Daniela et moi faisons tout notre possible pour déplacer davantage le curseur vers « l'action prudente ». C'est l'intention derrière la limitation de la publication de Mythos. Si vous n'étiez pas un acteur leader, il serait difficile de prendre une telle décision.
Modérateur : Étant donné que cette technologie est si puissante, pourquoi le gouvernement ne vous prend-il pas directement en charge ?
Dario : C'est une préoccupation très sérieuse. À travers l'histoire, toutes les technologies d'une puissance sans précédent (armes nucléaires, internet, GPS, téléphones portables) sont d'abord nées dans les laboratoires gouvernementaux et fédéraux. L'IA est la première technologie entièrement construite dans le secteur privé où le gouvernement est arrivé tardivement, cette situation est en fait dangereuse et instable. Mais actuellement, le risque que le gouvernement n'agisse pas est en réalité plus grand que le risque posé par le secteur privé. Nous avons donc besoin d'un équilibre des pouvoirs : nous avons établi un « Long-Term Benefit Trust » (Fiducie pour les bénéfices à long terme) qui a le pouvoir de démettre la grande majorité des administrateurs et même de me licencier, introduisant ainsi un élément de gouvernance publique.
Au niveau gouvernemental, nous avons besoin que les branches législative et judiciaire mettent en place des tests préalables obligatoires à la publication et une réglementation avec des lignes rouges. Je crains à la fois que les entreprises la contrôlent et que le gouvernement la monopolise, les deux doivent se contrebalancer. Il est très comique de voir dans la Silicon Valley un groupe de personnes qui, après s'être extrêmement opposées à toute régulation, même aux exigences de transparence (disant que cela étoufferait l'innovation), à la première observation d'un réel danger, basculent immédiatement en affirmant que « le gouvernement devrait la nationaliser ». Cette réaction de balancier entre les deux extrêmes est très immature, nous avons besoin d'une voie médiane rationnelle.
Modérateur : Dans votre domaine, on parle toujours du moment où l'IA devient suffisamment bonne pour « s'auto-améliorer ». Vos chercheurs pensent que c'est proche. Dans combien de temps exactement ?
Dario : Je pense que ce n'est pas un « moment » spécifique, mais un processus exponentiel d'accélération continue. Nous avons déjà vu l'IA commencer à aider à proposer l'architecture de la prochaine génération d'IA. Il y a un an, l'IA augmentait la productivité totale des facteurs de 10 à 15 %, maintenant c'est peut-être 20 à 30 %. Elle ne deviendra pas soudainement incontrôlable à un moment précis, mais sur cette courbe exponentielle lisse, nous devons évaluer à chaque point si nous devons ralentir et exercer plus de contrôle. La réponse raisonnable est d'augmenter progressivement et en douceur nos contre-mesures à mesure que la puissance technologique croît, plutôt que de paniquer.
Modérateur : Vous avez dit que la civilisation humaine avait 10 à 25 % de chances de s'effondrer. Ce n'est pas négligeable. Pourrait-il y avoir un scénario où quelque chose créé par Anthropic provoquerait cet effondrement ?
Dario : J'espère bien sûr que non. Cette probabilité de risque découle de l'imprévisibilité inhérente de la technologie et de la complexité du paysage mondial. Les nombreuses mesures que nous prenons visent précisément à réduire, et non à augmenter, cette probabilité d'effondrement. Comme dans l'industrie aéronautique, même si vous construisez un avion dix fois plus sûr que les autres, vous ne pouvez pas garantir à qui que ce soit qu'il « ne s'écrasera jamais ».
Lecture connexe : OpenAI et Anthropic changent tous deux d'avis : La théorie de l'apocalypse de l'emploi par l'IA n'est plus à la mode ?
