Noam Shazeer, cette légende de l’IA que Google avait rappelée il y a deux ans pour la somme de 27 milliards de dollars, a annoncé quitter Google pour rejoindre OpenAI.
Noam Shazeer vient de confirmer cette nouvelle sur X. Il a indiqué qu’il allait prochainement rejoindre OpenAI et qu’il était impatient de travailler avec l’excellente équipe présente. Il a également souligné que quitter Google n’avait pas été une décision facile ; il est extrêmement fier de l’équipe de Google et de tout ce qu’ils ont construit ensemble, et considère que travailler aux côtés de ces collègues a été un honneur et une expérience des plus agréables.
Peu après, Sam Altman a déclaré : « Depuis la fondation d’OpenAI, Noam a toujours été l’une des personnes avec qui je souhaitais le plus collaborer. Il a simplement fallu attendre 10 ans. Je suis convaincu que cette attente en vaudra la peine ! »
Mark Chen, responsable de la recherche chez OpenAI, et d’autres ont également réagi en repartageant sur X : « Un très grand bienvenue à Noam Shazeer qui rejoint OpenAI en tant que responsable de la recherche en architecture ! Ses travaux sur le Transformer, les modèles MoE (Mixture of Experts) et le décodage efficace ont profondément façonné le développement de l’IA moderne.
Il est non seulement convaincu de la réalisation de l’AGI, mais il possède aussi des réflexions approfondies sur la manière d’en assurer le bon développement. Bienvenue, Noam ! »
Noam Shazeer
Noam Shazeer est l’un des premiers et plus importants employés de Google. Il a rejoint la fin 2000, a occupé le poste d’ingénieur logiciel principal et a été responsable des premiers systèmes publicitaires.
Noam Shazeer n’est pas un chercheur ordinaire. Il est l’un des co-auteurs du célèbre article de 2017 « Attention Is All You Need ». L’architecture Transformer proposée dans cet article est devenue par la suite la fondation technologique la plus importante de l’ère des grands modèles de langage. De GPT, Gemini, Claude à presque tous les grands modèles dominants d’aujourd’hui, tous s’appuient sur la voie technologique du Transformer.
Plus important encore, la contribution de Shazeer ne se limite pas au Transformer lui-même.
Avant même que les grands modèles n’entrent véritablement dans une compétition de mise à l’échelle, il s’est longuement intéressé à l’extension des modèles, au calcul parcimonieux et à l’entraînement de très grands modèles. Sa participation à la proposition du Sparsely-Gated Mixture-of-Experts constitue une base précoce importante pour la voie ultérieure des MoE ; le Switch Transformer a quant à lui poussé encore plus loin les modèles à experts parcimonieux vers l’échelle du billion de paramètres. Aujourd’hui, les MoE sont devenus l’une des voies importantes pour augmenter la taille des paramètres des modèles de pointe tout en maîtrisant les coûts d’inférence.
En 2021, déçu par la bureaucratie du géant de la recherche, Noam Shazeer quitte Google et cofonde Character.AI avec Daniel De Freitas. Cette entreprise est un temps devenue l’une des startups d’IA les plus en vue.
En 2024, Google conclut un accord de licence technologique avec Character.AI et rappelle Shazeer et d’autres au sein de Google DeepMind. Par la suite, il est nommé co-responsable technique de Gemini, participant ainsi au projet de grand modèle le plus central de Google.
À présent, en moins de deux ans, il fait à nouveau volte-face et rejoint OpenAI. C’est une nouvelle cruelle pour le développement de Gemini.
De nombreux internautes estiment qu’à un stade clé où Gemini a encore besoin de renforcer continuellement ses capacités de modélisation et son système d’ingénierie, la perte d’une personnalité comme Shazeer représente une fuite de talents non négligeable.
D’autres plaisantent de manière plus directe : Gemini n’était déjà pas terrible, maintenant que le personnage clé part, c’est carrément fini.
D’autres internautes plaisantent encore : Google a payé 27 milliards de dollars pour la propriété intellectuelle de Shazeer. Et OpenAI obtient ces brevets gratuitement. C’est le prix d’acquisition le plus avantageux de l’histoire de la technologie.
Dans cette guerre des talents en IA, l’arrivée de Shazeer représente sans aucun doute une victoire importante pour OpenAI.
Cet article provient du compte officiel WeChat « Machine Heart » (ID : almosthuman2014), auteur : Concerné par les grands noms de l’IA
