Effondrement chez OpenAI, une erreur révélée dans la loi du scaling, des téraflops gaspillés en vain
L'article révèle que la loi d'échelle (Scaling Law) présentée par OpenAI dans son article fondateur de 2020 contenait un bug fondamental, ayant potentiellement induit en erreur l'ensemble de l'industrie de l'IA pendant des années. Le bogue provenait d'une méthodologie expérimentale qui imposait une quantité fixe de données d'entraînement (tokens) et un calendrier d'apprentissage spécifique (atténuation cosinus) à tous les modèles, des plus petits aux plus grands. Cette approche a artificiellement limité la performance des grands modèles, créant l'illusion trompeuse qu'il était plus efficace d'augmenter massivement le nombre de paramètres que la quantité de données.
Cette erreur a conduit, selon l'article, à un gaspillage colossal de ressources de calcul (évalué à des milliers d'années-runtime de GPU H100), en encourageant la création de modèles "trop grands et sous-entraînés" comme le GPT-3, plutôt que des modèles plus petits mais mieux entraînés comme Chinchilla de DeepMind (2022). De plus, l'article souligne que les lois d'échelle actuelles sont principalement calibrées sur l'anglais, une langue morphologiquement pauvre et inefficace pour l'apprentissage automatique. Des expériences citées montrent que des modèles entraînés sur des langues comme le français atteignent certaines compétences avec 50 à 100 fois moins de données, remettant en cause l'universalité de ces lois.
En résumé, l'article affirme qu'une correction de ce bug méthodologique initial aurait pu accélérer de plusieurs années le développement d'une IA plus efficace et économe en énergie.
marsbitIl y a 2 h
