OpenAI рушится: в оригинальной работе по Scaling law обнаружен баг, триллионные вычислительные мощности потрачены впустую
Бывший исследователь OpenAI Диого Алмейда заявил, что оригинальная работа OpenAI о Scaling Law содержит критическую ошибку, из-за которой вся индустрия ИИ несколько лет следовала неверному пути. В 2020 году OpenAI утверждала, что при фиксированном бюджете вычислительных мощностей следует увеличивать параметры модели, а не объем данных. Это привело к созданию «раздутых» моделей, таких как GPT-3. Однако в 2022 году DeepMind своей моделью Chinchilla опровергла этот подход, показав, что параметры и данные должны масштабироваться сбалансированно.
Алмейда указывает на три ключевые проблемы в первоначальном исследовании OpenAI: 1) все модели обучались на одинаковом и недостаточном для больших моделей объеме данных; 2) использование затухания скорости обучения создавало ложное впечатление, что модели достигли предела; 3) выводы, справедливые для ограниченных условий, были ошибочно приняты за универсальный закон.
В результате индустрия, возможно, потратила триллионы операций впустую на обучение неоптимальных моделей. Более того, как отмечают некоторые исследователи, текущие Scaling Law в основном отражают закономерности английского языка, который требует для обучения больше данных, чем другие языки. Это ставит под сомнение универсальность данных законов и указывает на возможность создания более эффективных моделей.
marsbit07/05 23:59
