Исследователь DeepMind поздно ночью раскрыл сенсацию: в оригинальной работе OpenAI по Scaling Law оказался критический баг! Искусственный интеллект по всему миру впустую сжег триллионные вычислительные мощности, GPT-3 на самом деле оказался сильно "раздутым".
OpenAI вводил в заблуждение все сообщество ИИ на протяжении нескольких лет!
За последние пять лет вся индустрия ИИ стремительно развивалась под влиянием Scaling Law.
Уверенность Сэма Альтмана в достижении ИИГ (AGI) основана именно на этой кривой.
Теперь кто-то выступил и заявил: эта кривая была ошибочной с самого начала.
И это не "задним числом". Эти слова принадлежат исследователю Диого Алмейде, который в то время работал в OpenAI над оптимизацией больших моделей.
Только что он опубликовал блог-пост с леденящим заголовком — «Scaling Laws, Honestly» («Законы Масштабирования, Честно»).
Первая же фраза ставит точку: первоначальная версия scaling law была ошибочной из-за наличия бага.
Ссылка: https://www.completeskeptic.com/p/scaling-laws-honestly
Сандер Дилеман из DeepMind, прославившийся диффузионными моделями, тут же продвинул этот пост в Твиттере, назвав его интересной историей о больших языковых моделях (LLM):
Оригинальный scaling law был ошибочным из-за бага, что, вероятно, привело к тому, что индустрия впустую потратила огромные вычислительные ресурсы на множество "чрезмерно крупных и недообученных" моделей.
Один баг сжег два года.
Когда баг раскрылся, мы увидели не только черную дыру для вычислительных мощностей, но и интеллектуальную границу, переосмысленную самим языком, которая оказалась гораздо глубже, чем можно было представить.
Scaling Law оказался "геоцентрической системой" для LLM
В 2020 году OpenAI сделал вывод: при фиксированном бюджете вычислительных мощностей вы должны в первую очередь увеличивать размер модели, а не кормить ее большим количеством данных.
Говоря формулой, оптимальное количество параметров пропорционально вычислительной мощности в степени 0,73 — параметры — это та переменная, на которую нужно делать упор.
Эта фраза напрямую определила облик поколения GPT-3. Увеличивать параметры. Увеличивать до предела. 175 миллиардов.
Она сказала разработчикам по всему миру: не спрашивайте, просто увеличивайте параметры; стоит только сделать модель достаточно большой, и произойдет чудо.
Два года спустя DeepMind выбросил Chinchilla, перевернув этот вывод с ног на голову: модель и данные должны масштабироваться примерно одинаково, и на каждый параметр должно приходиться около 20 токенов, чтобы это было эффективно.
Они обучили модель Chinchilla с 70 миллиардами параметров, накормив ее 1,4 триллиона токенов — размером меньше половины GPT-3, данных — в четыре раза больше.
В результате, при том же бюджете вычислительных мощностей, она превзошла Gopher с 280 миллиардами параметров, которого накормили всего 300 миллиардами токенов.
Говоря простым языком: на одни и те же деньги один вырастил "рыхлого" здоровяка, а другой — поджаристого бойца.
Задержавшись на три года, выпускник Пекинского университета Вэн Ли подробно обсудил основное объяснение различий между ними в последующих исследованиях, а именно разницу в способе подсчета общего числа параметров.
И это еще не все. Даже "правильный" Chinchilla сам оказался не чист.
В 2024 году Бешироглу и другие извлекли и перезапустили точки данных из оригинала Chinchilla и обнаружили, что в их собственной подгонке тоже скрывался баг:
Масштаб потерь в оптимизаторе был установлен слишком высоким, что привело к усреднению потерь Хубера по выборкам, а не к их суммированию, из-за чего подгонка преждевременно прекращалась.
Статья, исправляющая баг, сама содержала другой баг.
На этом этапе та фраза «первоначальный принцип», которую бесчисленное количество людей повторяли, внезапно оказалась на шатком основании.
Так называемый Scaling Law никогда не был железным физическим законом, подобным трем законам Ньютона, это всего лишь кривая, эмпирически подогнанная по точкам.
Когда Диого Алмейда считает, что правда не такова, дело не в разнице методов, «а в том, что в самой первоначальной версии scaling law был баг».
OpenAI обманул мировое сообщество ИИ тремя приемами?
Чтобы создать ложь, в которую поверит все мировое сообщество ИИ, достаточно трех шагов.
Шаг первый: заключить данные в тюрьму.
В своей работе OpenAI давала всем моделям — независимо от того, был ли это еще только начинающий ходить ребенок (маленькая модель) или уже выросший гигант, — совершенно одинаковый «паек». Около 130 миллиардов токенов данных.
Маленькие модели из-за этого оказались «сыты» или даже «перекормлены», в то время как большие модели, которым действительно нужны огромные объемы данных, чтобы заполнить свою емкость, при том же бюджете токенов серьезно недоедали.
Статья о Chinchilla позже без обиняков указала: «они использовали для всех моделей фиксированное количество обучающих токенов и график скорости обучения» (fixed number of training tokens and learning rate schedule).
Это все равно что заставить дошкольника и доктора наук сдавать один и тот же экзамен за одно и то же время, а затем заявить, что «результаты зависят только от таланта».
Шаг второй: затыкать уши и обманывать себя с помощью затухания скорости обучения (LR decay).
Они использовали косинусное затухание скорости обучения (Cosine Decay), позволяя скорости обучения плавно приближаться к нулю по мере приближения к концу обучения.
Когда обучение приближалось к заранее установленному финишу, скорость обучения искусственно постепенно снижалась до нуля, и прогресс модели естественным образом «выравнивался».
Как только кривая выравнивалась, это выглядело так: эта модель уже всему научилась, дальше кормить бесполезно.
Исследователи делали вывод: «Добавлять данные бесполезно, модель достигла насыщения».
Это не предел модели, это скорость обучения искусственно обрывает путь ее роста. Это создает идеальную иллюзию: производительность достигла потолка, добавление данных бесполезно.
Но теперь мы знаем, что те большие модели и близко не подошли к своему пределу.
Шаг третий: высокомерие авторитета.
Третий шаг, и самый коварный: в статье было написано, что результат «в основном не зависит от графика скорости обучения» (largely independent of learning rate schedule).
Хотя многие, включая самого Диого Алмейду, который в то время работал в OpenAI, смутно чувствовали, что что-то не так, в условиях фиксированного лимита токенов этот вывод был технически верным.
Но он просто неприменим к идеальному миру «неограниченных данных», который scaling law по-настоящему стремится описать.
Они приняли локальную истину в ограниченных условиях за универсальный космический закон.
Три шага, наложенных друг на друга, дают закон, который одновременно ошибочен и чрезвычайно сложен для отладки.
Сам Диого признает: в то время он тоже занимался оптимизацией в OpenAI и не заметил этот баг — тот график скорости обучения выглядел слишком похожим на «тщательно настроенный», кто бы усомнился?
Графические процессоры (GPU) тратились впустую
Серьезное несоответствие в распределении вычислительных мощностей
Под влиянием ошибочной формулы OpenAI индустрия ИИ вступила в эпоху «грубой силы и чудес».
Это означает, что в течение последних нескольких лет самые умные умы мира и самые дефицитные вычислительные мощности тратились впустую на неэффективное масштабирование.
Это не просто вопрос денег, это вопрос о том, что в гонке на скорость достижения ИИГ (AGI) человечество, из-за настройки скорости обучения, коллективно неслось по неправильной трассе тысячи километров.
Если обнаружение бага вызывает боль, то последующее глубокое размышление вызывает дрожь.
Исследователь Адам Захари Вассерман указал на слепое пятно, которое все упускали: даже если формула исправлена, нынешний Scaling Law — это всего лишь «Английский Scaling Law».
Он провел контринтуитивный эксперимент: обучил модель на той же архитектуре и с теми же вычислительными мощностями.
Результат показал, что эффективность достижения определенной грамматической способности у французской модели оказалась в 50–100 раз выше, чем у английской.
Почему? Потому что английский — это язык с «бедной морфологией».
Он слишком зависит от распределительных закономерностей, требуя от модели угадывать значения слов в огромных массивах данных; тогда как такие языки, как французский или китайский, с богатой морфологией или строгой структурой, сами по себе несут в словах большое количество четкой информации.
Это означает, что все наши текущие схемы распределения вычислительных мощностей основаны на самом «прожорливом», самом неэффективном языке.
Когда вы думаете, что исследуете физические законы «универсального интеллекта», вы на самом деле просто измеряете, «насколько английский язык расточителен в плане вычислительных мощностей».
Это все равно что пытаться установить стандарты питания для всех живых существ во Вселенной, изучая аппетит свиньи — это не только предвзятость, но и когнитивная ограниченность.
Мы могли бы достичь более высокой производительности с помощью моделей меньшего размера и большего количества качественных данных.
Мы могли бы сэкономить электроэнергию и тепло, генерируемые десятками тысяч часов работы H100.
Мы могли бы войти в эпоху «эффективного ИИ» на два года раньше.
Источники:
https://www.completeskeptic.com/p/scaling-laws-honestly
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Статья из официального аккаунта WeChat «Синьчжиюань» («Новая эпоха интеллекта»), автор: ASI启示录, редактор: Давид
