Может ли модель генерации обучаться end-to-end? В основе — простой цикл for
В статье представлен новый подход к обучению генеративных моделей под названием Explorative Modeling (XM), который позволяет осуществлять сквозное (end-to-end) обучение. Традиционные генеративные модели, такие как диффузионные или авторегрессионные, страдают от «смешения мод» (mode blurring), когда модель усредняет множество возможных правильных ответов, что приводит к размытым или нереалистичным результатам. Это также вызывает «смещение экспозиции» (exposure bias), когда ошибки накапливаются во время вывода.
Ключевая идея XM проста: на каждом шаге обучения модель генерирует K кандидатов, а для обратного распространения градиента выбирает только того кандидата, который наиболее близок к реальным данным. Этот цикл, реализованный в несколько строк кода, повышает «генеративную выразительность» модели, позволяя ей охватывать несколько мод распределения данных, а не усреднять их.
Авторы показывают, что «исследование» (exploration) становится третьей осью масштабирования наряду с увеличением параметров и данных. Эксперименты с изображениями, видео и текстом демонстрируют монотонное улучшение качества: при увеличении масштаба данных выгода от исследования возрастает с 7% до 36%, а эффективность использования вычислений (FLOP) повышается в 4.1 раза. В задачах управления роботами сквозная модель XM с одним проходом вперед достигает результатов, сравнимых с диффузионными моделями, требующими сотни проходов.
Таким образом, Explorative Modeling предлагает путь к truly end-to-end генеративным моделям, перенося сложность с этапа вывода на этап обучения, что открывает потенциал для более эффективных и мощных систем.
marsbit2 мин. назад
