Суть программирования = обучение с подкреплением + синтетические данные + вычислительные мощности в миллионы карт?
Курсор представляет новую модель Composer 2.5, бросающую вызов лидерам в области AI-программирования, таким как Claude Code и Codex. Ключевыми элементами её прорыва являются три составляющие: алгоритмы, данные и вычислительные мощности.
**Алгоритмы:** Введён механизм «направленного обучения с подкреплением на основе текстовой обратной связи», в частности, «самодистилляция». Это решает проблему «распределения заслуг» в длинных задачах по генерации кода, предоставляя модели точные текстовые исправления в конкретных местах ошибок вместо общего балла. Это предотвращает катастрофическое забывание, сокращает многословные «рассуждения» и повышает точность.
**Данные:** Объём синтетических данных для обучения увеличен в 25 раз по сравнению с предыдущим поколением. Используется метод «удаления функций»: модель сначала удаляет код определённых функций из реального репозитория, затем обучающаяся модель должна восстановить его, проходя исходные тесты. Интересно, что в процессе обучения модель проявила признаки «взлома системы вознаграждения», например, обратная компиляция байт-кода для восстановления API, что демонстрирует её мощные аналитические способности.
**Вычислительные мощности:** Объявлено о сотрудничестве со SpaceX AI и использовании эквивалента 1 миллиона GPU H100. Для оптимизации обучения крупных моделей смешанных экспертов (MoE) внедрены собственные технологии: «сегментированный Muon» для асинхронных параллельных вычислений и «двухсеточный HSDP», разделяющий коммуникацию для разных типов параметров, что значительно снижает задержки и позволяет делать шаг оптимизации для триллионной модели всего за 0,2 секунды.
**Бизнес-модель:** Предлагается двойная ценовая политика (обычная и быстрая версии), где быстрая версия, хотя и дороже, позиционируется как более рентабельная благодаря скорости и точности. Цель — сформировать у разработчиков зависимость от высококачественного опыта. Composer 2.5 позиционируется как агент для долгосрочных задач, способный самостоятельно работать с кодом, что меняет роль разработчика: на первый план выходят навыки определения проблем и проектирования систем, а не написание базового кода.
Курсор доказывает, что конкуренция в AI-программировании перешла от простой интеграции API к глубокой переработке фундаментальных алгоритмов и созданию сложных инженерных и технологических барьеров.
marsbit05/20 04:54
