В мире больших языковых моделей сейчас популярно тестирование под чужим именем.
Недавно на OpenRouter появилась анонимная модель под названием Ox Alpha. «Ox» в переводе означает «бык», и китайские пользователи быстро дали ей более народное название:
Модель «Бык пришёл».
Согласно информации от OpenRouter, Ox Alpha имеет контекст в 1 миллион токенов, поддерживает ввод текста, изображений и видео, может вызывать инструменты и в настоящее время полностью бесплатна.
Вскоре после запуска разработчики подключили её к кодирующему агенту и протестировали на реальных репозиториях кода.
Предварительные результаты тестов показали, что эта модель неизвестного происхождения, «Бык пришёл», по способностям уже приближается к текущим топовым кодогенерирующим моделям.
В то же время некоторые пользователи сообщили, что анонимная модель под названием korrine проходит тестирование на Code Arena. Кто-то предполагает, что это Kimi K3.1, другие указывают на Qwen и MiMo — версии самые разные.
Август в мире больших моделей внезапно превратился в большую игру в угадайку.
Модель «Бык пришёл» показывает впечатляющие результаты
Настоящее внимание Ox Alpha привлекла своими способностями в программировании.
Разработчик Бен Дэвис отобрал 10 задач из DeepSWE для тестирования. Ox Alpha выполнила 8 из них, достигнув показателя успешности в 80%. В опубликованных им сравнительных результатах, Fable 5 Max показал 65%, GLM-5.3 Max и Grok 4.6 xhigh — по 62%, а GPT-5.6 Sol Max — 52%.
DeepSWE проверяет реальные навыки в области программной инженерии. Модель должна прочитать репозиторий кода, определить проблему, изменить код, запустить тесты, а затем продолжить исправления на основе ошибок. По сравнению с одношаговыми задачами по программированию, это больше похоже на реальную работу кодирующего агента.
Однако, выборка из 10 задач очень мала. Позже другие разработчики провели тест на другом подмножестве задач DeepSWE и получили результат около 63%. Области задач и конфигурации выполнения в двух тестах не были идентичны, поэтому пока невозможно точно определить место Ox Alpha в рейтинге.
Тем не менее, эти результаты предварительно показывают, что эта анонимная модель уже демонстрирует большой потенциал в задачах программирования с длинным контекстом, приближаясь по способностям к ведущим моделям.
Кто же стоит за моделью «Бык пришёл»?
Наиболее распространённая версия о происхождении модели «Бык пришёл» — это ещё не выпущенная модель GLM-5.3 Flash от компании Zhipu AI или её мультимодальная версия.
Кто-то даже написал блог с анализом:
1. Самое сильное доказательство — видеокодер. Для четырёх видео с разной частотой кадров, длительностью и разрешением количество визуальных токенов, потребляемых Ox Alpha, полностью совпало с GLM-5V-Turbo. MiMo, Qwen и GLM-4.6V показали заметно другие результаты.
2. Текстовый токенизатор также высоко совпадает. Исследователь протестировал 25 наборов промптов, и количество токенов у Ox Alpha и GLM-5.3 всегда отличалось на фиксированные 75 токенов.
3. Другие характеристики также указывают на Zhipu AI. Ox Alpha отказывается обрабатывать аудио, что совпадает с методом маршрутизации GLM-5V; стиль ответов, количество шагов выполнения агентом и интерфейс рассуждений также очень близки к GLM. Ранее Zhipu AI уже проводила анонимное тестирование GLM-5 под именем Pony Alpha, что является прецедентом.
https://ox-alpha-evidence-production.up.railway.app/
Другие пользователи нашли улики в диалогах.
Бен Дэвис считает, что на 99% уверен, что это GLM-5.x.
Эти улики повышают доверие к версии о GLM, но их всё ещё недостаточно для окончательного подтверждения личности.
На данный момент ни OpenRouter, ни Zhipu AI публично не прокомментировали ситуацию.
Личность korrine ещё более загадочна
В то время как личность «Быка пришёл» всё ещё покрыта тайной, на Code Arena появилась ещё одна анонимная модель под названием korrine.
Изначально многие предположили, что это Kimi K3.1, поскольку перед выпуском Kimi K3 считалось, что она тестировалась под кодовым именем kivine. Kivine и korrine имеют схожую структуру, что и вызвало ассоциации.
Однако, первоначальный источник информации позже добавил, что ранее известная новая модель от Moonshot, возможно, соответствует другому кодовому имени adamant-ananke. Korrine также может принадлежать другой китайской команде, например, Qwen.
В комментариях некоторые также указывают на MiMo V3.
Почему производители больших моделей любят «менять вывеску»?
Анонимное тестирование становится важным этапом перед официальным выпуском больших моделей.
Скрытие производителя и модели на Arena позволяет максимально ослабить предвзятость, вызванную брендом. Пользователи не видят личность модели и могут выбирать только на основе фактического вывода, а накопленные результаты сравнений также ближе к реальному пользовательскому опыту.
OpenRouter предоставляет другую среду тестирования.
Разработчики подключают модель к различным кодирующим агентам, заставляя её работать в реальных репозиториях, последовательно вызывать инструменты и обрабатывать задачи программной инженерии, длящиеся несколько часов. Стабильность контекста, надёжность вызова инструментов, способность модели не зацикливаться или не сбиваться с пути в длительных задачах — всё это быстро выявляется при интенсивном использовании.
Для производителей моделей это эквивалентно публичному стресс-тесту. Команда может заранее наблюдать случаи неудач, проверять возможности службы вывода, а также накапливать реальную репутацию до официального выпуска.
Кроме того, «угадывание модели» сейчас всё больше становится маркетинговым инструментом, а интрига с личностью действительно может продлить цикл обсуждения.
Наконец, вернёмся к самой модели. Если Ox Alpha действительно является моделью Flash, чьи способности в программировании уже приближаются к топовому уровню, то куда заведёт полноценная версия с большими ресурсами и более полными возможностями?
Ссылки:
https://x.com/Adidotdev/status/2090833298713096241
https://x.com/davis7/status/2090669483740279155?s=20
https://x.com/davis7/status/2090655207831298095?s=20
https://x.com/MaxForAI/status/2090783750217162788
Статья из официального аккаунта WeChat «Машинный разум» (ID:almosthuman2014), автор: следит за ИИ.
