Снижение цены на MiMo на 99% — не маркетинг! Ло Фули разбивает доводы скептиков в Twitter.
Сяоми объявила о снижении цен на API MiMo-V2.5 на 99%, что вызвало спекуляции о ценовой войне. Руководитель проекта Луо Фули опубликовал технический блог, объясняя снижение цен инженерными улучшениями, а не маркетингом.
Ключевые оптимизации включают:
1. **Гибридная архитектура SWA:** В модели 60 из 70 слоев используют Sliding Window Attention (окно 128 токенов), сокращая объем KVCache в 7 раз.
2. **Двухпульный KVCache:** Раздельное управление памятью для полного внимания и SWA, повышая эффективность использования GPU и поддерживая в 5 раз больше одновременных пользователей.
3. **Высокий % попадания в кэш:** Улучшенный механизм кэширования префиксов обеспечивает попадание в кэш для 93-95% запросов на повторное чтение контекста, минимизируя вычисления.
4. **Распределенный кэш GCache:** Кэш развернут на SSD GPU-серверов, устраняя отдельные затраты на хранилище.
5. **Интеллектуальная маршрутизация LLM-Router:** Система оптимизирует распределение запросов, повышая производительность и сокращая задержки.
6. **Многотокеновое предсказание (MTP):** Модель предсказывает несколько токенов за шаг, ускоряя генерацию ответов.
Эти шесть инженерных оптимизаций, работая вместе, значительно снизили себестоимость обработки запросов, сделав снижение цены на 99% экономически обоснованным при сохранении рентабельности. Луо Фули подчеркивает, что это демонстрация реальных инженерных возможностей, а не маркетинговый ход.
marsbit05/31 10:38
