# Cache KV Articles associés

Le Centre d'actualités HTX fournit les derniers articles et analyses approfondies sur "Cache KV", couvrant les tendances du marché, les mises à jour des projets, les développements technologiques et les politiques réglementaires dans l'industrie crypto.

La réduction de 99% du prix de Xiaomi MiMo n'est pas un coup marketing ! Luo Fuli répond aux détracteurs sur X

Dans un article intitulé "La réduction de 99% du prix de MiMo de Xiaomi n'est pas du marketing ! Luo Fuli répond aux détracteurs sur X", Luo Fuli, responsable de MiMo, a publié un billet de blog technique de 5000 mots pour expliquer la baisse drastique des prix de l'API MiMo-V2.5. Contrairement aux interprétations initiales d'une guerre des prix ou d'une stratégie de perte, cette réduction de 99% concerne spécifiquement le coût des entrées en cache ("Input Cache Hit"), c'est-à-dire la relecture du contexte historique dans les conversations longues. Le billet détaille six piliers d'ingénierie ayant permis cette réduction : 1. **Architecture Hybride SWA** : Réduction du volume de la mémoire cache (KVCache) à 1/7 grâce à une attention par fenêtre glissante sur 60 des 70 couches du modèle. 2. **Gestion en double pool** : Allocation efficace de la mémoire pour matérialiser les gains théoriques du SWA, multipliant par 5 le nombre d'utilisateurs simultanés par GPU. 3. **Cache de préfixe optimisé** : Augmentation du taux de réussite du cache à 93-95% en moyenne, évitant de recalculer les contextes répétés. 4. **Système de cache distribué GCache** : Stockage des données sur les SSD des machines GPU existantes, réduisant les coûts de stockage additionnels à zéro. 5. **Système de routage LLM-Router** : Optimisation de l'acheminement des requêtes pour maximiser l'utilisation du cache et améliorer les performances. 6. **Prédiction Multi-Token (MTP)** : Accélération de la génération des réponses du modèle, réduisant également les coûts de sortie. Cette chaîne d'optimisations systémiques a réduit le temps GPU par requête d'un ordre de grandeur, permettant une baisse de prix de 99% tout en maintenant une marge positive. Luo Fuli souligne qu'il s'agit d'un accomplissement d'ingénierie validé en production, et non d'une simple manœuvre marketing, offrant une référence pour réduire les coûts dans le secteur de l'IA.

marsbit05/31 10:42

La réduction de 99% du prix de Xiaomi MiMo n'est pas un coup marketing ! Luo Fuli répond aux détracteurs sur X

marsbit05/31 10:42

La route de DeepSeek vers 10 000 milliards de dollars : utiliser l'open source pour débloquer un écosystème matériel de mille milliards de dollars

**Résumé : La stratégie ambitieuse de DeepSeek visant 10 000 milliards de dollars** DeepSeek ne chercherait pas seulement à créer des modèles d'IA performants, mais à transformer radicalement l'écosystème matériel de l'IA grâce à une série d'innovations architecturales. L'objectif ultime serait de construire une infrastructure AI à moindre coût, permettant ainsi l'émergence d'un nouvel écosystème matériel viable en Chine et au-delà. Sa feuille de route technique, incluant des innovations comme le MoE, MLA, DSA, CSA, Engram et TileLang, est systématiquement axée sur un objectif : réduire la dépendance aux composants critiques et coûteux (comme le HBM, les puces de pointe, CUDA) et optimiser l'utilisation des ressources disponibles. Par exemple, ses techniques de compression du KV Cache réduisent drastiquement les besoins en mémoire HBM, favorisant l'utilisation de stockages moins chers comme les SSD NAND ou la LPDDR. Ces innovations bénéficieraient directement aux fabricants chinois de mémoire (comme YMTC, CXMT) et aux fabricants de GPU/ASIC locaux, en rendant leurs produits plus compétitifs pour exécuter des charges de travail d'IA avancées. En parallèle, des projets comme TileLang visent à affaiblir le "fossé" de CUDA en permettant une portabilité du code sur différentes architectures matérielles. En résumé, la stratégie de DeepSeek semble être un jeu à long terme : plutôt que de monétiser directement des applications, il s'agirait de devenir un catalyseur essentiel pour un écosystème matériel alternatif de 10 000 milliards de dollars, tout en captant une partie de cette valeur pour atteindre une évaluation d'un billion de dollars. Son approche open-source diffuse ses innovations et accélère cette transformation de l'infrastructure mondiale de l'IA.

marsbit05/25 13:20

La route de DeepSeek vers 10 000 milliards de dollars : utiliser l'open source pour débloquer un écosystème matériel de mille milliards de dollars

marsbit05/25 13:20

活动图片

Catégories populairesright-arrow

Tags tendancesright-arrow

Recherche approfondie

Nouvelles de l'industrie