# Inférence Articles associés

Le Centre d'actualités HTX fournit les derniers articles et analyses approfondies sur "Inférence", couvrant les tendances du marché, les mises à jour des projets, les développements technologiques et les politiques réglementaires dans l'industrie crypto.

Exclusivité : Genspark, l'étranger

Genspark, une société d'IA basée à Palo Alto, se présente comme une entreprise américaine partenaire d'OpenAI et recommandée par Anthropic. Cependant, son récit masque des liens étroits avec la Chine. Ses principaux fondateurs, Eric Jing et Kay Zhu, ont occupé des postes élevés chez Baidu, un passé systématiquement minimisé. L'entreprise évite les interactions publiques avec la communauté chinoise des startups en IA et les modèles open-source chinois, préférant mettre en avant ses collaborations avec des géants américains. Opérant comme un "Costco de l'IA", Genspark clone rapidement les fonctionnalités de produits à la mode (comme Perplexity, Manus, Plaud) pour les intégrer à son abonnement unique. Sa croissance agressive est alimentée par un marketing massif, y compris des publicités au Super Bowl. Derrière sa façade de petite équipe américaine se cacherait une équipe d'ingénieurs basée à Pékin. Ainsi, Genspark utilise stratégiquement des ressources et des modèles chinois tout en construisant soigneusement une image purement américaine, exécutant la tâche d'Agent la plus longue : faire croire au monde qu'elle n'est qu'une entreprise d'IA de la Silicon Valley.

marsbit08/03 10:47

marsbit08/03 10:47

L'angoisse mémoire des grands modèles, la solution se trouve sur une clé USB

Les modèles d'IA générative sont confrontés à un défi majeur : la pénurie et le coût élevé de la mémoire HBM, essentielle pour leurs opérations. Une nouvelle approche, surprenante, émerge : utiliser la mémoire flash NAND (la technologie des clés USB) pour soulager cette pression. Baptisée High Bandwidth Flash (HBF), elle est développée par SanDisk et SK Hynix. L'idée centrale est de tirer parti du point fort de la flash NAND : une lecture de données relativement rapide et un coût par gigaoctet bien inférieur à celui de la HBM. En empilant jusqu'à 16 puces NAND dans un seul module 3D, l'HBF vise à atteindre une bande passante de lecture de 1,6 To/s et une capacité de 512 Go par pile. Ce n'est pas un remplacement de la HBM. L'innovation réside dans une architecture mémoire hiérarchisée et spécialisée pour l'**inférence** (l'exécution) des grands modèles. Pendant l'inférence, les poids du modèle, volumineux et largement statiques, sont principalement lus, rarement écrits. L'HBF pourrait servir de "pool de mémoire morte haute capacité" pour ces données, libérant la HBM coûteuse pour les calculs les plus critiques et les données temporaires. Les avantages potentiels sont significatifs : réduire la quantité de HBM requise par serveur, diminuer le nombre de cartes d'accélération nécessaires pour héberger de très grands modèles, et ainsi abaisser les coûts globaux et la consommation énergétique des déploiements d'IA. Bien que la technologie HBF, en cours de standardisation, ne soit pas attendue avant au moins un an, elle signale une évolution importante. Face à l'explosion des modèles, la solution aux problèmes de mémoire pourrait venir non seulement de technologies plus rapides et chères, mais aussi d'une réorganisation intelligente des architectures, en redonnant un rôle clé à une technologie mature réinventée.

marsbit07/20 00:23

L'angoisse mémoire des grands modèles, la solution se trouve sur une clé USB

marsbit07/20 00:23

Un article d'ingénierie des prompts accepté à l'ICML 2026, la polémique fait rage en ligne

Le papier intitulé "Verbalized Sampling" (VS), accepté à ICML 2026, suscite un vif débat. Sa proposition centrale est simple : en modifiant simplement l'invite (prompt) pour demander à un LLM de générer des réponses tout en verbalisant leurs probabilités estimées, on peut significativement augmenter la diversité des sorties et atténuer l'effondrement des modes (mode collapse), un problème récurrent où les modèles produisent des réponses trop conventionnelles. Les auteurs attribuent la racine du problème non pas aux algorithmes d'alignement, mais à un "biais de typicalité" dans les données de préférence humaines utilisées pour l'entraînement, qui favorisent les réponses familières. Leur méthode, testée sur plusieurs modèles et ensembles de données, multiplierait la diversité par 1,6 à 2,1 dans des tâches créatives sans nuire à l'exactitude ou à la sécurité. Sur Reddit, les réactions sont partagées. Les critiques soulignent que l'idée semble triviale, manque de robustesse théorique par rapport à une nouvelle méthode algorithmique, et pourrait relever de la suroptimisation expérimentale. Les défenseurs rétorquent que la recherche valable ne se juge pas à sa complexité, mais à sa rigueur, sa reproductibilité et l'importance de son insight – ici, identifier la cause profonde du problème. Ils comparent cela à l'émergence du "Chain-of-Thought" (CoT), une simple invite devenue un champ de recherche fondamental. Le débat reflète une évolution potentielle de la discipline, où l'ingénierie des prompts et l'optimisation de l'inférence gagnent en légitimité face aux approches traditionnelles centrées sur l'entraînement des modèles.

marsbit07/15 08:01

Un article d'ingénierie des prompts accepté à l'ICML 2026, la polémique fait rage en ligne

marsbit07/15 08:01

L'explosion des usines de jetons IA, les enseignants et étudiants de l'Université Tsinghua lèvent 10 milliards en six mois

Qui produit l’« eau, l’électricité et le charbon » de l’ère de l’IA ? La société chinoise Qujing Technology, fondée par des professeurs et anciens élèves de l’Université Tsinghua, se spécialise dans la création d’« usines à jetons IA » de haute qualité. En se concentrant sur l’inférence des modèles d’IA plutôt que sur leur entraînement, l’entreprise vise à produire des tokens de manière stable, efficace et à faible coût pour les applications commerciales réelles. Grâce à des technologies innovantes comme la « coordination hétérogène système entier » et le « calcul par la mémoire », Qujing a développé une plateforme ATaaS (Token as a Service) pour optimiser chaque étape de la production. Cette approche porte ses fruits : en six mois, la start-up a levé plus de 10 milliards de yuans et a multiplié par 30 sa production de tokens de haute qualité. Ses revenus mensuels de juin 2026 ont déjà dépassé ceux de toute l’année 2025. Face à l’explosion de la demande en tokens (plus de 140 000 milliards par jour en Chine), Qujing propose deux modèles : une production directe de tokens pour des clients majeurs, et une co-exploitation d’usines à tokens pour des partenaires tels que des centres de calcul. L’ambition est de devenir un acteur clé de l’écosystème de l’IA, en facilitant la transition de la vente de puissance de calcul à celle de tokens de haute qualité, essentiels à l’économie numérique future.

marsbit07/13 03:47

L'explosion des usines de jetons IA, les enseignants et étudiants de l'Université Tsinghua lèvent 10 milliards en six mois

marsbit07/13 03:47

GPT-5.6 approche, le raisonnement fonce à 750 tokens/s, traversant apparemment 100 tranches de silicium

**Résumé :** L’annonce imminente de GPT-5.6 Sol, un modèle d’IA d’OpenAI, suscite l’émoi pour sa vitesse de raisonnement revendiquée de 750 tokens par seconde, une performance présentée comme révolutionnaire pour les interactions en temps réel. Pour atteindre ce débit, OpenAI s’appuierait sur une collaboration avec Cerebras et un déploiement radical : le modèle, estimé à environ 3 000 milliards de paramètres, serait réparti sur 70 à 100 puces de type « wafer-scale », chacune dédiée à une couche du réseau de neurones. Cette approche « une couche, une puce » contournerait les goulots d’étranglement des clusters GPU traditionnels. L’article évoque également une refonte de l’architecture du modèle, avec potentiellement l’adoption d’un cache KV allégé ou de modèles hybrides (comme Mamba), optimisés pour le matériel Cerebras. Enfin, le lancement par OpenAI de sa première puce dédiée, « Jalapeño », confirme son ambition de contrôler toute la pile technologique, du matériel au logiciel, visant à construire un « empire AI full-stack » alimenté par des centres de données à très grande échelle à partir de fin 2026.

marsbit07/09 11:58

GPT-5.6 approche, le raisonnement fonce à 750 tokens/s, traversant apparemment 100 tranches de silicium

marsbit07/09 11:58

DeepSeek développe secrètement ses propres puces, se concentre sur l'inférence, lancé il y a un an, le recrutement s'est fait en toute confidentialité

DeepSeek, la société chinoise d'IA connue pour ses modèles algorithmiques, développerait secrètement sa propre puce d'IA dédiée à l'inférence, selon un rapport de Reuters. Le projet aurait débuté il y a environ un an, visant à réduire la dépendance envers Nvidia. Le développement en est encore aux premiers stades, avec des discussions engagées avec des concepteurs de puces, des fonderies et des fournisseurs de mémoire. Les recrutements d'ingénieurs se feraient de manière discrète, sans annonces publiques. Cette initiative s'inscrit dans une tendance globale où les géants de l'IA comme OpenAI et Anthropic explorent également le développement de puces maison. DeepSeek, qui a historiquement optimisé ses algorithmes pour l'efficacité (modèles R1, V4 adaptés à l'Ascend de Huawei), cherche ainsi à contrôler davantage sa chaîne technologique. La puce, spécialisée pour l'inférence, répondrait au besoin crucial de réduire les coûts et la consommation énergétique des modèles en production. Le design du modèle V3.1, avec son format de données UE8M0 FP8, semble déjà anticiper cette collaboration matérielle. Ce projet ambitieux est soutenu par un tour de table de 510 milliards de yuans (environ 74 milliards de dollars) conclu en juin 2026. Les fonds sont destinés au développement de la puce, à l'expansion de centres de calcul basés sur des puces locales et au recrutement de talents. DeepSeek reste discret sur le sujet, mais marque ainsi une évolution stratégique majeure vers l'intégration matérielle, malgré les défis techniques et financiers importants que représente la conception d'une puce compétitive.

marsbit07/08 02:06

DeepSeek développe secrètement ses propres puces, se concentre sur l'inférence, lancé il y a un an, le recrutement s'est fait en toute confidentialité

marsbit07/08 02:06

Un mégawatt pour 60 000 agents intelligents, le GB300 de NVIDIA écrase la génération précédente par 20 fois

Selon les résultats du nouveau benchmark AA-AgentPerf, conçu spécifiquement pour mesurer les performances des agents IA, le système GB300 NVL72 de NVIDIA peut gérer jusqu'à 61 400 agents simultanés par mégawatt, soit environ 20 fois plus que la génération précédente H200 (2 600 agents par mégawatt). Cette mesure « agents par mégawatt » devient un indicateur clé, plus pertinent que les tokens par seconde pour évaluer l'efficacité réelle des systèmes d'IA agentique. Le benchmark AA-AgentPerf, développé par Artificial Analysis, simule le fonctionnement réel d'un agent de programmation, avec des sessions longues (jusqu'à 200 tours) et un contexte pouvant dépasser 100 000 tokens. Il impose des objectifs de niveau de service (SLO) sur la vitesse de génération et la latence pour déterminer le nombre maximal d'agents concurrents qu'un système peut supporter de manière utilisable. L'écart de performance s'explique par une avancée systémique. Le GB300 NVL72 relie 72 GPU via NVLink en un seul système rack, permettant une répartition optimale des modèles MoE (Mixture of Experts) et une gestion efficace du cache KV et de la communication. Les optimisations logicielles, comme celles de TensorRT-LLM, contribuent également à ces gains. Il est important de noter que ce benchmark utilise des trajectoires pré-enregistrées et ne reflète pas directement la capacité d'un environnement de production réel. Il représente néanmoins un changement significatif dans la manière d'évaluer la puissance de calcul dédiée aux agents IA, en se concentrant sur le coût énergétique par agent utile plutôt que sur la performance brute.

marsbit07/06 01:07

Un mégawatt pour 60 000 agents intelligents, le GB300 de NVIDIA écrase la génération précédente par 20 fois

marsbit07/06 01:07

OpenAI et Anthropic se lancent dans la conception de puces : au-delà des coûts, c'est la maîtrise du calcul qui compte

OpenAI et Anthropic s'engagent dans le développement de puces IA sur mesure, visant à reprendre le contrôle de leurs infrastructures de calcul. Si Anthropic négocie avec Samsung pour une puce personnalisée et explore la conception interne, OpenAI collabore déjà avec Broadcom et TSMC, visant un déploiement en 2026. Cette tendance dépasse la simple réduction des coûts. Elle répond à un besoin crucial de maîtrise de la puissance de calcul, de réduction de la dépendance envers des fournisseurs comme NVIDIA, et surtout, d'optimisation conjointe de la logiciellle et du matériel. En concevant des puces adaptées à l'architecture spécifique de leurs modèles (comme GPT-4 ou Claude), ces entreprises cherchent à améliorer radicalement l'efficacité, la vitesse et l'économie de leurs systèmes. Bien que les GPU restent incontournables à court terme en raison de leur écosystème, ces puces maison offriront une alternative stratégique, notamment pour l'inférence. Cette course à l'"autonomie en matière de calcul" rejoint les initiatives similaires de Google, Amazon, Meta et Microsoft, transformant la compétition dans l'IA, qui devient de plus en plus une intégration verticale complète.

marsbit07/03 13:42

OpenAI et Anthropic se lancent dans la conception de puces : au-delà des coûts, c'est la maîtrise du calcul qui compte

marsbit07/03 13:42

Les actions semi-conducteurs s'effondrent, mais Anthropic veut fabriquer une puce 2 nm

Selon des informations, l'entreprise d'IA Anthropic aurait initié les premiers travaux pour développer sa propre puce dédiée à l'IA, envisageant de la fabriquer en partenariat avec Samsung en utilisant sa technologie de fabrication avancée de 2 nanomètres et son emballage de pointe. Ce projet, encore à un stade précoce de définition des spécifications, pourrait être abandonné. Cette initiative s'inscrit dans un contexte où la demande de calcul pour son modèle Claude dépasse l'offre disponible. En développant une puce d'inférence personnalisée, Anthropic cherche à optimiser les performances, réduire les coûts opérationnels et gagner en indépendance. Elle rejoint ainsi d'autres géants comme OpenAI, Google et Meta dans cette course à l'autonomie matérielle. Le choix de Samsung comme partenaire de fabrication n'est pas une surprise, ce dernier étant un investisseur stratégique dans le dernier tour de table d'Anthropic. Pour Samsung, c'est l'opportunité de renforcer son activité de fonderie face à TSMC en s'associant à un acteur majeur de l'IA. Cependant, cette quête d'indépendance crée paradoxalement de nouvelles interdépendances dans la chaîne d'approvisionnement mondiale des semi-conducteurs. Anthropic maintient une stratégie de diversification de ses sources de calcul, avec des engagements à long terme massifs auprès d'Amazon AWS (puces Trainium) et de Google (TPU), ainsi que la location d'un vaste cluster de GPU NVIDIA auprès de xAI. Malgré la tendance à la personnalisation des puces, NVIDIA conserve une position dominante sur le marché de l'inférence IA.

链捕手07/03 10:01

Les actions semi-conducteurs s'effondrent, mais Anthropic veut fabriquer une puce 2 nm

链捕手07/03 10:01

GPT conçoit GPT

OpenAI a dévoilé son premier puce, Jalapeño, destinée à l'inférence des grands modèles linguistiques. Ce mouvement ne vise pas principalement à concurrencer Nvidia, mais marque une étape stratégique où OpenAI cherche à maîtriser l'ensemble du processus de production de l'intelligence artificielle, des modèles aux puces, en passant par les centres de données et l'énergie. Alors que l'écart entre les modèles se réduit, le vrai fossé se creuse au niveau de la puissance de calcul, des coûts d'inférence et de l'efficacité système. Chaque jeton (Token) généré représente un coût, et OpenAI, avec ses produits à forte demande comme ChatGPT, supporte une « taxe de calcul » importante sur le matériel externe. Jalapeño est conçu pour réduire cette « taxe d'inférence » en optimisant les coûts opérationnels quotidiens. Un détail crucial est le cycle de conception de seulement neuf mois, accéléré par l'utilisation par OpenAI de ses propres modèles d'IA pour aider à concevoir et optimiser la puce. Cela crée un cycle vertueux : de meilleurs modèles conçoivent de meilleures puces, qui réduisent le coût d'exécution des modèles futurs, permettant plus d'utilisateurs et de données pour affiner les prochaines générations de puces. OpenAI ne cherche pas à devenir un fournisseur de matériel comme Nvidia. Son approche s'apparente plutôt à celle d'Apple : construire un écosystème fermé et intégré où les modèles, les produits (ChatGPT, API), les puces et les infrastructures sont optimisés conjointement pour contrôler l'ensemble de la chaîne de valeur de l'IA. À long terme, cela pourrait repositionner les entreprises de modèles en tant que joueurs majeurs de l'infrastructure IA, aux côtés des fournisseurs de matériel traditionnels.

marsbit06/25 14:07