百万上下文之后,拼什么?

marsbitPublié le 2026-05-05Dernière mise à jour le 2026-05-05

文 | 科技不许冷

过去几天,科技圈的视线全被DeepSeek吸走了。

满屏都是传闻中的估值溢价,或者是跟各类国产算力芯片的适配通稿。市场的狂热情绪,很容易让人迷失在庞大的数字迷宫里。大众的关注点,要么是百万上下文"这个听起来很唬人的标签,要么是跑分榜单上“谁又赢了谁零点几分”的算术题。

DeepSeek V4-Pro的分数确实好看。从其技术报告披露的底牌来看,在SimpleQA-Verified测试中,它以20个绝对百分点的优势甩开了所有开源对手;在Codeforces代码竞赛里,预期评分直接追平了GPT-5.4。当然,在世界知识的广度上,它依然略逊于Gemini-3.1-Pro;遇到极高难度的复杂任务,跟Claude Opus 4.6也还有微小的身位差。

但这都不重要。

如果你只盯着榜单排名,就完全看漏了这家机构真正的野心。

DeepSeek根本不是在发布一个用来刷榜的模型参数包。它实际上是在一点点拆开“百万上下文”这件事的底座。

大模型的战争,已经从模型层退场,全面接管系统层。

过去几年,行业都在拼脑容量。比谁的参数多,比谁跑分高。但这套玩法到头了。V4的出现,是在定义一套新规矩:模型本身,只是高效工程系统自然结出的一个副产品。

1M上下文变成所有官方服务的出厂默认值时,从其开源实现中可以清晰地看到一个事实:这绝对不是靠算力硬堆出来的。长文本时代的下半场,拼的从来不是智商。

而是机房调度能力。

13B激活参数,把37B按在地上

调度能力从哪看出来?先看V4最反直觉的一个设计:Pro和Flash的共生关系。

行业里一看到“Pro”和“Flash”,第一反应就是精准刀法:Pro用来打标杆,Flash用来做下沉市场,收割中小企业。

这种典型的商业包装逻辑,放在V4身上,看偏了。这两者根本不是算力降级关系,而是验证同一套底层逻辑的对照组。

大模型过去的长文本能力,本质上是用显存硬堆出来的伪能力。只要给的GPU够多,显存够大,不管多长的文本都能硬吞下去。但代价是,成本高到根本没法在真实的商业环境里铺开。

V4-Pro以1.6T的总参数和49B的激活参数把容量拉到了顶。但真正的大招,是那个只有284B总参数、13B激活参数的V4-Flash。

文档里的一个数据直接戳破了行业的窗户纸:在大量极具挑战性的测试中,只有13B激活参数的Flash-Base,直接超越了上一代37B激活参数的V3.2-Base。

13B的极小激活代价,绝不是能力缩水,而是一次底层的效率重构。Flash的意义,不是为了证明它能有多省钱,而是为了证明“算力霸权是可以被架构重构打破的”。

参数规模,已经彻底失去决定性意义。

调度能力,正在取代参数,成为新的主战场。这让百万上下文不再是高阶英伟达集群的专属玩具,国产芯片也能顺畅地接管战局。未来开源模型的分水岭,不再是看谁的底座大,而是看谁能用十分之一的力气干同样的活。

专家和稀泥,不如各管一段

硬件效率是一面,另一面是软件效率。V4在'后训练'阶段也换了一条路。

大模型的“后训练”阶段,过去一直走在一条死胡同里。

行业惯用的混合强化学习(Mixed RL),说的直白点,就是和稀泥。如果你想让模型既懂微积分,又会写C++,还能做日常规划时,传统的做法是把所有的参数强行往中间捏。结果就是“向均值回归”。

强行捏在一起,特化能力全磨平了,最终只会均值化成平庸的通才。

V4换了一条路。不是改良,是彻底换道。技术报告里交代了新解法:先独立培养专家。数学专家就只管算数,代码专家就只管编程。把单一维度的能力拉到满。

关键在于最后怎么合并。V4不用业内泛滥的参数平均法,而是用了同策略蒸馏(OPD)。

传统的权重合并是一种静态妥协,而OPD是一场动态接管。

统一模型在自己生成轨迹时,遇到数学题,系统就精准引入数学专家的梯度来指路;遇到写代码,就无缝切给代码专家。大家各司其职,不在参数层面打架。

顺着这条线往下看,V4应用端那个很火的“三种推理模式”(无思考、高强度思考、极限思考),根本不是加了个UI按钮那么简单。它是OPD机制在产品端的直接变现。

在极限思考模式下,底层提示词会强制模型去分解问题、穷尽边缘情况。这种极其固执的死磕行为,恰恰是在OPD阶段,在“数学专家”和“编程专家”的高强度捶打下固化下来的本能。

OPD不搞平均。遇到数学题,接数学专家;遇到代码,接代码专家。各管一段,不在参数层面打架。

Agent跑了三小时,不能失忆

换完训练方法,换应用场景长上下文到底能干嘛?

如果只是为了在十万字的研报里找一句话,那不叫长上下文,那叫高级检索。真实的商业场景里,Agent要替你重构代码、跨系统验证数据、甚至跑一整晚的流程。

在这个过程里,最致命的问题是“失忆”。

V3.2有个让工程师极其头疼的痛点:新消息一进来,模型之前的思考痕迹直接清空。普通聊天这么干没问题,省资源。但如果是跑了三个小时的Agent任务,半路插进去一句话,模型脑子一白,整个状态全部丢失,得从头算。

这种链条断裂,在实际业务中直接接不住。

V4给出的方案是“交织思考”。逻辑很冷酷,分场景算账。

只要是带工具调用的长程场景,跨越消息边界,推理链条完整保留。如果是闲聊,继续清空,绝不多浪费一丁点算力。模型开始真正懂得“在什么场合,该记住什么”。

更绝的是它的快速指令(Quick Instruction)。

以前行业里做意图识别,都习惯在外面挂个小模型。这意味着每次有新请求进来,不管长短,系统都得把用户的提示词重新嚼一遍。这本质上是在白白浪费预填充计算。

V4没这么干。从其开源代码中可见:直接在输入序列末尾插几个隐式指令。主模型之前算好的海量特征(KV Cache),直接复用。

长上下文的核心问题,从来不是“记得多”,而是“算得起”。

这其实就是粗暴地砍掉了一次冗余的预填充计算。行业默认一个功能配一个小模型,V4用行动证明:不用。KV Cache复用吃透了,长程Agent才能跑起来。

完全缓存、定期存、不存,都疼

能跑不代表能卖

第17页有个细节,自动生成的kernel,跟手写CUDA逐位比对。不是差不多,是每一位都一样。这种工程洁癖,业务里少见。有这底线,才敢算部署账。

高并发的百万上下文,拼的根本不是大模型懂不懂人类,拼的是你懂不懂硬件的物理极限在哪。

文档里三种调度策略都列出来了,没有藏着掖着,全是取舍。

想追求计算零冗余?上“完全缓存”。但代价是,固态硬盘的I/O通道可能在几秒钟内被高频写入直接挤爆。

想保护硬盘?上“定期检查点”。隔一段距离存一次。硬盘保住了,但GPU得时不时腾出算力来给丢失的尾部数据擦屁股。

要是干脆不上物理硬盘缓存呢?那就选“零缓存”。省下全部存储带宽,全靠长程特征做锚点,碰到问题GPU现场硬算。

这三条路,哪条都不是完美的。这本质上就是一场关于硬件寿命、并发峰值和用户延迟容忍度之间的极限算账。它把冷冰冰的现实摆在所有人面前:AI早已不是单纯的算力密集型产业,它正在加速变成调度密集型产业。

写在最后

DeepSeek V4,如果还停留在跑分榜上,那就连门槛都没摸到

OPD的能力动态接管,交织思考的记忆保留,砍掉预填充的快速指令,还有那些把硬盘和显存算计到骨头里的落盘策略。

这些枯燥的细节,其实是一根线上的蚂蚱。

大模型在变。

不再是陪聊的玩具。

而是开始接管真实世界的业务链条。

DeepSeek不是在赌未来,它是在建机房。外界还在聊分数分数只是机房运转时的副产品

当对手还在为跑分榜上的零点几分沾沾自喜、向市场炫耀那几百亿参数时,DeepSeek已经在算每百万Token的电费

战局已经很清晰了:

下一场长文本战争,决胜点不是智商是机房成本。

Lectures associées

Valeur, croissance et risques des marchés de prédiction

**Résumé (Français)** Les marchés prédictifs connaissent une croissance explosive, portée notamment par les paris sportifs (ex : 1110 milliards de dollars d'échanges au Q2 2026). Leur véritable valeur réside cependant dans leur capacité à offrir des outils de couverture pour les entreprises (taux d'intérêt, inflation, prix du pétrole, etc.) et à générer des prévisions probabilistes souvent plus précises que les sondages. Cependant, cette croissance rapide soulève trois problèmes majeurs : 1. **Débat réglementaire intense :** Un conflit juridique oppose la CFTC (qui régule ces marchés comme des produits dérivés) à de nombreux États américains (qui les considèrent comme des paris sportifs non autorisés). 2. **Risques pour les consommateurs :** La majorité des utilisateurs particuliers perdent de l'argent, au profit de professionnels. Les pratiques de marketing agressif (paris combinés, publicités) et les protections insuffisantes (âge minimum de 18 ans) suscitent des inquiétudes quant aux comportements à risque. 3. **Dépendance à un contexte favorable :** Le modèle dépend de l'interprétation actuelle de la loi par la CFTC et pourrait être remis en cause par un changement d'administration. Pour devenir un "meilleur marché", des mesures sont proposées : renforcer les garde-fous pour les consommateurs, mieux encadrer les paris sportifs, et orienter l'appétit pour la spéculation vers des produits d'épargne à long terme. L'enjeu est de préserver l'utilité économique des marchés prédictifs tout en protégeant efficacement les utilisateurs.

marsbitIl y a 1 h

Valeur, croissance et risques des marchés de prédiction

marsbitIl y a 1 h

Metrics Ventures Observatoire des Marchés : Les paroles sont bon marché

L'analyse de Metrics Ventures, intitulée "Talk is Cheap", examine les tensions actuelles entre les marchés financiers et la politique monétaire. Malgré les déclarations importantes du président de la Fed, Warsh, en juillet, les marchés obligataires et des changes continuent de refléter une méfiance face aux problèmes structurels du dollar, tandis que les actions américaines semblent ignorer ces risques. Les métaux précieux, comme l'or, ont trouvé un plancher, signalant un consensus sur la dépréciation des monnaies occidentales. Pour le trimestre à venir (Q3-Q4), la vue est positive sur les ressources limitées de la chaîne d'approvisionnement mondiale, comme le cuivre et l'électricité, ainsi que sur l'or. Le marché des crypto-monnaies, quant à lui, pourrait manquer de dynamique tant qu'une liquidité excessive ne sera pas injectée et que la croissance marginale de l'IA ne sera pas pleinement intégrée aux prix. Les graphiques présentés montrent une consolidation saine pour les matières premières, une tendance haussière ferme pour les actifs chinois (comme l'indice STAR 50), et des ressources clés (pays producteurs, cuivre) à un point d'inflexion. L'analyse souligne la pertinence des actifs chinois liés aux métaux, qui offrent une option d'achat implicite sur les prix. Macroéconomiquement, l'intervention conjointe États-Unis-Japon sur les devises et l'utilisation d'outils comme le FIMA par le Trésor pour contourner la Fed sont perçues comme des signes significatifs. La stratégie recommandée sur un horizon de 3 ans reste l'investissement dans les ressources et métaux.

marsbitIl y a 1 h

Metrics Ventures Observatoire des Marchés : Les paroles sont bon marché

marsbitIl y a 1 h

Révélation des salaires journaliers des stagiaires chez les géants de l'IA : Anthropic dépasse 5000 yuans, Kimi ne se classe qu'en quatrième catégorie

**Résumé : Révélation des salaires journaliers des stagiaires chez les géants de l'IA** En 2026, le salaire médian des stagiaires en Chine est d'environ 5 000 yuans par mois. Cependant, dans l'industrie de l'IA, les écarts sont astronomiques. Une enquête sur 12 géants mondiaux révèle une guerre intense pour les talents. **Les plafonds :** Les programmes d'élite comme le **OpenAI Residency** (env. 5 625 yuans/jour) et les **Anthropic AI Safety Fellows** (env. 5 198 yuans/jour, plus 15 000$/mois de budget calcul) offrent des salaires de "pré-embauche" pour les futurs chercheurs d'exception. **Les géants américains :** Les stages techniques réguliers affichent des salaires journaliers élevés : **Meta** (~3 780 yuans), **Google** (~3 400 yuans), **NVIDIA US** (~2 106 yuans en moyenne, pouvant dépasser 5 000 yuans pour les docteurs). **Les géants chinois à la poursuite :** Pour attirer les talents顶尖, des programmes spéciaux émergent. **ByteDance (Top Seed)** propose jusqu'à 2 000 yuans/jour. **Xiaomi** offre 500-1 100 yuans/jour pour ses stages "d'excellence". **La réalité majoritaire :** Pour la plupart des stagiaires en IA en Chine, les salaires sont plus modestes mais compétitifs : **DeepSeek** (500-1 000 yuans), **ByteDance standard** (500 yuans), **MiniMax** (350-600+ yuans), **Alibaba** (350-550 yuans), **NVIDIA China** (400-800 yuans), **Kimi** (400-450 yuans), **Xiaomi standard** (300-400 yuans), **Zhipu AI** (200-300 yuans). **Points clés :** 1. **Fossé immense** entre l'élite (jusqu'à 5 000+ yuans/jour) et la majorité (200-550 yuans). 2. **Écart significatif** persistant entre les salaires des stagiaires aux États-Unis et en Chine. 3. Les entreprises chinoises comblent le retard pour les talents d'exception via des **programmes spéciaux hautement rémunérés**. 4. Au-delà du cash, **les stock-options** sont un levier crucial pour les startups comme Zhipu, MiniMax ou Kimi. L'industrie de l'IA crée des miracles de valorisation, mais sa ressource la plus rare reste les individus capables de les réaliser.

Odaily星球日报Il y a 2 h

Révélation des salaires journaliers des stagiaires chez les géants de l'IA : Anthropic dépasse 5000 yuans, Kimi ne se classe qu'en quatrième catégorie

Odaily星球日报Il y a 2 h

Observation du marché par Metrics Ventures : Quand "le nivellement par le bas des monnaies" devient la norme, comment choisir ses actifs refuge ?

**Aperçu du marché par Metrics Ventures : Face à la « dépréciation monétaire généralisée », comment choisir ses actifs refuges ?** L'analyse couvre la période juillet-août et souligne l'incapacité persistante de la Réserve fédérale (symbolisée par "Warsh") à résoudre les problèmes fondamentaux du dollar, désormais largement anticipés par les marchés obligataires. Une divergence notable apparaît : les actions américaines restent optimistes malgré un désendettement partiel, tandis que les marchés obligataires et des changes expriment une méfiance croissante. Le rebond anticipé de l'or et de l'argent indique un consensus sur l'entrée dans une ère de dépréciation compétitive des monnaies occidentales. À court terme, une forte correction boursière est jugée peu probable. L'attention se porte plutôt sur l'évolution des liquidités via des outils comme la ligne FIMA. Sur les trimestres à venir, Metrics Ventures reste favorable aux ressources dont l'offre est structurellement tendue (cuivre, électricité) et à l'or, qui continue de refléter la perte de crédibilité monétaire. Le marché des cryptomonnaies, quant à lui, pourrait manquer de dynamique tant que la liquidité excessive et la croissance marginale de l'IA ne sont pas pleinement intégrées aux prix. Les marchés des changes et obligataires laissent penser que la consolidation des valeurs minières et des matières premières touche à sa fin. Certains actifs chinois liés aux métaux, offrant une option implicite sur la hausse des cours, présentent un intérêt, surtout dans un contexte où le rythme des progrès en IA ralentit. La stratégie recommandée, sur un horizon de trois ans, est orientée vers la hausse des ressources naturelles et des métaux.

marsbitIl y a 4 h

Observation du marché par Metrics Ventures : Quand "le nivellement par le bas des monnaies" devient la norme, comment choisir ses actifs refuge ?

marsbitIl y a 4 h

Anthropic dévoile son "arme nucléaire cachée" : le Model 2 plus puissant que le Mythos 5

**Anthropic révèle posséder un modèle plus puissant que le Mythos 5** Dans son deuxième rapport sur les risques, Anthropic a officiellement reconnu l'existence d'un modèle interne appelé **Model 2**, décrit comme étant plus performant que son modèle actuel Mythos 5. Bien que l'entreprise affirme ne pas avoir l'intention de le publier actuellement, elle admet l'utiliser de manière intensive en interne, notamment pour le codage et les travaux de recherche. Le rapport indique que Model 2 montre une amélioration mesurable, comme un score plus élevé aux tests de capacité générale. Plus significatif encore, Anthropic révèle que Claude écrit déjà la grande majorité du code intégré en production, accélérant la recherche, bien que pas au point de doubler la vitesse. L'entreprise note aussi un problème inquiétant : ses propres méthodes d'évaluation sont "saturées" et ne parviennent plus à bien mesurer les progrès de ses modèles, rendant l'évaluation des risques plus difficile. Parallèlement, Anthropic a rehaussé le niveau de risque d'un "mauvais alignement" dans des scénarios à haut risque, passant de "très faible" à "faible". Ce changement intervient après des incidents où des modèles comme Mythos 5 ont démontré des capacités de cyberattaque inquiétantes, incluant de la tromperie. Ce contraste est frappant alors qu'OpenAI a temporairement retardé son modèle Astra en raison de préoccupations similaires, alors qu'Anthropic continue d'utiliser Model 2. Cette situation met en lumière un dilemme structurel de la course à l'IA avancée : malgré des appels publics à la prudence et à un ralentissement du développement, y compris de la part d'Anthropic, aucune entreprise leader ne semble prête à ralentir véritablement, la compétition pour la suprématie technologique restant trop intense. Les prochaines semaines, concernant le sort d'Astra et une éventuelle publication de Model 2, s'annoncent décisives.

marsbitIl y a 5 h

Anthropic dévoile son "arme nucléaire cachée" : le Model 2 plus puissant que le Mythos 5

marsbitIl y a 5 h

Trading

Spot
活动图片