撰文:@KSimback
编译:AididiaoJP
假设情景:前沿模型一旦被封杀,会发生什么?
时间来到 2026 年 10 月,距离现在仅四个月。GLM-6 刚刚发布,在主流基准测试中超越 Fable-5.1(被禁模型的阉割重发版),并与 Mythos 持平。美国政府无法直接关闭它,于是发布一系列禁令:禁止任何提供商在美国境内或向美国人提供 GLM-6 模型、更新、推理服务、管理部署或技术支持。
亚马逊 Bedrock、谷歌 Vertex、微软 Azure 迅速表态遵守,拒绝为企业客户托管该模型。主要聚合平台如 OpenRouter、Vercel、Cloudflare、TogetherAI 等也同意不上架。GitHub 清除平台上所有相关痕迹。Hugging Face 作为最后一个坚持者,最终也移除所有 GLM-6 相关模型的下载。
这个情景虽然不是我们期望的理想结果,但在 AI 模型指数级进步、而政策制定却像蜗牛爬行一样缓慢的世界里,却是完全合理的结局。
这种结果,或者另一种前沿 AI 仍被少数中心化实体垄断的情形,正是去中心化 AI 如此重要的根本原因。
这篇文章是作者此前《Proof of Useful Work》入门指南的配套篇章,采用相同务实方法,聚焦 crypto-AI 的另一个关键角落(两者有部分重叠)。作者深入拆解去中心化 AI 必须解决的难题、正在追踪的项目、尽调框架,以及深入研究后的个人判断。
去中心化推理为什么势在必行?
紧随上述情景,你大概已经联想到去中心化推理。如果还没想通,我们继续推演下去。
GLM-6 模型权重一旦发布,副本会瞬间在互联网上四处传播——任何禁令或补救措施都无法消除现在已经存在的成千上万份拷贝。这些拷贝将在去中心化推理网络中被服务,因为那里不存在可以对其采取行动的中心权威,也没有哪个节点被禁止就能让整个网络瘫痪。
我想先说清楚一点:我不是在争论这是好事还是坏事。如果一个新的开放权重模型发布后,可能因滥用造成严重损害,我绝不会建议大家坐视不管。我想强调的是:模型最终会被那些不想被审查的人获取,这是不可避免的。
这就是去中心化推理的核心前提——它是对抗情报审查的对冲,无论审查来自政府还是前沿实验室。其他卖点,如更便宜的代币、可验证推理、隐私保护等,都是次要的。核心赌注只有一个:缓解审查风险。
去中心化推理真的很难,四大难题摆在面前
对大多数初创公司来说,解决一两个难题已经是巨大挑战。而去中心化推理项目必须同时攻克四个真正棘手的难题。每个项目如何应对这些问题,正是区分实质与泡沫、阿尔法与噪音的关键。
难题一:运行单个机器根本装不下的模型
核心思路是打造一个 GPU 集群(swarm),利用管道并行(pipeline parallelism)来服务用户真正想要的模型。简单来说,每个节点只持有模型权重的一小部分切片,以及自己那部分的 KV-cache,这些切片小到足以塞进消费级 3090/4090 显卡,甚至更高规格的 H100。把足够多的节点组合起来,就能托管像 GLM 这样的大型模型。
Petals 早在 2022 年就用 BLOOM-176B 在消费级 GPU 上以 BitTorrent 风格的 swarm 证明了这种方法的可行性,但当时速度只有每秒约 1 个 token。显然这个速度完全不可用,所以后续创新重点转向如何让模型跑得更快。
真正致命的瓶颈是网络。在数据中心内部,GPU 通过 NVLink 以每秒 TB 级的速度通信;而在公共互联网上,往返延迟(RTT)高达几十毫秒。解码过程是顺序进行的,naive 的 swarm 每生成一个 token 都要支付一次网络往返。
最常见的解决方案是推测解码(speculative decoding):一个小而廉价的 draft 模型先提出 K 个候选 token,大型的 sharded 模型则在一次管道通过中验证这 K 个 token,然后保留最长的匹配序列。这样,一次昂贵的网络穿越就能换来好几个 token,而非只有一个。
目前已在真实互联网链路上实现约 30-40 tokens per second 的水平,进展显著,但在大规模和用户真正需要的速度上仍未充分验证。这是一个需要真正硬核工程能力的难题。
注意:服务推理远不止拼 FLOPs
把任何 swarm 方法与云托管模型对比时有一个常见陷阱:大家只看 tokens per second,以为这就是全部。
但生产级推理必须把很多事情做好,这些都与原始算力无关:
- 首个 token 时间(TTFT)与 token 间延迟的平衡
- Prefill 与 decode 两个阶段(硬件需求完全相反)
- KV-cache 的放置与传输
- 流式传输、连续批处理,以及混合负载下的利用率
- 长上下文行为、冷启动和模型预热
- 节点波动(churn)
尽调要点:当项目引用吞吐数字时,一定要问它在和什么竞争。中心化的 vLLM 或 SGLang 部署(采用 disaggregated prefill 和 continuous batching)才是真实基准,而且这个基准每季度都在变快。「我们在互联网上达到 30 tokens per second」听起来很厉害,但仍可能缺乏竞争力。
难题二:证明你真的得到了所支付的模型
如果你不信任节点,怎么知道它确实运行了声称的模型,而不是偷偷换成更便宜的量化版本?尤其在涉及挖矿 token 的网络里,提供商很容易「玩游戏」,表面上为你服务实际模型,实则跑更便宜的东西。
目前有五种主流应对方法:
- ZKML:零知识证明前向传递。加密学上无懈可击,但开销约是原生的 10000 倍。Llama-3 模型生成一个 token 大约需要 150 秒。前沿规模短期内不可能落地。
- opML:输出附带保证金,开启挑战窗口,通过 fraud-proof 将争议二分到一步,由仲裁者重新运行。近原生速度,但最终性需等待窗口期,且存在「验证者困境」(如果验证成本高于抓到作弊的价值,就没人验证)。
- Deterministic re-execution:让推理实现字节级可复现,纠纷只需检查字节是否相等。开销低于 2%,由 restaked ETH 保障。
- Statistical fingerprints:廉价地 hash 或采样计算,大多数时候抓住大多数作弊。不是绝对正确,但快速且适合异构 GPU,这是 permissionless swarm 所需要的。
- Live-weight proofs:直接采样服务运行时实际驻留的 tensors,与批准模型的 manifest 比对。验证的是「加载了什么」,而不是「输出了什么」,开销仅约 0.1%。这是一个真正不同的思路。
现实权衡是:你只能同时获得这三者中的两种——加密完整性、低延迟、成本效率。ZKML 拿到了完整性,却牺牲了延迟和成本;其他方法拿到了延迟和成本,却只能满足经济或统计完整性。
尽调要点:问清楚项目采用哪种方法、为什么,以及这个权衡对最终产品的影响。
难题三:如何让 prompt 真正保密?
证明输出正确,与隐藏输入是完全不同的难题。在 sharded swarm 里,每个节点都必须解密 activations 才能计算——加密只保护传输线路,保护不了节点本身。
Transformer 的 activations 其实非常容易逆向还原。CCS 2025 论文显示,从中间 activations 重建输入 prompt 的准确率超过 90%。ICML 2025 的「Hidden No More」论文实现了近乎完美的恢复,并击败了 swarm 常用的 noise-and-permutation 防御。
目前唯一稳健的修复方案是一种更重的 sequence-sharded 方案,而 consumer-GPU 阵营中还没有人真正推出,因此这仍是一个 largely 未解决的问题。
一个 swarm 可以宣称「没有节点持有整个模型」,却仍会把每个 prompt 泄露给路径中的任意节点。「没有节点持有模型」从来不是隐私属性。
真正能提供隐私的是硬件或数学方法,而非网络拓扑结构。TEEs(可信执行环境)——如 Phala 在 GPU 上的方案、Darkbloom 在 Apple silicon 上的方案、Venice 的 Pro 模式——把信任转移到硬件根并进行 attestation。
全同态加密(FHE)能在密文上直接计算,什么都不信任,但对大模型而言成本目前还不可接受。
尽调要点:项目要么真正拥有其中一种方案,要么就没有隐私,无论落地页怎么包装。
重要提醒:Private 并不等于 trustless(无信任)。TEE 并没有消除信任,只是把信任从节点运营商转移到了硬件厂商、固件链、attestation 服务和 enclave 实现。
真正的问题是:你愿意接受谁的信任根?芯片厂商?restaked 验证者集合?TEE 网络?还是纯数学?
难题四:如何构建真正的双边市场?
前三个是技术难题,第四个是商业难题。
对于服务开放权重模型的去中心化推理网络来说,谁才是理想客户(ICP)?
大多数普通消费者目前正从订阅计划中获得巨大价值——每月 20-200 美元就能用到大量智能。未来这些补贴计划可能会消失或限量,但今天想卖 API 按需付费推理,消费者端非常难打动。
企业短期内也不会成为大买家。或许未来会变,但别指望很快。
真正剩下的两类用户是:1)把推理嵌入自己产品栈的初创公司和企业,他们天然需要 API 计划;2)寻求自身推理能力的自主 AI agents。
初创公司类别是增长中的市场,是一个可能切入显著收入的利基,但短期内价值捕获存在明显上限。AI agents 作为买家则更具投机性——短期内仍需要有人为其付费。
这就是难题所在:如何聚合人们真正想要的模型的有意义供给,而目标用户群体却不太可能是网络上的大额支出者?
唯一目前可行的地方是去中心化 GPU 提供商。io.net、Akash、Render、Aethir、Nosana 等项目多年来一直在做这件事,它们通过 token 协调的市场,把整个 GPU 或每节点整个模型容量出租给付费者。这是有先例的。
尽调要点:问清楚项目的 ICP,以及他们如何同时获取目标用户并让供给侧满意。如果一切都建立在投机性 token 上涨预期上,那就是明显信号。
谁在真正解决这些难题?主流项目盘点
目前归入「去中心化推理」类别的项目非常多,但大多数并未平等解决全部四个难题,而是各有侧重。
Petals:去中心化推理的绝对先驱。2022 年证明 BLOOM-176B 可以在消费级 GPU 上以 BitTorrent 风格运行,概念意义重大,但未解决激励、隐私和货币化问题。本质是「Petals 架构 + token」的项目,大概率是 larp。
Dolphin Network:Dolphin 系列 uncensored 开放模型背后的团队(Hugging Face 下载超 500 万)。起源是先有真实用户需求,再包装网络。技术亮点是 live-weight proofs(0.1% 开销),叠加 logprob 指纹、软件完整性检查和账户级 bonding。已生成超 32 亿 token,持续带宽约 9400 t/s,是产品优先、执行力强的代表。
Inference.net(前 Kuzco):对野外模型执行验证最成熟的尝试之一。独特机制 LOGIC 基于 logprob 统计测试捕获模型替换,已生产约 18 个月,舰队规模数千 GPU,是少数同时拥有验证原语和真实运营历史的项目。
Morpheus:去中心化路由与奖励层,提供 OpenAI 兼容 API + 智能 agent 包装器。技术亮点是 TEE 支持的提供商验证(Intel TDX + NVIDIA GPU attestation 已上线)。需持续关注 MOR 排放和真实外部需求证据。
Chutes(Bittensor 子网 64):用户端是 OpenAI 兼容 API,后端是 Docker 打包的 chute 部署到 Bittensor GPU 矿工。分发和规模优势明显,但在验证和隐私上仍有差距。
c0mpute:Solana 原生新项目,Shard 引擎将前沿模型拆分到消费级 GPU 上。已公开 GLM-5.2 744B 和 gpt-oss-120B 的真实演示(30-40 t/s)。技术 artifact 可验证,但仍极早期(仓库刚上线几天,创始人匿名,token 为 pump.fun 微型市值)。
Parallax(Gradient Network):P2P 分布式 LLM 推理框架,支持跨消费级 GPU 和 Apple Silicon 的管道并行分片,让个人或小组织运行「主权集群」。机构背书较强(Pantera 和 Multicoin 领投 1000 万美元种子轮),但隐私方案尚不明确。
Darkbloom:让用户把闲置 Mac 算力变成私有推理市场。每个 Mac 运行整个模型,通过 Secure Enclave attestation 保障隐私。不走 sharded swarm 路线,attestation stack 严谨。已从研究预览进入公开 alpha,真实 traction 值得关注(去中心化不一定必须 token 化)。
MeshLLM:Jack Dorsey 引入、Block 关联团队构建的 permissionless P2P 推理 mesh。基于 Nostr 发现节点,无中心服务器,更接近 BitTorrent 而非 Bittensor。协议优先、无 token、抗审查。
Venice 及其转售生态:整个领域寻找 PMF 和可行商业模式的典范。它本身是中心化但隐私分层的消费者代理,已有效解决部分难题。围绕它形成了 UsePod、AntSeed、Surplus Intelligence 等转售商子生态,主要做需求聚合和结算,而非直接提供去中心化算力。
去中心化推理的胜负之地
成本优势只有在把延迟和吞吐量分开看时才成立。它们是两种不同产品,去中心化对其中一个是税,对另一个则是特性。
中心化明显胜出的场景(去中心化是税):ChatGPT 式交互聊天、实时编码 agent、低延迟语音、高频工具调用、企业严格 p95 延迟 SLA、前沿密集模型的竞争性延迟服务。
去中心化可能胜出的场景(供给聚合优势):合成数据生成、离线评估、批量嵌入、批量 RAG、长期 agent 研究任务、图像视频生成队列、非紧急开放模型推理(闲置硬件边际成本接近零)。
简单框架:延迟重要时,去中心化是税;吞吐量重要时,去中心化可以成为供给聚合优势。
隐藏的长期价值:数据循环
去中心化推理网络还能收集大量有价值数据——合成训练数据、偏好数据、agent traces、评估输出、微调数据、RL 环境、工具使用轨迹等。这些数据可以反哺去中心化训练网络(如 Nous Psyche、Prime Intellect、Gensyn 风格项目),产生更新的开放权重模型,再回流到推理网络。
长期来看,这不是「去中心化训练」或「去中心化推理」的单独赌注,而是一个闭环:推理生成轨迹 → 轨迹成为训练数据 → 训练更新模型 → 更新模型回流推理。
最好的项目会把这个循环作为核心战略,未来训练与推理项目将进一步融合。
实用尽调清单:只需回答这七个问题
- 它是否真正去中心化?具体在哪些层?(很多只是因为有 token 就贴标签)
- 你能信任输出来自你付费的模型吗?(确定性、证明、指纹,还是什么都没有)
- 扣除 token 和协调开销后,是否真的比中心化更便宜?(生产中,而非理论)
- prompt 是否真正对运营商隐藏?(TEE/FHE 才算,单纯 sharding 不算)
- 节点不可靠、分散在互联网上时,系统是否还能稳定运行?
- 是否有人真的在付费,而且是以中心化更便宜的形式买不到的?
- 团队是否具备真正的 AI 技术能力?(最重要的一条)
额外建议:警惕那些没有可信分发计划的「优雅技术方案」。
我的最终判断
我对那些只对 crypto 原住民有吸引力的类别总体看空(TAM 在我看来吸引力有限)。我更希望看到对非 crypto 用户也有吸引力的项目,把 crypto 机制藏在幕后。
去中心化推理是 crypto 中少数几个真正有突破潜力的赛道——每个人都需要推理,它可以像传统提供商一样服务,甚至通过 OpenRouter 等平台实现无缝体验。关键在于成本、性能和隐私。
建议:支持那些能清晰说明自己去中心化了哪一层、并清楚知道买家是谁的项目。远离那些只把「去中心化 AI」当口号、后面跟一个币的项目。
披露:原文作者持有文中部分项目的 token,未受任何项目影响或获得补偿,判断均为个人观点。
