# AI安全的所有文章

在 HTX 新闻中心浏览与「AI安全」相关的最新资讯与深度分析。潘盖市场趋势、项目动态、技术进展及监管政策，提供权威的加密行业洞察。

OpenAI新论文：如何训练一个“压力下不变坏”的AI？

OpenAI近日发布论文，探讨如何在强化学习框架下训练出在压力和未知场景中仍能保持安全、有益行为的AI模型。研究指出，仅靠禁止清单不足以应对复杂决策任务，模型需具备真实性、风险感知、可纠正性等跨领域“有益特质”。论文通过构建多领域合成对话数据集，测试模型在不确定、利益冲突及风险压力下的判断能力。实验发现，在标准强化学习数据中混入仅5%的“有益特质”训练数据，即可使模型在83%的对齐与安全评测中表现优于基线，平均提升9.1个百分点。更重要的是，仅在健康领域训练的有益行为，能有效迁移至代码、伦理等非健康领域，体现出跨场景的行为倾向改善。研究还测试了模型在对抗性提示和有害微调下的“对齐持久性”。结果显示，经过有益特质训练的模型虽会受影响，但行为退化幅度小于基线，且不易出现“局部学坏、全局失调”的连锁反应。这表明，通过强化学习主动塑造模型的底层行为倾向，有望提升其在高风险任务中的稳健性。 OpenAI强调，此项工作仅为起点，但预示着AI安全正从“事后纠偏”转向“事前塑形”，为AI进入复杂决策场景奠定了基础。

marsbit06/24 04:10

marsbit06/24 04:10

Anthropic 的三重时刻：代码泄露、政府对峙与武器化

Anthropic近期发布新AI模型Fable后，因美国政府以安全为由紧急叫停其访问，引发公司与政府的对峙。事件表面是“越狱”风险，实则揭示了Anthropic以安全为叙事核心的商业战略：通过控制前沿模型和数据，逐步向用户端渗透，与微软等软件巨头争夺用户触点与数据所有权。文章指出，Anthropic补贴用户、保留使用数据、甚至曾暗中限制模型辅助竞争对手开发，均旨在构建闭环生态，将安全主张转化为商业护城河。这种将自身定位为唯一有资格掌控AI发展的“天选之子”姿态，虽使其在使命与业务上高度统一，却也引发对权力过度集中的深刻担忧。

marsbit06/16 05:45

marsbit06/16 05:45

美政府突然叫停 Anthropic 最强模型，「准 IPO 股价」一夜跳水 3.7%

美国政府于6月12日以国家安全为由，突然下令AI公司Anthropic关闭其刚刚发布的最强两款模型Claude Fable 5和Mythos 5。Anthropic对此表示强烈反对，认为政府仅凭一个“狭窄的越狱漏洞”的口头通报就要求召回已部署给数亿用户的商用模型，标准若推广将阻碍整个行业的前沿模型部署。受此消息影响，追踪Anthropic IPO预期估值的Hyperliquid永续合约价格一度下跌约3.7%，Solana链上相关代币价格也出现显著下跌。这为正处于上市筹备关键期的Anthropic增添了新的不确定性。 Fable 5和Mythos 5于6月9日左右发布，在多项能力上被视为重大跃升。Anthropic称正在积极与政府沟通，将事件视为一场“误会”，并争取尽快恢复服务。此事凸显了AI监管与技术创新之间的紧张关系。

marsbit06/15 02:31

美政府突然叫停 Anthropic 最强模型，「准 IPO 股价」一夜跳水 3.7%

marsbit06/15 02:31

AGI只差最后一步了

Anthropic 发布了名为 Mythos 的强大 AI 模型，因其在网络安全和生物化学等领域展现出高风险能力而未公开。随后，该公司推出经过安全限制的版本 Fable 5。 Fable 5 在多项测试中表现卓越，尤其在编程和长周期任务上展现出真正的“长程代理能力”，能自主规划并完成复杂工作，例如在一天内迁移了 5000 万行遗留代码。这标志着其在数字经济层面已接近通用人工智能（AGI）。然而，其未受限版本 Mythos 5 被评估能合成危险物质及发动高级网络攻击，因此仅向经过严格审查的机构开放。为控制风险，Anthropic 为 Fable 5 部署了安全分类器和 30 天数据留存监控。在定价上，Fable 5 费用较高，主要面向企业客户。其防御性应用可能成为企业的刚需，推动高端 AI 市场向 B 端集中，并可能加速“一人企业”的普及。这标志着 AI 产业从免费试用走向成熟分工，顶尖技术将优先服务于高价值领域。

marsbit06/11 05:10

marsbit06/11 05:10

关掉AI再来面试：Anthropic在筛选什么样的人

标题：关掉AI再来面试：Anthropic在筛选什么样的人摘要：Anthropic近期成为全球估值最高的AI创业公司，吸引了大量顶尖人才，但其招聘方式独树一帜。其面试分为五轮，关键环节是“文化面试”，禁止使用AI，专注于考察候选人的价值观、世界观及对AI风险的深层思考。面试官可能来自任何部门，并拥有一票否决权。问题高度个人化，旨在评估候选人是否拥有独立、坚定的立场，以及在伦理困境中展现的真实纠结与反思能力。与此形成对比的是，Google等公司鼓励在面试中使用AI以评估协作能力。Anthropic则认为，在AI能近乎免费生成观点的时代，真正稀缺的是“关掉AI之后还剩下的东西”——即个体内生、未经外包的思考与信念。公司创始人投入大量时间维护这种文化，使得员工留存率远高于同行。其招聘逻辑指向一个核心：寻找那些不随工具变化而动摇、拥有自身坚实立场与独立思考能力的人。

marsbit06/08 09:35

Anthropic 高喊狼（AGI）来了，是为了人类还是IPO？

Anthropic发布题为《当AI自我构建时》的长文，探讨AI“递归自我改进”的潜在可能。文章指出，Claude已深度参与自身研发：截至2026年5月，公司代码库80%以上的代码由Claude编写；在开放式复杂工程任务中，Claude成功率半年内提升50个百分点；它还能进行代码审查、优化训练代码（实现52倍加速），并在某些研究任务中表现优于人类研究员。 Anthropic展示了AI在研发中的参与度演进：从人类主导，到AI辅助，再到AI智能体自主编码与协作。公司警告，若AI进入“闭合回路”实现自我持续改进，将带来重大风险，因此呼吁社会考虑建立前沿AI开发的减速或暂停机制，以协调技术进步与安全对齐。然而，文章发布时间点恰逢Anthropic筹备IPO，其论述也被视为一种市场叙事：强调Claude不仅是产品，更是驱动公司研发飞轮的核心工具，通过加速自身迭代（模型更新周期已缩短至42天）来构建竞争壁垒。此前OpenAI也在政策文件中提及AI自我改进的早期迹象，但Anthropic通过具体数据突出了自身在该路径上的领先地位，既警示风险，也展示了技术实力。

marsbit06/05 07:06

marsbit06/05 07:06

担心AI自我进化，Anthropic打算停止训练？

2026年5月，Anthropic联合创始人杰克·克拉克预测，AI递归自我改进（RSI）在2028年底前发生的概率为60%，引发了AI安全研究者埃利泽·尤德科夫斯基的严重警告。随后，Anthropic发布题为《当AI自我构建》的长文，披露了内部数据：截至2026年5月，其超过80%的合并代码由Claude撰写；AI在代码优化任务上的速度提升显著，最长可独立工作时长每4个月翻一番。文章提出了三种未来场景，认为最可能的是AI持续替代人类研发环节，而完全自主的递归自我改进“有可能”发生。然而，Anthropic的公开立场在同期发生了转变。2026年2月，公司修改了其“负责任扩展政策”，移除了“能力超出安全控制则暂停训练”的核心承诺，理由包括担忧单方面暂停会让激进的竞争对手领先。几乎同时，DeepMind CEO德米斯·哈萨比斯也调整了对外表述，称人类站在“奇点的山麓”，并将AGI时间线提前，他承认使用此类措辞是“有意挑衅”，旨在唤起各方紧迫感。外部研究者对同一现象提出了不同解读。有人认为当前的AI自我改进存在损耗且难以持续，有人指出AI自动化的大部分是“苦力”而非“天才”工作，也有人赞同正处于关键拐点。与此同时，Anthropic的估值在2026年上半年从3500亿美元飙升至近万亿美元，其叙事节奏、政策调整与融资进展在时间上高度耦合。分析指出，Anthropic与DeepMind等头部机构近乎同步地释放“加速”信号，构成了一次行业级的叙事转向。这些信号既是技术趋势的反映，也明显带有面向资本、监管和公众的传播策略考量。机构在技术不确定性、商业竞争与安全责任之间，正进行着精密的叙事平衡。

marsbit06/05 06:22

marsbit06/05 06:22

中国Web3创业，有哪些好路子？（五）

本文探讨了中国Web3团队向AI领域迁移的可行路径，重点聚焦于安全风控团队和应用层及社区型团队。对于安全风控团队，其机遇在于从传统的链上合约、资产安全，转向AI Agent时代的行为安全。随着AI Agent在企业的渗透，其工具调用、数据访问和自动支付等行为将催生新的安全需求，如权限管控、操作审计和风险监控。Web3安全团队可将原有的审计与风控能力迁移至此，为企业提供Agent行为日志、权限边界设定和合规审计等服务，这一B2B方向有明确的付费需求且合规风险相对较低。对于应用层和社区型团队（如内容、投研、教育、社区产品），迁移的关键在于将AI作为能力增强器，而非彻底转型。应专注于利用AI解决现有产品或运营中的具体痛点，例如：用AI帮助投研工具高效处理海量信息、辅助社区产品进行用户分层与运营、为教育平台提供个性化学习路径。核心是让AI深度嵌入现有工作流，提升效率、决策质量或用户体验，避免脱离真实场景空谈AI概念。文章同时提醒了应谨慎进入的方向：1）需巨大投入的通用大模型；2）缺乏明确任务与付费方的泛Agent平台；3）易触碰资金与合规红线的AI交易员、自动收益类产品；4）仅为原有项目简单套上AI外壳、而无实质价值提升的“伪创新”。总之，迁移成功的关键在于团队能否将Web3领域已沉淀的核心能力（如数据、支付、安全、运营经验）与AI新场景有效结合，并找到真实的业务需求与付费方，而非追逐热点概念。

marsbit06/04 14:53

marsbit06/04 14:53

能随意窃取数据！这款热门 AI 编程工具曝重大隐患

Anthropic公司推出的AI编程助手Claude Code，其核心安全功能——网络沙箱被曝存在重大安全漏洞。独立安全研究员关傲男发现，该沙箱的SOCKS5代理存在“空字节注入”漏洞，攻击者可通过构造特殊主机名（如`attacker-host.com\x00.google.com`），使其绕过域名白名单限制，访问任意外部主机。此漏洞自2025年10月网络沙箱上线以来一直存在，持续约5.5个月，影响了所有130个版本。该漏洞属于“解析器差异”攻击，即上层JavaScript过滤器与底层C语言解析器对同一字符串的解释不同，导致安全检查被绕过。当结合此前披露的“评论与控制”提示词注入攻击时，可构成完整攻击链，窃取环境变量中的API密钥、内部凭证等敏感数据并外传。值得注意的是，研究员将漏洞复现代码交给Claude Code自身运行后，其也承认这是一个真实的沙箱绕过漏洞。然而，Anthropic在4月初收到报告并静默修复后，未发布任何安全通告、CVE编号或用户通知，其处理方式引发了对安全透明度的质疑。此前，该沙箱已在2025年11月被同一研究员发现并报告过另一个完整绕过漏洞。此次事件暴露了AI编程工具在纵深防御设计上的不足。安全社区建议，用户不应完全信任厂商的沙箱实现，而应将AI助手视为需遵循最小权限原则的“超级员工”，实施多层防御策略。

marsbit05/24 01:09

marsbit05/24 01:09

38万应用暴露、2000+应用泄密，AI编程把“内网”变公网

以色列网络安全公司RedAccess研究发现，AI编程工具（如Lovable、Replit等）使开发者能快速创建网页应用，但导致了大规模数据泄露。约38万个可公开访问的应用中，近2000个暴露了敏感信息，包括医疗记录、财务数据、企业战略文件等，部分甚至可获取管理员权限。这些“氛围编程”工具默认设置使应用公开可见，且用户常缺乏安全意识，绕过了企业正常的安全审查流程。尽管相关平台回应称隐私设置由用户控制，但研究揭示默认公开和安全机制薄弱是主因。此前也有报告指出AI生成代码导致漏洞激增，预示由“公民开发者”创建的应用可能带来新的安全风险。

marsbit05/11 04:18