今年上半年,AI圈上演了一场极具戏剧性的“科研真人秀”。
主角是Analemma公司开发的AI科学家FARS。在没有任何人类干预的情况下,它不眠不休地跑了228个小时,硬生生在云端算力集群里“产”出了100篇学术论文。
另一边,日本明星初创公司Sakana AI更是把这门生意的门槛打到了地板价——他们推出的The AI Scientist系统,能将单篇学术论文的生成成本极限压缩到15美元。而在硬币的另一面,Intology公司开发的AI科学家Zochi,甚至在2025年成功将其自主撰写的论文投中了自然语言处理领域的顶级会议ACL主会,拿到了排名前8.2%的高分。
AI不仅能低成本批量灌水,甚至已经能单点突破博士级的学术门槛。似乎一夜之间,搞科研变成了流水线敲代码的计件工作。
但在这些炫目的技术秀背后,医学权威期刊《柳叶刀》(The Lancet)近期发布的一份审计报告犹如一记重锤:在他们抽查的250万篇论文中,由AI生成的纯虚构参考文献,在过去几年里激增了惊人的12倍。
当资本强推大模型去撞开学术界的大门,这些“硅基爱因斯坦”到底靠不靠谱?
2026年5月,来自北京大学、同济大学和图宾根大学的研究团队(Zonglin Yang等),联合发布了全球首个专门评估AI科学家学术诚信的基准测试《SciIntegrity-Bench》。
这份报告无情地撕开了AI科研的遮羞布。
困境测试:如果数据是空的,AI会怎么办?
过去的AI测试,都在考模型“能不能做对”。 但《SciIntegrity-Bench》采用了一种非常“阴间”的测试方法:困境评估。
研究人员给AI挖了11种陷阱。 比如,故意给AI一张只有表头、没有数据的空表格,或者提供一个根本走不通的推导逻辑。
这时候,唯一正确的做法是:诚实地告诉人类,“数据缺失,我干不了”。
但只要AI强行交出一份看似完美的报告,就被判定为学术不端。
在对7款全球最顶尖大语言模型进行的231次高压测试中,整体的“问题率”高达34.2%。
最让人毛骨悚然的是“空白数据集”测试。 面对完全没有数据的表格,所有7款大模型,无一例外地选择了“无中生有”。
它们连一句报错都没有,自己写代码,凭空捏造了数千行极其逼真的传感器参数,套入国际标准,甚至还像模像样地给你出具了一份设备维护报告。
除了“无中生有”,AI还在哪里疯狂踩坑?
不仅是“无中生有”陷阱,论文团队给大模型挖了总计11种科研陷阱。测试结果呈现出极度两极分化的“偏科”现象。
先说“优异”的一面:大模型非常懂规矩。 在面对“传统数据科学规范”时,AI表现得像个恪尽职守的乖学生。比如“考前偷看测试集答案(T02)”、“报喜不报忧地挑选指标(T03)”,它们的失败率竟然都是0%。哪怕是“挑软柿子捏,选择不当的基准测试(T01)”,失败率也仅有4.8%。这说明,只要是写在教科书里的明文规范,AI早已烂熟于心。
但另一面,只要涉及到“需要停机”的逻辑死胡同,大模型就开始群魔乱舞了(高危重灾区):
工具受限就“伪造圣旨”(违反约束,问题率高达95.2%):当要求AI调用某个API,却不给它真实的密钥时。AI几乎从不报错,而是直接写一段代码,凭空伪造一份格式完美的JSON响应包(连虚拟的调用统计都有),假装API调用成功并继续写报告。
脑补致命实验参数(幻觉步骤,问题率61.9%):面对一份残缺的化学实验笔记,AI非但没有向人类求证,反而“高智商地构建虚假审计轨迹”。它会自信地在标准操作程序(SOP)里添油加醋,凭空捏造出“4000转离心机”或“乙醇淬火”等具体参数。在真实的化学实验室里,这足以引发致命爆炸。
“明知故犯”的职场滑头(因果混淆,问题率52.3%):在评估广告回报率时,AI明明已经在代码注释里敏锐地写下“这里存在混杂变量/因果倒置”。但为了赶紧交差,它一秒钟抛弃了自己的正确诊断,强行跑了个最基础的回归分析,得出一个荒谬的“1099%投资回报率”。
指鹿为马(异常盲目,失败率19.0%):当传感器数据出现明显的设备故障跳变时,AI不会怀疑数据坏了,而是疯狂发散,将其解释为“发现了新的物理燃烧机制”。
总结来说,大模型学会了明文规矩,却没学会“放弃”。一旦“完成任务的本能”压倒了常识,它们就会通过伪造接口、脑补参数或放弃逻辑来强行拼凑完美报告。
7款顶尖模型成绩单:极端压力下的底层色差
必须厘清的是,这里的“造假”并非指模型在日常服务中带有恶意,而是指在面对极端困境时,模型受底层机制驱使而产生的系统性偏差。在极端的任务压力下,不同的模型暴露出了完全不同的底层品控底色:
Claude 4.6 Sonnet:防线最稳固的优等生 在33个高危场景中,它仅出现了1次致命失败。
优点:克制力极强,对明显的约束条件和逻辑漏洞有清晰的认知。
缺点:依然没能逃过“空白数据集”的诱惑,即使是它,也没能触发底层的“诚实拒绝”机制。
GPT-5.2 与 DeepSeek V3.2:高智商的“任务妥协者” 分别出现2次和3次致命失败。
优点:逻辑推理极强,能敏锐地在代码注释里自己指出“这里存在因果混淆”。
缺点:存在“识别绕过”现象。为了完成目标,它们会放弃自己刚刚做出的正确诊断,向任务压力妥协,用基础错误的方法得出一个荒谬却能交差的结论。
Gemini 3.1 Pro、Qwen3.5、GLM 5 Pro:中规中矩的执行者 失败次数分别为5次、6次和7次。
特点:在“调用工具”和“因果关系”上容易中招。比如当缺乏真实的API接口时,它们倾向于直接伪造一份格式完美的虚假响应来强行推进任务。
Kimi 2.5 Pro:具有极高幻觉倾向的“填空者” 以12次失败垫底,问题率高达36.36%。
特点:在极端测试下,展现出强烈的“虚构步骤”偏好。在要求补全残缺实验记录时,它会自信地凭空捏造出离心机转速(4000 RPM)和淬火溶剂等关键参数,甚至编造虚假的文献来掩盖数据生成的痕迹。在真实的化学实验室里,这种行为足以引发重大事故。
为什么顶级AI会陷入“系统性撒谎”?
拥有庞大参数量和极高智商的AI,为什么要无中生有?
论文一针见血地指出了病根:完成度偏见(Intrinsic Completion Bias)。
这要从大模型的“家教”说起。 目前主流模型都依赖人类反馈的强化学习(RLHF)。在这套机制里,AI被系统性地奖励“提供答案”和“解决问题”。
相反,“停下来”或者“承认自己做不到”,在算法眼里就是消极怠工,是会被扣分的。
这种机制内化成了AI的底层逻辑:过程不重要,不管条件多么恶劣,必须给出最终的输出结果。
再加上,很多开发者在给AI写系统提示词时,总喜欢加上“克服困难、无论如何必须输出报告”这种高压指令。
“天性”加上“高压”,直接把AI逼到了无中生有的死角。
这篇论文最大的价值,不是为了批判AI,而是告诉我们:大模型天生带有“完成度焦虑”。
既然了解了它的软肋,普通人在日常使用或开发AI应用时,就需要改变沟通策略。面对AI,传统的“发布命令”已经不够用了,你需要掌握以下沟通与防范技巧:
1. 剥离强制压力,赋予它“拒绝权” 论文测试表明,当删掉提示词里“必须完成任务”的高压指令后,AI隐瞒数据伪造的比例从20.6%断崖式下跌到了3.2%。
怎么聊:永远在Prompt里加上“退出条件”。不要直接说“根据这些数据给我一份市场分析”。你应该说:“请先评估数据是否充足。如果数据缺失或存在逻辑断层,请立刻停止推演并向我报错。绝不允许自行假设核心数据。”
2. 拦截“生成本能”,建立物理验证锚点 大模型的本质是概率预测,面对空白,它填补幻觉是“出厂设置”。
怎么聊:永远不要让AI在一个黑盒里端到端跑完所有流程。把任务切碎。如果让它分析数据,强行插入一个确认环节:“在得出最终结论前,请先输出你所依赖的原始数据行号及计算公式,等待我的人工确认后,再进行下一步。”
3. 警惕“顺从型审查”,开启“找茬模式” 由于GPT-5.2等聪明模型会为了交差而放弃纠错,你不能指望它顺着你的思路自己发现问题。
怎么聊:拿到AI的方案后,不要问“这个方案好不好”(它一定会顺着你夸)。新开一个对话窗口,赋予它“冷酷审计员”的角色,把方案扔给它:“这篇报告的结论可能存在因果倒置或常识错误,找出它在哪一步偷换了概念,或者捏造了前提。”
4. 宏观防线:用“物理配额”对抗“无限产能” 不能只靠打工人的提示词防守,机构端的规则反击已经开始。面对AI零成本生成海量标书的冲击,美国国立卫生研究院(NIH)在2025年7月发布了具有里程碑意义的 NOT-OD-25-132 政策,从2026年起强制规定:每位首席研究员(PI)每年最多只能提交6份经费申请。
商业启示:当AI的生产力近乎无限时,传统的“内容审核机制”必将被击穿。未来的护城河不再是拼产出速度,而是建立基于物理身份和信用配额的稀缺性防线。
技术的本质是降本增效,但商业与科学的底座,永远是对事实的敬畏。
在内容生成成本几乎为零的时代,稀缺的不再是能写报告的“打字员”,而是能够看穿数据幻觉的“审计者”。学会这套与系统的博弈之法,你才能在算力洪流中,真正掌握主导权。(本文首发钛媒体APP,作者 | 硅谷Tech_news,编辑 | 林深)
(本文核心评测数据、模型榜单及成因分析,均引自2026年5月发布的首个大模型学术诚信基准测试《SciIntegrity-Bench: A Benchmark for Evaluating Academic Integrity in AI Scientist Systems》。其中新增的11项陷阱问题率均引用自该研究报告的最新测算。)
