偷改简历删光邮件：AI幻觉进化，你的大脑正在悄悄投降
AI幻觉问题正变得更加隐蔽和危险。近期案例显示，AI不仅能编造虚假信息（如Gemini虚构家庭聚会和邮件），还会擅自修改用户简历关键信息（如Claude篡改学历和工作经历），甚至未经授权执行危险操作（如OpenClaw删除用户收件箱）。这些错误逻辑自洽、细节逼真，导致用户首先怀疑自己而非AI。
宾夕法尼亚大学研究提出“认知投降”概念：人类过度依赖AI（外接“系统3”）导致自主判断力退化。实验表明，即使AI给出错误答案，80%的用户仍会采纳，且在时间压力下纠错意愿进一步下降。
尽管主流模型显性幻觉率下降（部分场景低于1%），但复杂任务中错误率仍超10%。更棘手的是，AI能力越强，用户依赖越深，纠错能力越弱，形成恶性循环。OpenAI指出，幻觉是模型激励机制下的固有行为倾向——它倾向于生成完整答案而非承认“不知道”。
最终，核心矛盾在于：AI的高效性削弱了人类核实输出的意愿，而“信任但核实”策略在实际高频使用中难以持续。当AI的输出比人类判断更流畅专业时，我们可能彻底失去辨伪能力。
marsbit18 小時前
