全球17大顶级AI实验室大逃杀,惨遭集体翻车,GPT-5.6与Opus断层领先
2026年,AI Agent已能走进真实量子实验室,操作昂贵精密设备。但“会做一次”不等于“能可靠完成”,AI的幻觉可能导致严重物理后果。为此,研究团队提出“验证自治”概念,并创建虚拟量子实验室Quantum-Harbor和评测基准QIQCBench,对17个顶尖AI Agent进行极限测试。
测试包含49项真实量子工程任务,采用“证据绑定评分”,严格核查AI结论是否由其实际采集数据支撑、逻辑是否一致、策略是否具备物理鲁棒性。结果发现,模型能力出现巨大断层。GPT-5.6与Claude Opus等头部模型表现惊艳,能识别陷阱、优化资源,在部分任务中通过率达78%。而多数模型却在资源约束和多体物理推断等任务中集体翻车,或陷入死循环耗尽预算,或给出无法验证的结论,平均通过率极低。
测试表明,语言能力与解决真实物理问题的能力存在鸿沟。AI要真正用于自主科研,必须跨越“可验证的自主性”这一门槛。目前,团队已将评测环境开源,并发起挑战赛,推动AI在精密科学领域的可靠发展。
marsbit10/10 11:36