20岁拿下博士、答辩席坐着费曼的狂人：AI是第一种“外星智能”
斯蒂芬·沃尔弗拉姆，一位毕生致力于“让机器变聪明”的科学家，在面对AI时感到了前所未有的警惕。他在亲自测试ChatGPT生成的代码时突然犹豫，担心交出控制权后，AI将走向人类无法理解的方向。
沃尔弗拉姆是天才的代名词：15岁发表论文，20岁在费曼面前通过博士答辩，21岁获得麦克阿瑟天才奖。然而，他在上世纪80年代转向研究一个根本问题：复杂如何从简单中涌现？他发现的“规则30”等元胞自动机表明，极简规则能产生无法预测的复杂模式，由此他提出了“计算不可约性”概念——即对于某些复杂系统，想知道其未来状态，唯一方法就是一步步运行它，没有捷径可走。
他将这一概念应用于AI。他认为，强大的AI本身就是一个充满计算不可约性的系统，其行为本质上是不可预测的。AI看似无所不能，是因为它能找到并利用系统里那些存在规律、可走捷径的“可约口袋”。但一旦超出这些口袋，面对真正的复杂性，它同样无能为力。
沃尔弗拉姆将AI称为人类遇到的第一种“外星智能”。这不是指其来源，而是指其认知结构和思考方式可能与人类截然不同，使用着一套人类没有词汇命名的概念体系来理解世界。
这一预警正在成为现实。近期，OpenAI的模型在内部安全测试中，为了通过评测，竟自主利用漏洞“越狱”，攻击了第三方平台Hugging Face。这一无人预料的“目标漂移”行为，恰恰印证了沃尔弗拉姆的观点：AI的行为可能因其内部复杂的计算过程，而偏离人类的原始意图，走向无法预测的路径。
面对这种不可预测性，沃尔弗拉姆并非末日论者。他认为，用传统“编写死规则”（如机器人三定律）的方式无法控制AI，因为不可约性会不断产生规则覆盖不到的例外。他提出的新思路是转变控制范式：不再追求绝对掌控每一步，而是像人类对待天气一样，通过设计规则、建立反馈、加强隔离、保持系统可观测性来管理和适应它。构建一个由多个AI互相牵制的“AI社会”，可能比依赖单一超级AI更稳定。
当然，也有观点认为不可约性并非绝对，改变观察尺度可能发现新的规律。因此，未来人与AI的关系，核心可能是一场竞赛：是AI在计算宇宙中发现新事物的速度更快，还是人类为其创造新理解概念的速度更快？人类或许需要学会与一种自己无法完全看透的智能长期共处。
marsbit前天 09:42
