一个智慧的社会不应让无形的系统左右人们的选择、奖励和行为,而不赋予人们有效的方式来观察、质疑和纠正这种影响。随着人工智能的发展,社会正滑向一条危险的滑坡,迅速从试验和整合人工智能转向依赖,最终甚至沉迷其中。然而,其中一个最重要的问题是,政策制定者是否意识到了这种转变。
通常来说,不对称意味着关系中的双方并不对等。在数字生活中,“算法不对称”描述了双方之间更深层次的不平衡:一方可以观察、建模、测试和改进其算法,而另一方则主要承受算法带来的后果。这种不平衡如今已渗透到招聘、贷款、保险、教育、警务、媒体以及日常注意力架构等领域。其后果是算法主体性不对称,即用户无法识别并抵制算法对其自身处境的不当影响。
算法的三层“认知枷锁”
这种算法不对称性可以从三个层面来解释。
第一层面是不透明性,指的是设计、部署或购买算法系统的组织通常比与系统交互的人员更了解系统的目标、阈值、激励机制和弱点。“不透明性问题”解释了这种差距持续存在的原因:有些系统为了保护知识产权而刻意隐藏,有些系统需要专业培训才能理解,还有一些系统即使对专家来说也难以解读。当一个系统难以检查时,其输出结果往往看起来比实际情况更客观,这就导致了“黑箱谬误”。
算法不对称性的第二层是历史偏见放大。算法会从过去的世界中学习,包括过去的偏见或排除。即使是看似中立的系统,也可能重现数据中已存在的不平等模式。带有偏见的过去作为训练材料输入,最终以预测、评分或推荐的形式输出,由于是计算结果,因此看起来是中立的。实际上,这只是旧有的层级结构以更现代化、更简洁的界面重新出现。
第三层是递归系统。系统通常并非一次性部署;相反,用户会不断地训练这些系统。每一次点击、停顿、提示、路径选择、购买行为和犹豫都会成为数据。推荐系统旨在从这些信号中学习并进行调整,但这并非循环的终点。凭借这些学习成果,系统会塑造我们接下来看到的内容,决定哪些内容感觉正常、哪些内容看似相关,有时甚至决定哪些内容感觉令人向往,而其目标对最终用户而言却始终模糊不清。换句话说,我们训练系统,系统也反过来训练我们。“算法漂移”指的是用户与平台之间这种共同演化的关系。
当算法替你“活”了
人工智能的代理能力(Agency),是指能够以有意义的方式判断、选择并采取行动,理解影响自身选择的各种力量。
当组织利用数字系统——如个性化推送、定向广告、动态定价、推荐引擎、风险评分等——在大规模范围内测试、衡量和优化影响力与结果时,代理能力的不对称性便随之产生。营销一直试图塑造行为;而如今的区别在于精准度与反馈机制:组织可以实时观察个体行为,将人群划分为越来越细的类别,持续进行A/B测试,并调整每个人所看到的内容、支付方式或获得的优惠。相比之下,个人通常只能接触到系统的表面信息:一条推送、一个评分、一个价格、一条推荐或一次拒绝,却无法知晓自己的数据是如何被使用的、哪个目标被优化了,以及他们的选择又是如何被引导的。
这一点至关重要,因为人们会适应系统所奖励的事物。在招聘中,人们不再仅仅关注求职者是否会为了迎合招聘人员而精心打磨简历;自动化筛选工具和人工智能排名系统可能会奖励某些特定的信号,同时隐藏其背后的逻辑。华盛顿大学的一项研究发现,大型语言模型对超过550份真实简历进行排名后,85%的情况下都倾向于选择名字与白人相关的简历,而从未偏袒过名字与黑人男性相关的简历。在教育领域,英国2020年的成绩争议表明,算法模型如何将学校层面的历史转化为个人成绩:资格与考试监管办公室(Ofqual)下调了约40%学生的校内评估成绩,引发了公众的强烈反对,并最终导致政府撤回了这一决定。
此外,更新的人工智能工具带来了更多风险。斯坦福大学的研究人员使用来自英语母语者和非母语者的样本,测试了七种广泛使用的人工智能检测器的性能。结果发现,在非母语者的样本中,人工智能检测器错误地将61.22%的文章归类为人工智能生成,这表明一些学生更容易因为写作方式而受到怀疑或惩罚。类似的现象也出现在数字生活和工作中。Facebook在2014年针对689,003名用户进行的著名信息流实验表明,用户接触正面或负面帖子的变化会影响他们之后使用的情感语言。在零售业,亚马逊仓库工人也反映,他们必须完成基于速度的指标,却不知道这些指标是如何计算的。亚马逊仓库的算法管理报告和研究也探讨了这一现象。这些案例揭示了更深层次的问题:数字系统不仅仅是在事后对行为进行分类。它们还会教人们使用哪些词语、避免哪些风险、表达哪些情绪以及追求哪些指标。当组织塑造人们思考、行为和决策的条件,而个人却仅仅将这些条件体验为分数、等级、信息、目标或价格时,算法代理不对称性就具有了政治意义。
政策不能只喊口号
因此,政策必须重新平衡这种关系。首先,立法者应要求在影响发生时提供有意义的通知和解释。用户应该知道他们何时在与人工智能互动,何时内容是合成的,以及何时一项重要决策受到了自动化系统的影响。欧盟的《人工智能法》第50条中欧洲透明度义务背后的逻辑指明了正确的方向。经合组织人工智能原则也从更广泛的层面阐述了同样的观点:人们需要足够的信息来理解结果,并在必要时提出质疑。
其次,政府应要求在算法系统进入就业、教育、住房、保险、医疗保健、福利和警务等高风险领域之前,进行可强制执行的影响评估。一些现有的方法为此提供了基础,例如加拿大的算法影响评估、安大略省的人权人工智能影响评估以及欧洲针对高风险人工智能系统的基本权利影响评估。近期的一些失败案例表明,更强有力的保障措施至关重要。在英国,上诉法院在“R (Bridges)诉南威尔士警察局长”一案中裁定,南威尔士警察局使用实时自动面部识别技术属于非法行为。在底特律,罗伯特·威廉姆斯因面部识别错误匹配而被错误逮捕,美国公民自由联盟记录了此案。因此在部署之前,各机构应评估人工智能系统可能产生的影响,例如侵犯权利、对弱势群体造成伤害以及错误分布情况,同时还应评估人工监督、申诉机制和补救措施的必要性,并尽可能进行公开报告。
第三,人工监督必须真实有效,且经过培训并受到保护。在许多机构中,当员工面临信任系统输出的压力时,“人为干预”的权力往往受到限制。澳大利亚的“机器人债务计划”表明,当官员将系统生成的索赔视为权威依据时,自动化的福利债务计算会如何损害人们的利益。在R (Bridges)诉南威尔士警方一案中,英国上诉法院裁定实时面部识别的使用违法,部分原因是围绕自由裁量权、数据保护和公平影响的保障措施不足。英国邮政的“地平线”丑闻也暴露了类似的失败:人们竟然相信有缺陷的软件输出,而不是数百名邮局分局长的亲身经历。欧洲《人工智能法》第14条的价值在于,它要求对高风险人工智能系统进行人工监督的人员必须理解、监控、解释、覆盖或中断系统。任何使用具有重大影响的人工智能的机构都应该指定负责的审查人员,培训他们识别自动化偏差,并赋予他们阻止有害输出的真正权力。
第四,监管不应止步于系统发布。模型会漂移,环境会变化,激励机制也会改变。一个在测试中看似可接受的系统,一旦与真实人群互动,就可能变得具有歧视性或操纵性。因此,部署后的监控、日志记录、独立审计和事件报告应成为法律义务。美国国家标准与技术研究院的《人工智能风险管理框架》以及《人工智能法案》中关于上市后监控的条款都认可了这一点。亲社会人工智能指数可用于绘制、衡量和监控人工智能系统对人类及其环境的影响。
第五,某些做法理应被禁止。旨在利用弱点、通过欺骗性设计扭曲行为或操纵儿童和其他弱势群体的系统,理应受到禁止,而非仅仅给予温和的指导。欧盟《人工智能法》第五条禁止某些操纵性和剥削性用途,划定了一条必要的强硬界限。一个健康的数字社会不能仅仅依靠信息披露,而应关注其底层设计是否旨在破坏判断力。
算法素养应被视为公民基础设施。如果只有开发者、供应商和合规团队了解这些系统的运作方式,即使在良好的监管下,权力不对称的问题依然存在。公民、教师、法官、记者、临床医生和公共管理者都需要具备关于合成媒体、排名系统、行为引导、质疑权以及模型输出局限性的实用素养。欧洲关于人工智能素养的第四条条款是一个有益的信号,应发展成为一项更广泛的公共使命。除了人工智能素养之外,现在正是投资于双重素养的时候,以确保用户能够意识到个人感知、行为与人工资产对其影响之间的相互作用。
归根结底,算法代理不对称并非一个孤立的技术问题,而是一种结构性失衡,即谁能够感知、塑造和抵制算法的力量。一方学习速度更快,持续测试并悄然干预;另一方则在部分信息不透明的情况下进行适应。良好的政策无法彻底消除这种不对称,但可以通过使自动化影响可见、可质疑、可审计和可治理,在最关键的领域缩小差距。
本文来自微信公众号“Internet Law Review”,作者:科妮莉亚·沃尔特
