年初,OpenClaw在中国市场的火爆,让所有人看到了Agent的巨大潜力。但随之而来的,是一道所有云厂商都必须回答的考题:当Agent开始像赛博龙虾一样疯狂繁殖、高频调用数据时,AI云基础设施层尤其是数据层,准备好了吗?
比方说,企业数据团队在将Agent部署到生产环境时,经常会在数据层面遇到瓶颈。构建向量数据库、关系数据库、图数据库和湖仓等不同平台上的Agent,需要同步数据管道以保持上下文信息的时效性。但在真实的生产环境中,这些上下文信息会逐渐过时。
这个问题的紧迫性,源于Agent与人类工程师截然不同的数据消费模式。
“Agent正在一种极其活跃且激进的方式消费数据,它对于数仓或数据湖的调用频率是惊人的。”
亚马逊云科技技术副总裁Mai-Lan Tomsen Bukovec近日与笔者交流中指出,Agent是一种通过“并行择优”的工作模式,即:不是一次一个查询,而是同时数十、上百个并行,通过比较来寻找最佳路径。这使得Agent成为比人类激进得多的数据消费者——调用频率高出几个数量级,数据吞吐量呈指数级增长。
Mai-Lan进一步指出,“现在客户非常希望构建Agent基础设施,成本亦或者说性价比,不再是次要因素,而变成决定性因素。在未来半年到一年,随着Agent的爆发,底层数据服务的选择将变得至关重要。”
如今,OpenClaw的狂欢正在消退,留下的正是对云厂商底层存算能力的压力测试警告。Mai-Lan认为,亚马逊云科技在这一领域具备天然优势,Amazon S3(Amazon Simple Storage Service)的规模、Amazon Redshift与Amazon Athena在高并发下的成本效率,正是为这种超大规模、超高频的Agent数据交互方式而准备。
时值Amazon S3产品诞生20周年,围绕AI时代客户对数据处理的诉求,Amazon S3近期也实现了S3 Table(表格式)、S3 Files(文件)、S3 Vector(向量)的三大变革。
如S3 Table对Apache Iceberg的原生支持。Mai-Lan指出,Agent在处理数据时,倾向于直接通过SQL与Iceberg格式的数据交互。其底层逻辑在于,Agent构建于大模型之上,而大模型在训练过程中已对SQL语法和Iceberg数据格式形成成熟的处理能力。将所有表数据以Iceberg格式存放于S3,使得Agent无需学习多种复杂的访问API,即可高效处理数据。目前Agent与S3及Iceberg之间展现出高度的契合性。
当Iceberg能力被引入S3时,引发了新一轮创新浪潮,Postgres、Oracle等数据源开始直接写入Iceberg,Agent系统则可直接与这些表进行交互。而随着S3 Vectors的推出,越来越多的AI应用开始将向量作为共享记忆载体,从而为AI交互体验注入“状态”。
Mai-Lan还指出,向量已被引入作为S3的原生数据类型。向量的应用主要集中于两个维度:一是通过向量为存储在S3中的数据构建上下文信息,二是将向量用作共享记忆。S3 Vectors发布后的五个月内,市场反馈符合预期。大量客户开始使用该功能,通过嵌入模型生成向量以丰富数据的上下文。S3 Vectors作为Agent系统记忆空间的使用率呈爆发式增长。
值得一提的是,S3 Files于几周前发布,使Agent能够通过POSIX标准,即文件系统的方式处理S3中的数据。在Agent系统中,大模型高度关注“文件”这一形态,无论是Python库还是Shell脚本,均为大模型训练过程中所熟悉的内容,Agent天然倾向于将文件作为数据接口。
为此,S3 Files的设计思路是在S3存储桶上挂载一个EFS文件系统。通过该机制,用户可以基于POSIX标准在文件系统中处理S3数据:小文件可通过EFS缓存加速访问,大文件则直接从S3进行流式传输。这使得Agent能够以熟悉的文件系统语言与S3数据实现原生交互,并将共享文件系统视为来自S3的“共享记忆空间”。
从大模型记忆能力的发展来看,这一进步具有重要意义。当前的AI体验正逐步引入更深层的对话上下文与个性化互动——无论是在Agent之间、人与Agent之间,还是Agent与数据之间,模型表现均在持续演进。通过文件系统这一自然接口的进一步扩展,Agent系统的记忆能力有望获得更深层次的提升。
笔者注意到,从2006年以图像等半结构化数据为主,到后来的分析型数据,从最初的数仓到数据湖的兴起,亚马逊云科技目前正大力推动Amazon S3成为承载AI工作负载的关键底座,以适应当下客户的诉求。Mai-Lan认为,Amazon S3的设计核心是以经济的方式推动主流数据类型增长,并始终坚守数据的可用性、持久性和韧性等准则。而这也正是客户在20年间持续将其数据业务托付给S3的原因,也将承载其下一个20年的可能。
(本文作者 | 杨丽,编辑 | 杨林)
