A principios de año, el éxito de OpenClaw en el mercado chino permitió que todos vieran el enorme potencial de los Agentes. Pero a esto le siguió una pregunta que todos los proveedores de la nube deben responder: cuando los Agentes empiezan a reproducirse como langostas cibernéticas y a invocar datos a alta frecuencia, ¿está preparada la infraestructura de la nube de IA, especialmente la capa de datos?
Por ejemplo, al desplegar Agentes en entornos de producción, los equipos de datos empresariales a menudo encuentran cuellos de botella a nivel de datos. La construcción de Agentes en diferentes plataformas como bases de datos vectoriales, relacionales, de grafos y data lakes/warehouses requiere de pipelines de sincronización de datos para mantener la actualidad de la información contextual. Sin embargo, en entornos de producción reales, esta información contextual se desactualiza gradualmente.
La urgencia de este problema radica en el patrón de consumo de datos de los Agentes, radicalmente distinto al de los ingenieros humanos.
"Los Agentes están consumiendo datos de una manera extremadamente activa y agresiva; su frecuencia de invocación a los data warehouses o data lakes es asombrosa."
Mai-Lan Tomsen Bukovec, Vicepresidenta de Tecnología de Amazon Web Services, señaló recientemente en una conversación con el autor que los Agentes operan en un modo de "selección paralela", es decir: no realizan una consulta a la vez, sino docenas o cientos simultáneamente en paralelo, comparando para encontrar la mejor ruta. Esto convierte a los Agentes en consumidores de datos mucho más agresivos que los humanos: con una frecuencia de invocación varios órdenes de magnitud mayor y un volumen de procesamiento de datos que crece exponencialmente.
Mai-Lan señaló además: "Ahora los clientes tienen un gran deseo de construir infraestructura para Agentes. El costo, o mejor dicho, la relación costo-beneficio, ya no es un factor secundario, sino decisivo. En los próximos seis meses a un año, con la explosión de los Agentes, la elección de los servicios de datos subyacentes será crucial."
La euforia por OpenClaw ahora está disminuyendo, dejando precisamente una advertencia sobre las pruebas de estrés a la capacidad de almacenamiento y cómputo subyacente de los proveedores de la nube. Mai-Lan cree que Amazon Web Services tiene una ventaja natural en este campo; la escala de Amazon S3 (Amazon Simple Storage Service) y la eficiencia de costo de Amazon Redshift y Amazon Athena bajo alta concurrencia están precisamente preparadas para esta forma de interacción de datos de los Agentes, de escala masiva y frecuencia ultraelevada.
Coincidiendo con el 20º aniversario del producto Amazon S3, y en torno a las demandas de los clientes en la era de la IA para el procesamiento de datos, Amazon S3 ha implementado recientemente tres grandes transformaciones: S3 Table (formato de tabla), S3 Files (archivos) y S3 Vector (vectorial).
Como el soporte nativo de S3 Table para Apache Iceberg. Mai-Lan señala que los Agentes tienden a interactuar directamente con datos en formato Iceberg a través de SQL. La lógica subyacente es que los Agentes se construyen sobre modelos de lenguaje grandes (LLMs), y estos LLMs han desarrollado una capacidad madura para manejar sintaxis SQL y formato de datos Iceberg durante su entrenamiento. Almacenar todos los datos de las tablas en formato Iceberg en S3 permite que los Agentes procesen datos de manera eficiente sin necesidad de aprender múltiples y complejas API de acceso. Actualmente, los Agentes muestran un alto grado de compatibilidad con S3 e Iceberg.
Cuando la capacidad Iceberg se introdujo en S3, desencadenó una nueva ola de innovación. Fuentes de datos como Postgres, Oracle, etc., comenzaron a escribir directamente en Iceberg, y los sistemas de Agentes pueden interactuar directamente con estas tablas. Y con el lanzamiento de S3 Vectors, cada vez más aplicaciones de IA están utilizando vectores como portadores de memoria compartida, inyectando así "estado" en la experiencia de interacción con la IA.
Mai-Lan también señala que los vectores se han introducido como un tipo de dato nativo de S3. La aplicación de vectores se concentra principalmente en dos dimensiones: primero, usar vectores para construir información contextual para los datos almacenados en S3; y segundo, usar vectores como memoria compartida. En los cinco meses posteriores al lanzamiento de S3 Vectors, la retroalimentación del mercado ha estado en línea con las expectativas. Muchos clientes comenzaron a usar esta funcionalidad, generando vectores a través de modelos de embedding para enriquecer el contexto de los datos. El uso de S3 Vectors como espacio de memoria para sistemas de Agentes ha experimentado un crecimiento explosivo.
Vale la pena destacar que S3 Files se lanzó hace unas semanas, permitiendo que los Agentes procesen datos en S3 a través del estándar POSIX, es decir, de la manera del sistema de archivos. En los sistemas de Agentes, los LLMs prestan gran atención a la "forma de archivo"; tanto las bibliotecas de Python como los scripts de Shell son contenidos familiares durante el entrenamiento de los LLMs. Los Agentes tienden naturalmente a utilizar archivos como interfaz de datos.
Por ello, el enfoque de diseño de S3 Files es montar un sistema de archivos EFS en un bucket de S3. A través de este mecanismo, los usuarios pueden procesar datos de S3 en el sistema de archivos basándose en el estándar POSIX: los archivos pequeños pueden accederse más rápido mediante la caché de EFS, mientras que los archivos grandes se transmiten directamente desde S3 en flujo. Esto permite que los Agentes interactúen de forma nativa con los datos de S3 usando el lenguaje familiar del sistema de archivos, y vean el sistema de archivos compartido como un "espacio de memoria compartida" proveniente de S3.
Desde la perspectiva del desarrollo de la capacidad de memoria de los LLMs, este avance es significativo. La experiencia actual de IA está introduciendo gradualmente contextos de conversación más profundos e interacciones personalizadas, ya sea entre Agentes, entre personas y Agentes, o entre Agentes y datos, el rendimiento del modelo continúa evolucionando. Al expandir aún más esta interfaz natural del sistema de archivos, se espera que la capacidad de memoria de los sistemas de Agentes obtenga una mejora más profunda.
El autor observa que, desde 2006, cuando predominaban datos semiestructurados como imágenes, pasando por los datos analíticos posteriores, y desde los primeros data warehouses hasta el auge de los data lakes, Amazon Web Services está impulsando actualmente con fuerza que Amazon S3 se convierta en una base clave para las cargas de trabajo de IA, adaptándose a las demandas actuales de los clientes. Mai-Lan cree que el núcleo del diseño de Amazon S3 es impulsar el crecimiento de los tipos de datos principales de manera económica, y siempre adherirse a principios como la disponibilidad, durabilidad y resiliencia de los datos. Y esta es precisamente la razón por la cual los clientes han confiado sus operaciones de datos a S3 durante 20 años, y lo que también sustentará sus posibilidades durante los próximos 20 años.
(Autor | Yang Li, Editor | Yang Lin)
