Début d'année, le succès retentissant d'OpenClaw en Chine a permis à tout le monde d'entrevoir l'immense potentiel des Agents. Cependant, cela a aussi soulevé une question cruciale à laquelle tous les fournisseurs de cloud doivent répondre : lorsque les Agents commencent à se multiplier comme des écrevisses cybernétiques et à interroger les données à haute fréquence, l'infrastructure cloud de l'IA, en particulier la couche de données, est-elle prête ?
Par exemple, les équipes de données des entreprises rencontrent souvent des goulots d'étranglement au niveau des données lorsqu'elles déploient des Agents en environnement de production. Construire des Agents sur différentes plateformes (bases de données vectorielles, relationnelles, orientées graphes, lacs de données, etc.) nécessite de synchroniser les pipelines de données pour maintenir l'actualité des informations contextuelles. Mais dans des environnements de production réels, ces informations contextuelles deviennent progressivement obsolètes.
L'urgence de ce problème vient du mode de consommation des données radicalement différent entre les Agents et les ingénieurs humains.
« Les Agents consomment les données d'une manière extrêmement active et agressive, leur fréquence d'interrogation des entrepôts de données ou des lacs de données est stupéfiante. »
Mai-Lan Tomsen Bukovec, Vice-Présidente Technique chez Amazon Web Services, a récemment indiqué lors d'un échange avec l'auteur que les Agents fonctionnent selon un mode opératoire de « sélection parallèle optimale ». C'est-à-dire qu'au lieu d'une requête à la fois, ils en exécutent des dizaines, voire des centaines, en parallèle, en comparant les résultats pour trouver le meilleur chemin. Cela fait des Agents des consommateurs de données bien plus agressifs que les humains, avec une fréquence d'appel supérieure de plusieurs ordres de grandeur et une augmentation exponentielle du débit de données.
Mai-Lan ajoute : « Actuellement, les clients souhaitent vivement construire une infrastructure pour Agents, et le coût, ou plutôt le rapport qualité-prix, n'est plus un facteur secondaire, il devient déterminant. Dans les six mois à un an à venir, avec l'explosion des Agents, le choix des services de données sous-jacents deviendra crucial. »
Aujourd'hui, l'euphorie autour d'OpenClaw retombe, laissant place à un avertissement sous forme de test de résistance sur les capacités de stockage et de calcul de base des fournisseurs de cloud. Mai-Lan estime qu'Amazon Web Services possède un avantage naturel dans ce domaine : l'échelle d'Amazon S3 (Amazon Simple Storage Service), ainsi que l'efficacité en termes de coût d'Amazon Redshift et d'Amazon Athena sous haute concurrence, sont précisément conçues pour ce type d'interaction avec les données, à très grande échelle et très haute fréquence, propre aux Agents.
À l'occasion du 20ème anniversaire d'Amazon S3, ce service a récemment connu trois évolutions majeures pour répondre aux besoins des clients à l'ère de l'IA en matière de traitement des données : S3 Table (format table), S3 Files (fichiers) et S3 Vector (vecteur).
Comme le support natif d'Apache Iceberg par S3 Table. Mai-Lan souligne que lorsqu'ils traitent des données, les Agents ont tendance à interagir directement via SQL avec des données au format Iceberg. La logique sous-jacente est que les Agents sont construits sur des grands modèles linguistiques, et ces derniers, pendant leur entraînement, ont développé une capacité mature à traiter la syntaxe SQL et le format de données Iceberg. Stocker toutes les données tabulaires au format Iceberg dans S3 permet aux Agents de traiter efficacement les données sans avoir à apprendre de multiples API d'accès complexes. Actuellement, les Agents, S3 et Iceberg présentent une compatibilité remarquable.
L'introduction de la fonctionnalité Iceberg dans S3 a déclenché une nouvelle vague d'innovation. Des sources de données comme Postgres, Oracle, etc., commencent à écrire directement en Iceberg, et les systèmes d'Agents peuvent interagir directement avec ces tables. Avec le lancement de S3 Vectors, de plus en plus d'applications d'IA utilisent les vecteurs comme support de mémoire partagée, injectant ainsi un « état » dans l'expérience d'interaction avec l'IA.
Mai-Lan note également que le type de données « vecteur » a été introduit en natif dans S3. L'application des vecteurs se concentre principalement sur deux dimensions : premièrement, utiliser les vecteurs pour construire un contexte informationnel pour les données stockées dans S3 ; deuxièmement, utiliser les vecteurs comme mémoire partagée. Cinq mois après le lancement de S3 Vectors, les retours du marché sont conformes aux attentes. De nombreux clients ont commencé à utiliser cette fonctionnalité, générant des vecteurs via des modèles d'embedding pour enrichir le contexte de leurs données. L'utilisation de S3 Vectors comme espace mémoire pour les systèmes d'Agents connaît une croissance explosive.
Il est à noter que S3 Files a été lancé il y a quelques semaines, permettant aux Agents de traiter les données dans S3 via le standard POSIX, c'est-à-dire de manière système de fichiers. Dans les systèmes d'Agents, les grands modèles linguistiques accordent une grande attention à la forme « fichier ». Que ce soient les bibliothèques Python ou les scripts Shell, ce sont des contenus familiers pendant l'entraînement des grands modèles, et les Agents ont naturellement tendance à considérer les fichiers comme interface de données.
Dans cet esprit, le concept de S3 Files est de monter un système de fichiers EFS (Elastic File System) sur un bucket S3. Grâce à ce mécanisme, les utilisateurs peuvent traiter les données S3 dans le système de fichiers selon le standard POSIX : les petits fichiers peuvent être accélérés via le cache EFS, tandis que les gros fichiers sont transmis en flux directement depuis S3. Cela permet aux Agents d'interagir nativement avec les données S3 via le langage familier du système de fichiers et de considérer le système de fichiers partagé comme un « espace de mémoire partagée » provenant de S3.
Du point de vue de l'évolution des capacités de mémoire des grands modèles linguistiques, cette avancée est significative. L'expérience d'IA actuelle introduit progressivement des contextes de conversation plus profonds et des interactions plus personnalisées, que ce soit entre Agents, entre humains et Agents, ou entre Agents et données, les performances des modèles évoluent constamment. En étendant encore cette interface naturelle qu'est le système de fichiers, les capacités de mémoire des systèmes d'Agents pourraient connaître une amélioration plus profonde.
L'auteur constate qu'Amazon Web Services, depuis ses débuts en 2006 avec des données semi-structurées comme les images, puis les données analytiques, depuis les premiers entrepôts de données jusqu'à l'essor des lacs de données, s'efforce aujourd'hui vigoureusement de faire d'Amazon S3 la pierre angulaire pour supporter les charges de travail de l'IA, adaptée aux demandes actuelles des clients. Mai-Lan considère que le cœur de la conception d'Amazon S3 est de favoriser la croissance des principaux types de données de manière économique, tout en restant fidèle à des principes tels que la disponibilité, la durabilité et la résilience des données. Et c'est précisément pour ces raisons que les clients continuent de confier leurs activités données à S3 depuis 20 ans, et c'est aussi ce qui portera ses possibilités pour les 20 prochaines années.
(Auteur | Yang Li, Éditeur | Yang Lin)
