В начале года взрывная популярность OpenClaw на китайском рынке позволила всем увидеть огромный потенциал агентов. Но вместе с этим возникла проблема, на которую всем облачным провайдерам необходимо ответить: готовы ли облачные инфраструктуры для ИИ, особенно уровень данных, когда агенты начинают размножаться, как киберлобстеры, и с высокой частотой обращаться к данным?
Например, при развертывании агентов в производственной среде команды по работе с данными предприятий часто сталкиваются с узкими местами на уровне данных. Построение агентов на разных платформах — векторных, реляционных, графовых базах данных, озерно-складских системах — требует синхронизации каналов данных для поддержания актуальности контекстной информации. Но в реальной производственной среде эта контекстная информация со временем устаревает.
Срочность этой проблемы проистекает из принципиально иного, по сравнению с человеком-инженером, режима потребления данных агентами.
«Агенты потребляют данные чрезвычайно активно и агрессивно, частота их обращений к хранилищам или озерам данных ошеломляет.»
Как отметила в недавней беседе с автором вице-президент по технологиям Amazon Web Services Май-Лан Томсен Буковец, агенты работают по модели «параллельного выбора лучшего варианта»: вместо одного запроса за раз они одновременно выполняют десятки и сотни параллельных запросов, сравнивая результаты для поиска оптимального пути. Это делает агентов гораздо более агрессивными потребителями данных, чем люди — частота обращений на несколько порядков выше, а пропускная способность данных растет экспоненциально.
Май-Лан далее указала: «Сейчас клиенты очень хотят строить инфраструктуру для агентов, и стоимость, или, иными словами, ценность, уже не второстепенный, а решающий фактор. В ближайшие полгода-год, с взрывным ростом числа агентов, выбор базовых сервисов данных станет критически важным.»
Карнавал OpenClaw сходит на нет, оставляя после себя предупреждение об стресс-тесте базовых вычислительных и хранительных возможностей облачных провайдеров. Май-Лан считает, что у Amazon Web Services в этой области есть естественные преимущества: масштаб Amazon S3, а также эффективность Amazon Redshift и Amazon Athena в условиях высокой параллельной нагрузки и с точки зрения стоимости — все это создано именно для таких сверхмасштабных и сверхчастых способов взаимодействия агентов с данными.
В год 20-летия продукта Amazon S3, учитывая потребности клиентов в обработке данных в эпоху ИИ, недавно в S3 также были реализованы три основные трансформации: S3 Table (табличный формат), S3 Files (файлы) и S3 Vector (векторы).
Например, нативная поддержка Apache Iceberg в S3 Table. Май-Лан отмечает, что при обработке данных агенты предпочитают напрямую взаимодействовать с данными в формате Iceberg через SQL. Основная логика заключается в том, что агенты построены на больших моделях, а те в процессе обучения уже сформировали зрелые способности по обработке синтаксиса SQL и формата данных Iceberg. Хранение всех табличных данных в формате Iceberg в S3 позволяет агентам эффективно обрабатывать данные без необходимости изучения множества сложных API для доступа. В настоящее время наблюдается высокая степень совместимости между агентами, S3 и Iceberg.
Когда возможности Iceberg были интегрированы в S3, это вызвало новую волну инноваций: источники данных, такие как Postgres, Oracle, начали напрямую записывать данные в Iceberg, а агентные системы могут напрямую взаимодействовать с этими таблицами. А с выходом S3 Vectors все больше приложений ИИ начинают использовать векторы в качестве носителей общей памяти, тем самым привнося «состояние» в опыт взаимодействия с ИИ.
Май-Лан также указала, что вектор был введен как собственный тип данных S3. Применение векторов в основном сосредоточено в двух измерениях: во-первых, построение контекстной информации для данных, хранящихся в S3, с помощью векторов, и, во-вторых, использование векторов в качестве общей памяти. За пять месяцев после выпуска S3 Vectors отклик рынка соответствовал ожиданиям. Множество клиентов начали использовать эту функцию, генерируя векторы через модели эмбеддингов для обогащения контекста данных. Использование S3 Vectors в качестве пространства памяти для агентных систем растет взрывными темпами.
Стоит отметить, что S3 Files был выпущен несколько недель назад, позволяя агентам обрабатывать данные в S3 через стандарт POSIX, то есть способом файловой системы. В агентных системах большие модели уделяют большое внимание форме «файла» — будь то библиотеки Python или скрипты Shell, это знакомый контент из процесса обучения больших моделей, агенты от природы склонны использовать файлы в качестве интерфейса данных.
Поэтому S3 Files был спроектирован так, чтобы монтировать файловую систему EFS на корзину S3. С помощью этого механизма пользователи могут обрабатывать данные S3 в файловой системе на основе стандарта POSIX: доступ к маленьким файлам ускоряется за счет кэширования через EFS, а большие файлы передаются потоково прямо из S3. Это позволяет агентам нативно взаимодействовать с данными S3 на знакомом языке файловой системы и рассматривать общую файловую систему как «общее пространство памяти» из S3.
С точки зрения развития возможностей памяти больших моделей этот прогресс имеет важное значение. Текущий опыт взаимодействия с ИИ постепенно внедряет более глубокий контекст диалога и персонализированное взаимодействие — будь то между агентами, между человеком и агентом или между агентом и данными, производительность моделей постоянно эволюционирует. Благодаря дальнейшему расширению этого естественного интерфейса файловой системы, способности памяти агентных систем могут получить более глубокое улучшение.
Автор заметил, что, начиная с 2006 года с преимущественно полуструктурированных данных, таких как изображения, затем аналитических данных, от первоначальных хранилищ данных до расцвета озер данных, Amazon Web Services сейчас активно продвигает Amazon S3 в качестве ключевой основы для рабочих нагрузок ИИ, чтобы соответствовать текущим запросам клиентов. Май-Лан считает, что основная идея дизайна Amazon S3 — стимулировать рост основных типов данных экономичным способом, постоянно придерживаясь таких принципов, как доступность, долговечность и устойчивость данных. Именно поэтому клиенты доверяли свои бизнес-данные S3 на протяжении 20 лет, и это же станет основой для его возможностей в следующие 20 лет.
(Автор статьи | Ян Ли, редактор | Ян Линь)
