Существующие AI Agent только угождают людям, ни один по-настоящему не умеет «выживать»
Автор утверждает, что современные ИИ-агенты не являются по-настоящему автономными, поскольку их обучают не для выживания или решения конкретных задач, а для угождения людям. Основные модели (например, Codex, Claude) проходят предварительное обучение на общих знаниях и последующую тонкую настройку через обратную связь от человека (RLHF), что оптимизирует их для получения одобрения, а не для эффективности в специализированных областях.
На примере прогнозирования фондового рынка автор показывает, что универсальные модели без специализированного обучения неспособны к профессиональной работе. Только после тонкой настройки на конкретных данных (например, пара «новость — будущая доходность») модель начала показывать статистически значимые результаты.
Для создания по-настоящему автономных агентов, способных выживать и адаптироваться, необходимо переобучать их с помощью специализированных данных и функций приспособленности, а не просто давать инструкции. Автор анонсирует создание OpenForager Foundation — открытого проекта по разработке таких агентов, которые будут обучаться через сбор данных о выживании в реальной среде.
marsbit03/30 04:38
