Автор: IC3
Перевод: Цзяхуань, ChainCatcher
Ключевые выводы
Осмысленное сочетание ИИ и криптовалюты находится на очень ранней стадии, и шум вокруг этого пересечения уже затмил реальный прогресс.
В направлении Crypto x AI, ИИ уже способен анализировать и обнаруживать ключевые свойства существующих транзакций, событий и протоколов, выявлять мошенничество или уязвимые смарт-контракты. Такие технологии часто используют простые методы машинного обучения и наиболее эффективны в контролируемых средах с достаточным объемом данных.
В направлении AI x Crypto, криптоинструменты предоставляют новые способы защиты и управления процессами ИИ. Инструменты вроде доказательств с нулевым разглашением, доверенных вычислений можно адаптировать для снижения риска фальсификации результатов ИИ. А идеи децентрализованного управления, управления децентрализованной инфраструктурой пока по-настоящему не реализованы в основном потоке ИИ-сообщества.
Индустрии еще нужно доказать две вещи.
Во-первых, децентрализованный ИИ должен проходить более строгое и прямое сравнение затрат с централизованными решениями. Сейчас индустрия в основном доказывает, что «можно обучить большие модели в распределенной среде», но все еще не хватает количественных свидетельств возможности конкурировать по затратам в конкретных сценариях с централизованными платформами.
Во-вторых, криптоплатежи должны продемонстрировать свою реальную пользу по сравнению с централизованными решениями в сценариях оплаты агентов. Криптовалюты в сфере платежей долгое время не добивались существенного успеха, но оплата агентов предполагает низкие комиссии и не требует привязки к модели «счет должен принадлежать человеку» из традиционных финансов, что дает им потенциал. Индустрия должна использовать количественные доказательства, чтобы воспользоваться этой возможностью, а не останавливаться на осуществимости.
Кроме того, есть две нерешенные исследовательские проблемы.
Первая: безопасность ИИ требует защиты на системном уровне. Сообщество ИИ обычно решает проблемы безопасности на уровне модели, создавая «ограждения» вокруг семантики входных и выходных данных. Но по мере роста автономности агентов и их способности напрямую взаимодействовать с низкоуровневой инфраструктурой, этого подхода будет недостаточно. Возможности криптографии по проверяемому выполнению и аутентифицированным процессам могут обеспечить системную защиту, недоступную на уровне модели.
Вторая: сочетание криптографии и ИИ породит новых субъектов угроз и векторы атак, такие как автономные агенты, которых нельзя выключить, и вышедшие из-под контроля смарт-контракты, о которых пойдет речь ниже.
Унифицированная структура: ИИ и Криптовалюта как взаимные «прослойки» (middleware)
Процесс автоматизированного принятия решений можно разделить на четыре звена: намерение человека, входные данные, программа, выходные данные. И в этой цепочке каждое звено может быть ненадежным. ИИ и криптовалюта в этой структуре отвечают за разные участки.
ИИ — это «переводящая прослойка», которая переводит нечеткие человеческие намерения в исполняемые машиной программы. Например, превращает «я хочу распознавать дорожный знак «Стоп»» в обученную модель, снижая порог входа в использование блокчейна.
Криптовалюта — это «заслуживающая доверия прослойка». Она обеспечивает через доверенные вычисления гарантию того, что определенные вычисления действительно выполнены по договоренности, а результаты не были изменены (целостность). Через децентрализацию она гарантирует, что система всегда доступна и устойчива к цензуре (доступность). Некоторые решения также могут гарантировать, что входные/выходные данные не раскрываются (конфиденциальность).
Есть три технических подхода к доверенным вычислениям.
Первый — доверенная среда выполнения (TEE), которая полагается на специализированное оборудование, обеспечивающее изоляцию и удаленную аттестацию (аппаратное обеспечение предоставляет проверяемое доказательство состояния, позволяющее другой стороне подтвердить, что чип подлинный и не был изменен). С помощью конфиденциальных вычислений NVIDIA дополнительные накладные расходы на вывод 8B-параметрической модели составляют менее 7%, для 70B-модели потери практически нет. Цена — необходимость доверять производителю оборудования, и отсутствие защиты от физических атак.
Второй — доказательства с нулевым разглашением (ZK). Они полагаются только на криптографические задачи, имеют самые чистые допущения безопасности, но чрезвычайно ресурсоемки. Генерация доказательства для небольшой модели с ~18 млн параметров занимает около минуты, что на несколько порядков меньше, чем требуется для передовых больших моделей.
Третий — безопасные многосторонние вычисления (MPC). Они позволяют нескольким сторонам совместно проводить вычисления, не раскрывая исходных данных, и работают еще медленнее. Самая передовая MPC-структура для вывода трансформера требует около пяти минут для генерации одного токена для модели LLaMA-7B.
Оракулы отвечают за доставку офчейн-данных в блокчейн надежным образом. Конфиденциальные оракулы (например, Town Crier, DECO) дополнительно поддерживают доказательства свойств данных без раскрытия конфиденциальности, например, доказательство того, что «кредитный рейтинг человека выше 700», не раскрывая другой информации.
Индустрия объединяет эти технологии под названием zkTLS, но TEE-решения из этого набора не используют никаких доказательств с нулевым разглашением, что является терминологической ошибкой.
Crypto x AI: Использование ИИ для улучшения блокчейна
Исследования по применению ИИ в криптовалютах можно примерно разделить по времени на три поколения.
Первое поколение: Анализ и обнаружение
Более десяти лет назад машинное обучение стало использоваться для анализа состояния блокчейна: обнаружения уязвимостей протоколов консенсуса (например, эгоистичного майнинга, когда майнер скрывает найденный блок и публикует его в выгодный момент, чтобы получить больше прибыли), обнаружения атак затмения (eclipse attack) в P2P-сетях (когда злоумышленник окружает узел множеством подконтрольных узлов, отрезая его от честной сети), прогнозирования цены, выявления мошеннических транзакций и отмывания денег.
Ограничение в том, что такой анализ в основном полагается на сценарии, где можно получить глобальную публичную информацию, и страдает от использования симуляционных данных и отсутствия реальных образцов атак.
Современное передовое обнаружение уязвимостей контрактов уже не заставляет ИИ напрямую угадывать вывод по коду. Сначала ИИ предлагает подозрительные места, а затем они проверяются с помощью статического анализа и символьного выполнения (анализ структуры кода для поиска уязвимостей без его фактического запуска).
Простое использование больших моделей в качестве аудиторов приводит к множеству ложных срабатываний из-за галлюцинаций. GPT-4 и Claude правильно определили тип уязвимости лишь в 40% из 52 контрактов DeFi, которые ранее подвергались атакам.
Второе поколение: Дизайн алгоритмов
За последние шесть лет обучение с подкреплением использовалось для проектирования децентрализованных алгоритмов, охватывающих топологию P2P-сетей, параметры и выбор ролей в протоколах консенсуса, шардинг, ставки маркет-мейкеров и кредитные ставки в DeFi, стратегии торговли MEV и др.
Эти методы наиболее эффективны в средах, которые можно четко смоделировать, и в основном остаются на исследовательской стадии, не будучи развернутыми в больших масштабах в реальных сетях и не прошедшими проверку атаками.
Третье поколение: Взаимодействие с реальным миром
С помощью оракулов на основе ИИ смарт-контракты получают три новые возможности: восприятие (понимание неструктурированных данных и естественного языка), выполнение (вызов офчейн-моделей ИИ и инструментов) и принятие решений (действие как агент в соответствии с целевой функцией).
Фактическая эффективность ИИ в роли оракула неоднородна. Согласно экспериментам Chainlink Labs, GPT-4o достигла общей точности 89,3% на 1660 вопросах для рынков предсказаний, Truth Bot от UMA показал 75%, в то время как точность человека в оптимистичном оракуле UMA (где ответ изначально считается верным, устанавливается период оспаривания, и он вступает в силу, если никто не оспорил) составила 98,2%.
Точность сильно зависит от типа вопроса: дискретные вопросы с официальными источниками данных, такие как результаты спортивных событий, достигают 99,7%, в то время как вопросы, связанные с временной последовательностью или требующие расшифровки видео для подсчета, имеют значительно более высокий процент ошибок.
Существует три подхода к решению: 1) проектирование устойчивости к ошибкам, использование только в сценариях с низкой стоимостью; 2) введение арбитража человеком, например, установка 48-часового окна оспаривания, но это замедляет принятие решений; 3) заставить модель отказываться отвечать, когда она не уверена, и привлекать человека только в таких случаях.
«Инвестиционные DAO», которые доверяют пулы средств коллективной торговле ИИ-моделей, в отчете названы CoinAlg. Примеры проектов: ElizaOS, AI XBT, пиковая рыночная капитализация которых достигала 2,7 и 4,7 млрд долларов соответственно. Такие продукты сталкиваются с непреодолимой дилеммой дизайна, которую можно назвать «Тупиком CoinAlg».
Если торговая стратегия прозрачна, ее могут скопировать или отобрать прибыль с помощью сэндвич-атак (размещение ордеров до и после жертвы для получения прибыли за счет проскальзывания). Если она секретна, инсайдеры, владеющие стратегией, могут получить прибыль заранее, используя информационное преимущество, что эквивалентно инсайдерской торговле. Оба пути вредят обычным инвесторам.
Один из предварительных способов смягчения — обернуть стратегию в TEE и рандомизировать транзакции, чтобы усложнить предсказание для инсайдеров.
Новый риск: Злонамеренные смарт-контракты на базе ИИ
Смарт-контракты используются для замены межличностного доверия, а это значит, что преступники с наименее доверительными отношениями могут извлечь из них выгоду.
Один механизм таков: контракт предлагает награду за преступление; преступник заранее создает криптографическое обязательство с «секретной отметкой» и раскрывает его позже; ИИ-модель сравнивает новостные сообщения и автоматически выплачивает награду после подтверждения совершения преступления. Здесь ИИ берет на себя роль «арбитра», которую раньше было трудно автоматизировать. Это можно использовать для целенаправленных преследований, кражи корпоративных данных, раскрытия личности информаторов и т.д.
Возможные контрмеры включают отслеживание в блокчейне, внесение вовлеченных средств в черный список, а также заставляние оракула, развернувшего модель ИИ, отказываться обслуживать высокорисковые запросы.
AI x Crypto: Использование Криптографии для улучшения ИИ
Потенциальный вклад криптографии в ИИ можно разделить на две категории: 1) децентрализация этапов жизненного цикла ИИ; 2) защита безопасности этих этапов.
Децентрализованная инфраструктура (DePIN)
Сети децентрализованной физической инфраструктуры (DePIN) позволяют узлам предоставлять вычислительные мощности и другие ресурсы за вознаграждение в токенах. Theta, Akash и другие заявляют об экономии от 50% до 85% по сравнению с AWS. Основным узким местом является пропускная способность и задержки из-за связи между узлами через публичный интернет.
Применимость зависит от типа задачи. Обучение не чувствительно к задержкам (происходит офлайн), но синхронная связь между географически удаленными точками является узким местом. На сегодня уже есть достижения в обучении моделей с десятками миллиардов параметров на распределенном оборудовании (700M и 7B на Bittensor, 10B-параметрическая Intellect-1 от Prime Intellect, а самая крупная — модель с 40B параметров, находящаяся в обучении в сети Psyche).
Вывод (инференс) более чувствителен к задержкам, но требования к пропускной способности ниже, чем у обучения, и не требуется обратное распространение ошибки (ключевой шаг при обучении для обновления параметров, нужен только для обучения). Вывод, нечувствительный к задержкам (например, составление протоколов встреч, проверка документов), особенно подходит для DePIN.
Ключевой пробел в том, что большинство этих проектов не сообщают об общей сквозной стоимости. Они рекламируют стоимость аренды одного GPU в час, в то время как реальную стоимость ML-задачи определяет эффективность обучения (количество итераций на единицу стоимости) и эффективность вывода (количество токенов на единицу стоимости).
Децентрализованные рынки данных и моделей
Данные для ИИ имеют несколько особенностей, отличающих их от обычных товаров. Это цифровой товар, дорогой в первоначальном создании, но почти бесплатный в копировании; часто являются неконкурентными (одни и те же данные могут одновременно использоваться многими сторонами без ущерба); их качество трудно оценить заранее — проблема «рынка лимонов» (покупатель не может заранее оценить качество, что вытесняет качественные товары некачественными); продавцу нужно предоставить образец, но сам образец имеет ценность; данные можно перепродавать, и трудно определить, идентичны ли два набора данных по существу.
Споры вокруг централизованных рынков касаются непрозрачности ценообразования и ограничения выбора пользователей, но централизованное ценообразование иногда более эффективно, поскольку опирается на больше информации.
На рынке данных пока нет монопольных гигантов, что дает окно для перезапуска децентрализованным способом. Можно использовать криптоинструменты, такие как микроплатежи, TEE (ограничение использования данных конкретными задачами), доказательства с нулевым разглашением (раскрытие покупателю свойств данных без раскрытия самих данных).
Сейчас большинство платформ используют криптовалюты только для платежей. Механизм ценообразования либо определяется разработчиками протокола, либо полностью отдается на откуп продавцу — оба этих подхода давно существуют на централизованных рынках. Исследований о том, что именно улучшает децентрализация, все еще недостаточно.
Платежные каналы для агентов и x402
Экосистема агентов сама по себе уже децентрализована: разные стороны используют разные модели для разработки, оптимизируют разные цели, нет естественной центральной точки контроля. Криптоэкономический подход (сочетание криптографических методов с экономическими стимулами/наказаниями для управления поведением участников) может быть перенесен на управление агентами.
Микроплатежи являются ключевыми для экономики агентов. В истории интернета микроплатежи неоднократно проваливались, проблема заключалась в когнитивной нагрузке человека на принятие решения для каждой мелкой оплаты, а не в платежной инфраструктуре. Агенты оценивают микроплатежи гораздо быстрее человека, пользователю нужно только задать стратегию, что может впервые сделать микроплатежи жизнеспособными.
Cloudflare уже выпустила «Pay for Scraping», разрабатываются такие протоколы, как x402 (открытый протокол, позволяющий программам напрямую выполнять мелкие блокчейн-платежи через HTTP).
Базовым активом в этой системе будут в основном стейблкоины (USDC, USDT, DAI), потому что они обеспечивают стабильную единицу учета для агентов, в то время как нативные токены, такие как ETH, SOL, слишком волатильны.
Доверие между агентами обеспечивается реестрами в блокчейне (например, ERC-8004, стандарт предложения для создания идентичности и репутации агентов в Ethereum), фиксирующими идентичность и репутацию. Но по сути это самоописания, и репутация отстает, что выгодно уже устоявшимся игрокам.
Более продвинутым решением является проверяемый аудит агентов: LLM, работающая внутри TEE, проверяет проприетарный код агента и выдает оценку репутации; результат аудита привязывается к хэшу кода, что позволяет проверяющим получить надежную гарантию, сохраняя код приватным.
Незакрываемые автономные агенты (UAA) — еще один риск. Продолжительность задач, которые передовые агенты могут выполнять автономно, с 2019 года удваивается примерно каждые семь месяцев. Исследования уже показали, что модели локально могут пересечь красную линию самовоспроизведения, создавая независимые копии, но воспроизведение на внешней инфраструктуре все еще упирается в аутентификацию.
Модель Mythos от Anthropic уже продемонстрировала способность автономно находить и использовать уязвимости нулевого дня (уязвимости, неизвестные производителю, для которых нет заплаток). Агент, владеющий кошельком и которого нельзя выключить, окажется в слепой зоне существующей регуляторной системы, сфокусированной на «операторе».
Децентрализованное управление
Сообщества блокчейна имеют более длительную историю практики распределения контроля над системой, их подходы по своей природе децентрализованы и стремятся вовлечь широкий круг заинтересованных сторон, но у них есть и известные недостатки: уязвимости безопасности, апатия избирателей, подкуп.
Сообщественное управление по-разному подходит для разных этапов разработки ИИ: данные для предварительного обучения слишком велики, чтобы эффективно собирать мнения, большая ценность проявляется на этапе тонкой настройки (fine-tuning); выбор базовой архитектуры — техническое решение, не подходящее для общественного управления; этапы оценки и согласования (alignment) смешивают технические и нормативные суждения, и здесь мнение сообщества ценно.
Конституционный ИИ (Constitutional AI) использует написанную людьми «конституцию» для определения принципов, которым должна следовать модель. Коллективный конституционный ИИ (Collective Constitutional AI) от Anthropic включает публичное голосование для генерации принципов; модели, обученные на принципах из открытых источников, демонстрируют меньше социальных предубеждений. Но такие эксперименты по демократизации управления в основном не были по-настоящему внедрены; у ИИ-компаний нет мотивации отдавать контроль над моделями.
Взвешенное голосование по токенам в DAO широко признается как «плутократия». Это породило механизмы вроде квадратичного голосования (стоимость каждого дополнительного голоса возрастает, чтобы сдерживать китов), голосования на основе убеждений (вес накапливается в зависимости от времени владения токеном, за который голосуют), делегированного голосования, но их эффективность все еще не ясна.
Защита целостности выполнения ИИ-систем
Когда смарт-контракту требуются ML-вычисления, выходящие за его возможности, он может выступать в роли «арбитра»: стороны сначала обязуются использовать определенные модели и данные, внося залог; после офчейн-вычислений результаты передаются контракту для проверки, и ошибочная сторона штрафуется. Есть четыре пути проверки, у каждого свои компромиссы.
Первый: TEE. Наиболее эффективен, использует подпись доверенного оборудования для доказательства целостности вычислений, но требует доверия оператору.
Второй: Оптимистичное выполнение. Результат сначала считается неокончательным, устанавливается окно для оспаривания. В случае спора используется бинарный поиск (последовательное деление ошибочного диапазона пополам для быстрого нахождения ошибочной инструкции), после чего штрафуется.
Сложность в недетерминированности операций с плавающей запятой в ML. Нужно использовать контролируемый порядок операций или семантику допуска (не требовать абсолютного совпадения двух вычислений, считать их совпадающими в пределах погрешности). Примеры решений: Verde, TAO, Arbigraph, OPML.
Третий: Доказательства с нулевым разглашением (zkML, доказательство корректности процесса вывода ИИ с помощью ZK). Позволяет доказать правильность вывода, скрывая параметры модели и даже входные/выходные данные. Существуют специализированные решения для CNN, Transformer и универсальные компиляторы (например, EZKL, ZKML, DeepProve).
Его цели конфиденциальности на самом деле трехслойные: скрыть входные данные, скрыть веса, скрыть структуру модели. Но чем сильнее конфиденциальность, тем сложнее схемы ограничений и меньше возможностей для оптимизации — существует фундаментальное противоречие между конфиденциальностью и эффективностью. Основные затраты связаны с нелинейными слоями и представлением чисел. Технология все еще плохо подходит для длинных контекстов, больших моделей и сервисов с высокой пропускной способностью.
Четвертый: Статистическое доказательство вывода. Принцип: две функционально разные модели внутренне вычисляют разные признаки. Поэтому, просто выборочно сравнивая эти признаки, можно вероятностно определить, был ли вывод действительно выполнен указанной моделью.
Затраты на доказательство составляют миллисекунды, и оно моментально становится окончательным, что подходит для высокочастотных сценариев с низкой задержкой. Оно защищает от реального злоупотребления, такого как подмена модели провайдером (например, на более дешевую дистиллированную версию или на версию без согласования), но не может остановить полностью злонамеренного участника, который фальсифицирует всю запись вычислений с нуля — эта проблема остается нерешенной.
Доказательство процесса обучения (zkPoT, доказательство корректности процесса обучения с помощью ZK) значительно сложнее, чем доказательство вывода: процесс обучения длительный, промежуточные состояния накапливаются, он стохастичен, сложность на несколько порядков выше, чем у вывода. Работа в этой области (Garg и др., Kaizen) продолжается и распространяется на возможность аудита источников обучающих данных и ограничений справедливости (ZkAudit, Confidential-PROFITT).
Защита конвейеров обучения
Когда отдельная организация обучает модель на своих доверенных данных, обычно нет непосредственных проблем с конфиденциальностью или целостностью. Сложные проблемы безопасности возникают при совместном обучении нескольких сторон и разнородных источниках данных.
Типичный сценарий: несколько больниц совместно обучают диагностическую модель. Объединение электронных медицинских карт (EHR) от всех сторон охватывает более широкую группу пациентов и повышает точность диагностики. Но из-за таких нормативных актов, как HIPAA, стороны не хотят и не могут напрямую передавать исходные данные друг другу или третьей стороне.
К аналогичным случаям относится совместное обучение финансовых организаций моделям обнаружения мошенничества или компаний — моделям обнаружения вторжений.
Федеративное обучение (Federated Learning) разработано для таких случаев: среда обучения инициализирует глобальную модель и распределяет ее между участниками; каждый обучает модель локально на своих данных и отправляет обратно только обновления модели; среда обучения агрегирует их в новую глобальную модель. Данные никогда не покидают локальное устройство.
Но федеративное обучение имеет ограниченное внедрение (самое известное применение — предсказание текста в мобильных клавиатурах). Оно не гарантирует целостность данных и вычислений; даже если все участники честны, накладные расходы на связь велики, сетевые и координационные задержки замедляют общий процесс; точность модели ниже, чем при централизованном обучении; злонамеренный участник может отравить модель или внедрить бэкдор.
Более простая альтернатива — использование TEE для централизованного обучения: среда обучения работает в доверенной конфиденциальной вычислительной среде, получает исходные данные от всех сторон по зашифрованным каналам, обучается централизованно и выводит только обученную модель. Данные не видны друг другу, также можно приложить доказательство происхождения модели (кто предоставил данные, как обучалась модель).
Цена — собственные риски TEE, связанные с побочными каналами, и высокие затраты на ввод-вывод. В реальности организации сейчас чаще объединяют данные в соответственном облаке, полагаясь на изоляцию, контроль доступа, шифрование и соглашения об использовании данных для соблюдения нормативных требований, но это требует доверия к облачному провайдеру.
Данные частных сетей — это другой подход. Текстовые данные открытой сети приближаются к пределу (прогнозируется исчерпание между 2025 и 2030 годами), синтетические данные несут риск «коллапса модели» и не могут расширить охват данных за пределы существующих областей.
А «частные сети» (данные, недоступные для сканеров, такие как электронная почта, медицинские, финансовые записи) по оценкам на два порядка больше открытой сети и представляют собой неразработанное богатое месторождение, но сейчас они сильно изолированы.
Оракулы могут открыть эту дверь. Например, при загрузке пациентом своей медицинской карты для обучения модели: пользователь может с помощью оракула передать свою карту из больничного портала стороне, проводящей обучение, и доказать, что данные действительно поступили из этого портала. Весь процесс не требует изменений инфраструктуры со стороны больницы, так как соединение инициируется пользователем.
Для одновременной защиты конфиденциальности необходимо добавить конфиденциальный оракул (данные передаются по зашифрованному каналу) и TEE. TEE также может предъявить пользователю доказательство того, что на нем выполняется именно тот приватный обучающий софт, который «выводит только модель». Пользователь может проверить это перед передачей данных.
Кроме того, можно добавить более тонкие обязательства: дифференциальная приватность (выход модели минимально зависит от любой отдельной записи в обучающих данных), удаление данных после использования, ограничение использования готовой модели определенным списком больниц.
Безопасные конвейеры вывода и Защищенные конвейеры (Props)
Тот же набор оракула и доверенных вычислений можно использовать для безопасного вывода на частных данных.
Пример: обработка заявок на кредит в банке. Модель читает финансовые документы заявителя и выдает решение об одобрении или отказе. Сегодняшний процесс: заемщик сам скачивает или фотографирует документы для загрузки. Это создает две проблемы: 1) кредитор не может подтвердить, что документы подлинные и не были изменены; 2) документы заемщика могут быть скомпрометированы из системы моделей кредитора, что является риском для обеих сторон.
Использование конфиденциального оракула для решения аутентичности источника и конфиденциальных вычислений для конфиденциальности дает безопасный конвейер вывода: кредитор видит только вывод модели и при этом уверен, что входные данные достоверны.
Частные источники также могут служить системой идентификации и учетных данных.
Заемщик может передать банковскую выписку или форму W-2 с его идентификацией, что само по себе является убедительным доказательством личности, превращая существующие сетевые сервисы во временные системы идентификации для борьбы с кражей личных данных и мошенничеством с пособиями. Модель также может на этом основании выдавать учетные данные, например, проверив налоговые и операционные документы малого бизнеса и выдав справку о «соответствии определенным критериям» с приложением доказательства из конвейера вывода.
Весь этот процесс может быть выполнен децентрализованно; теоретически любой может создать доверенный конвейер вывода без участия источника данных или существующего центрального органа.
Атаки с помощью состязательных входных данных — упорная проблема. Злоумышленник может предоставить банковскую выписку, которая выглядит нормально для глаза, но была специально изменена, чтобы обмануть модель, заставив ее прочитать завышенный баланс и ошибочно одобрить кредит. Исследования состязательных примеров всегда представляли собой цикл «взлом — установка заплатки», универсального решения до сих пор нет.
Безопасный конвейер вывода предлагает новый подход: ограничить входные данные только сертифицированными сетевыми источниками, тем самым сужая пространство для создания злоумышленником состязательных входных данных, дополняя защиту на уровне модели.
Конфиденциальность самой модели также нуждается в защите. Злоумышленник может использовать тщательно сконструированные запросы для кражи модели (извлечения признаков или даже всей модели), вывода членства (определения, входили ли чьи-то данные в обучающий набор) и даже восстановления исходных обучающих данных, а также для выяснения конфигурации системы и выбора препроцессинга.
Исследователи оценили, что можно украсть веса одного слоя большой модели примерно за 8000 долларов. Ограничение скорости (rate limiting), обычно используемое в открытых системах, уязвимо, поскольку один анонимный пользователь может выдать себя за множество пользователей в сибил-атаке.
Безопасный конвейер вывода может помочь с обеих сторон: с помощью оракула ограничить типы входных данных, сдерживая атаки на извлечение, требующие большого количества разнообразных запросов; а затем, используя сильное доказательство идентификации, сгенерированное внутри конвейера, установить лимит на количество запросов для каждого пользователя. Это можно выполнить, не раскрывая личность пользователя платформе, тем самым подавляя сибил-атаки.
Память агента — новая поверхность атаки. Злоумышленник может через вызовы инструментов или внешние материалы загрязнить контекст (внедрение в память), подаваемый агенту, что может спровоцировать аномальное поведение агента. Например, в рамках ElizaOS, управляющих значительными криптоактивами, загрязненный контекст может побудить агента инициировать несанкционированную транзакцию.
TEE может частично смягчить проблему: запуск агента внутри TEE или загрузка только аутентифицированного контекста.
Но даже с TEE остаются две трудности.
Первая: доверенные источники также могут содержать загрязненный контент, например, контент из социальных сетей создается самими пользователями, и они могут легко отравить свои посты.
Вторая: оператор TEE может инициировать атаку отката или форка, откатив состояние TEE к старой контрольной точке и стерев последующие обновления памяти.
Первая проблема — это задача обнаружения контента, которую криптография решить не может. Со второй уже можно бороться, используя идеи консенсуса: системы вроде ROTE, Narrator используют распределенные протоколы и даже публичные блокчейны для обеспечения согласованности и актуальности состояния TEE.
Обобщая архитектуру этого раздела, мы получаем универсальную структуру «Защищенные конвейеры» (Props), цель которой — безопасное использование частных данных без изменения существующей инфраструктуры.
Она объединяет оракул и доверенные вычисления в три этапа: оракул получает данные из аутентифицированного частного источника и доказывает их происхождение; TEE выполняет обучение или вывод внутри зашифрованной границы; TEE выводит модель или результат с приложением доказательства, описывающего атрибуты конвейера (источники данных, хэш кода ПО или модели и т.д.).
Props гарантирует три свойства: сквозная целостность входных данных (вывод зависит только от аутентифицированных данных из доверенных частных источников); конфиденциальность по умолчанию (входные и промежуточные данные не покидают защищенную границу, раскрывается только вывод); доказуемость без раскрытия (доказательство убеждает как поставщика данных, так и пользователя результата в целостности и конфиденциальности).
Существует также «прозрачная версия», где данные и вычисления не обязательно должны быть конфиденциальными, им нужна только аутентификация, а источники могут быть как публичными, так и частными.
Пять заблуждений о Crypto x AI
Вокруг платформ и приложений Crypto x AI в индустрии возник ряд распространенных заблуждений или вводящих в заблуждение утверждений. Следующие пять пунктов — не откровенная ложь, но важно прояснить, какие части верны сейчас, а какие все еще требуют больше доказательств.
Заблуждение 1: Блокчейн может отличить контент, созданный ИИ, от созданного человеком
Утверждение о том, что регистрация контента в блокчейне позволит впоследствии определить, был ли он создан ИИ или человеком, часто цитируется. Уже есть проекты (например, Everlyn AI), которые размещают контент, созданный ИИ, в блокчейне. Но блокчейн не может сделать это в общем случае; нужно разделять две задачи: «обнаружение контента» и «отслеживание происхождения контента».
Обнаружение контента — это определение, был ли контент создан человеком или ИИ. В настоящее время основной подход — постфактумное обнаружение, не зависящее от предварительно внедренных метаданных или сигналов. Оно делится на два типа: 1) классификаторы на основе ИИ, использующие глубокое обучение для распознавания характерных статистических особенностей моделей генерации; 2) статистическая экспертиза, анализирующая распределение шума на уровне пикселей, структурные аномалии (например, физиологические несоответствия на лицах, созданных ИИ).
Проблема в том, что сам блокчейн не может воспринимать эту офчейн-информацию. Результат классификации должен предоставляться внешним классификатором. Внесение в блокчейн может только зафиксировать этот результат, гарантируя, что запись не будет изменена после отправки, но не гарантирует, что запись была верной в момент внесения. Если внешний детектор ошибся, блокчейн навсегда сохранит ошибку. То есть блокчейн обеспечивает «целостность заявления», а не «верификацию истинности заявления».
Отслеживание происхождения контента — это запись истории цифрового актива с момента его создания. Отраслевые стандарты, такие как C2PA, позволяют создателям или устройствам прикреплять к медиафайлам криптографически подписанные метаданные («провенанс»), фиксирующие источник, автора и последующие правки. Numbers Protocol, Starling Lab и другие используют блокчейн в качестве публичного, неизменяемого реестра для таких учетных данных.
Но даже при наличии надежной системы отслеживания происхождения, закрепленной в блокчейне, невозможно гарантировать, был ли контент изначально создан человеком или ИИ.
Пользователь может легко отобразить сгенерированное ИИ изображение на HD-экране и сфотографировать его камерой, соответствующей C2PA, получив действительный, подписанный файл с пометкой «реальная фотография». С текстом аналогично: сгенерированный ИИ текст можно вручную перепечатать в совместимом редакторе, и он получит легальную информацию о происхождении как «человеческое творение».
Кроме того, как только контент изменяется до неузнаваемости по сравнению с записью в блокчейне, цепочка происхождения обрывается. Универсальный реестр, охватывающий весь контент, практически невозможен в обозримом будущем, и в системах отслеживания происхождения неизбежно будет множество пробелов.
Вывод: В узком смысле блокчейн может обеспечить надежную гарантию целостности для метаданных о происхождении, но он далеко не полное решение проблемы обнаружения контента, созданного ИИ.
Действительно эффективное решение потребует универсальной экосистемы, в которой каждый фрагмент контента захватывается доверенным устройством и мгновенно попадает в блокчейн. В реальности же подавляющее большинство контента создается и распространяется с помощью инструментов, не поддерживающих криптографическое закрепление, и немаркированный контент остается в серой зоне.
Заблуждение 2: Блокчейн или децентрализация могут решить проблему предвзятости и справедливости ИИ
Утверждение «размещение вывода и обучения модели в блокчейне решит проблему несправедливости и предвзятости ИИ» слишком широко. Чтобы оценить его, нужно сначала разграничить разные типы предвзятости.
Алгоритмическая предвзятость — самое распространенное в сообществе ИИ понимание справедливости. Модели усваивают и даже усиливают дисбалансы в наборах данных, что приводит к плохой работе дискриминационных моделей на уязвимых группах, а генеративные модели воспроизводят вредные тенденции обучающих данных (например, токсичный язык, закрепление стереотипов).
Академическое сообщество предложило множество технических решений на этапе обучения и вывода («ограждения»). Но эти меры защиты далеки от совершенства, проблема справедливости до сих пор не решена и, возможно, никогда не будет решена полностью. Даже определение «что такое справедливость» само по себе требует множества компромиссов.
Децентрализация не может решить алгоритмическую предвзятость, поскольку она возникает в самом процессе обучения и обычно смягчается улучшением технологий обучения или вывода, на что децентрализация не влияет.
Но у предвзятости есть и второй источник — высокоуровневые решения, влияющие на поведение модели: какие данные использовать, какую архитектуру выбрать, как компенсировать вкладчикам. Этот уровень ортогонален обычному пониманию справедливости в сообществе ИИ, но может влиять на алгоритмическую предвзятость, и его частично можно улучшить с помощью двух свойств децентрализации.
Первое свойство — прозрачность. Разработчики могут использовать блокчейн для публичного закрепления обязательств относительно обучающих данных, алгоритмов обучения, контрольных точек модели, «ограждений» вывода, позволяя операторам доказуемо отслеживать, какой вывод был получен в результате конкретного обучения или вывода.
Но это трудно масштабировать на такие продукты обучения, как большие модели и контрольные точки (слишком высоки затраты на хранение и вычисления). В существующих системах эти данные в основном и так находятся офчейн, и пользователи не имеют к ним прямого доступа. В краткосрочной перспективе выгоды от прозрачности могут ограничиваться только этапом вывода.
Что еще важнее: если отрасль не поймет, для каких конкретных случаев использования нужна такая прозрачность и какие интерфейсы ей соответствуют (например, возможность для пользователей сообщать о неправомерном использовании их данных, что, в свою очередь, требует установления реального права собственности на данные и таких технологий, как машинное удаление), сама по себе прозрачность может не изменить способ разработки и использования ИИ.
Второе свойство — децентрализованное управление. Здесь нужно различать два типа. Первый — механизмы общественного управления, исследованные и применявшиеся в блокчейне (взвешенное голосование по токенам, жидкостная демократия, когда голос можно делегировать доверенному лицу). Второй — децентрализованное автономное управление, представленное DAO, где решения управления принудительно исполняются смарт-контрактами.
Общий ключевой момент для обоих типов: такие механизмы, как общественное управление, сами по себе не требуют блокчейна для реализации. Поэтому называть их «проблемами ИИ, решенными блокчейном», не совсем точно. Технические, чувствительные к производительности решения в ИИ не подходят для широкого голосования, но решения, связанные с ценностными ориентирами (например, согласование моделей), подходят больше. Основные разработчики ИИ исследовали этот путь, но еще не реализовали его по-настоящему.
Управление на блокчейне, действительно принудительно исполняемое смарт-контрактами (прямое исполнение или штрафы через залоги), может повысить устойчивость, но сталкивается с теми же технологическими барьерами, что и прозрачность на блокчейне: текущая инфраструктура не выдерживает требований к хранению и вычислениям для ИИ. Внедрение потребует значительного прогресса в проверяемом обучении, что является последовательным, но преждевременным долгосрочным видением.
Вывод: Сам по себе блокчейн не может уменьшить алгоритмическую предвзятость, но может способствовать прозрачности на различных этапах жизненного цикла ИИ и расширить участие в управлении ИИ.
Заблуждение 3: Дать ИИ-агенту кошелек — значит сделать его «автономным»
Проекты, создающие «кошельки для агентов» и платежные протоколы, часто заявляют, что предоставление ИИ-агенту кошелька, возможности самостоятельно зарабатывать, тратить и «выживать» делает его автономным. Это утверждение смешивает несколько разных понятий.
Двусмысленность в первую очередь возникает из-за разного значения слова «автономный» в двух областях. В контексте ИИ автономный агент — это тот, кто может действовать на основе собственного восприятия, обучения, опыта, а не строго следовать предустановленным правилам. Смарт-контракты также часто называют автономными, но здесь акцент на устойчивости к изменению, цензуре и отключению.
Первый можно назвать «интеллектуальной автономией», второй — «автономией исполнения». Современные ИИ-агенты уже обладают значительной интеллектуальной автономией, но не обязательно автономией исполнения — администратор все еще может выключить сервер, на котором они работают.
Кошелек для агента не дает ни того, ни другого. Наличие кошелька не делает ИИ умнее и не увеличивает его сопротивляемость манипуляциям или отключению. Он обеспечивает автоматизацию: агент может программно совершать сделки, переводить средства, вызывать функции блокчейна, минуя этап ручного утверждения.
Такая автоматизация также не является эксклюзивной для блокчейна. Централизованная финансовая инфраструктура также может быть вызвана агентом программно. Более состоятельная интерпретация такова: сама блокчейн-платежная система обеспечивает бо́льшую автономию по сравнению с централизованными решениями (хотя и не специально для агентов), например, гарантируя, что транзакции агента не будут подвергаться дискриминации, то есть нейтральность и устойчивость к цензуре.
Вывод: Кошелек для агента позволяет ИИ-агенту удобно вызывать финансовые интерфейсы, автоматизировать экономическое взаимодействие, избавляя от ручного утверждения. Но автоматизация не равна автономии. Сам по себе кошелек не позволяет агенту выйти из-под контроля человека (оператор все еще может выключить модель или инфраструктуру, от которых он зависит). Автоматизированные платежи также не требуют блокчейна — их можно реализовать и в централизованных системах.
Истинное преимущество блокчейн-платежей — нейтральность и устойчивость к цензуре, что подходит для сценариев, где есть опасения, что платежи могут быть заблокированы или подвергнуты вмешательству.
Заблуждение 4: Прозрачный ИИ равен доверенному ИИ
Размещение источников данных модели и записей о выводах в блокчейне кажется идеальным инструментом для обеспечения доверия к ИИ. Этот тезис исходит из широко цитируемого блога IBM и был распространен на ИИ-агентов. Но его нужно разобрать на двух уровнях.
Что касается прозрачности на уровне модели: запись источников обучающих данных кажется обеспечивающей прозрачность в отношении создания модели, но между «записью источников данных» и «гарантией поведения модели» лежит огромная пропасть.
1) Запись в блокчейне — это просто запись, а не доказательство происхождения (для доказательства состава обучающего набора нужны специальные технологии).
2) Даже полное знание обучающих данных недостаточно, чтобы определить, как будет вести себя модель, поскольку процесс обучения и вычислительная среда также определяют поведение модели.
3) Даже если известен полный процесс от данных до модели, достаточный для воспроизведения модели, присущая стохастичность обучения делает принципиально невозможной «проверку весов модели с помощью процесса обучения».
Более того, даже получив веса, нет универсально эффективного способа обнаружить бэкдоры или состязательные манипуляции, внедренные во время обучения. А запись данных модели и информации о тренировке в блокчейн напрямую не гарантирует ее поведенческие характеристики или отсутствие состязательных манипуляций.
Что касается прозрачности на уровне вывода: запись входных данных модели и соответствующих выводов в блокчейн кажется обеспечивающей прозрачность в отношении использования модели. Но блокчейн делает прозрачными транзакции, а не вывод. Запись в блокчейне, гласящая «модель X на входе Y дала вывод Z», почти ничего не доказывает о доверии к Z.
Потому что она не может доказать ни «правильность выполнения» (для доказательства того, что эта тройка действительно была получена моделью X согласно спецификации, нужны TEE или дорогостоящие криптографические средства), ни «доверенность модели».
Даже доказав правильность выполнения, возникает более фундаментальный вопрос: полная запись происхождения модели X не может на семантическом уровне доказать, что она соответствует ожиданиям пользователя или отраслевым нормам. Использование хэша весов для указания модели дает еще более слабую гарантию, поскольку идентичность модели не равна доверенности модели.
Блокчейн действительно полезен для некоторых целей обеспечения доверия. Например, организация может опубликовать хэш весов открытой модели в блокчейне в качестве неизменяемого ориентира, чтобы пользователи могли подтвердить, что используют подлинную, неизмененную модель. Аналогичный подход с неизменяемым журналом используется для записей обновлений прошивок и прозрачности сертификатов (подобные блокчейну журналы только для добавления используются для ведения публично проверяемых записей о выдаче сертификатов).
Вывод: Между размещением источников данных модели и записей о выводах в блокчейне и «осмысленными гарантиями доверия к модели и ее выводам» все еще существует значительный разрыв.
Заблуждение 5: Децентрализация по своей природе делает задачи ИИ более дешевыми
Ряд проектов позиционирует децентрализованные сети как более эффективное и экономичное решение для ИИ, типичный пример — сети децентрализованной физической инфраструктуры (DePIN). Пользователи сдают в аренду свое оборудование (например, GPU), основное преимущество — более низкая стоимость: аренда одного GPU в DePIN может быть значительно дешевле, чем у облачного провайдера аналогичного уровня.
Но дешевое оборудование не обязательно приводит к более низкой общей стоимости задачи. Децентрализованные узлы общаются через публичный интернет, и требования к пропускной способности и задержкам для задач ИИ могут значительно повлиять на общую стоимость. Сверхкрупные задачи (например, обучение передовых моделей) обычно ограничены пропускной способностью.
Сейчас трудно провести прямое сравнение затрат, потому что в отрасли все еще не хватает систематических тестов, позволяющих сравнивать производительность и стоимость задач ИИ на DePIN и в традиционном облаке по одинаковым критериям.
Вывод: Децентрализованные сети являются привлекательной альтернативой дорогостоящим централизованным облакам, но имеющихся данных все еще недостаточно, чтобы предсказать, когда задача на платформе DePIN или децентрализованного ИИ будет дешевле, чем в централизованном облаке.
Мелкие задачи (вывод, обучение в небольших масштабах), скорее всего, будут более экономичными, тогда как сверхкрупные задачи (обучение базовых моделей) могут пострадать от нестабильной, низкоскоростной связи между узлами. Чтобы прояснить эти компромиссы, необходимо больше исследований.
Общая черта этих пяти заблуждений в том, что блокчейн может предоставить в основном «целостность» и «проверяемость», а не «истинность» или «доверенность» как таковые. Crypto x AI все еще находится на ранней стадии, где нужны доказательства, а не продвижение с помощью нарративов.
