Разумное общество не должно позволять невидимым системам управлять выбором, поощрением и поведением людей, не предоставляя им эффективных способов наблюдать, подвергать сомнению и корректировать это влияние. С развитием искусственного интеллекта общество скатывается по опасному пути, быстро переходя от экспериментов и интеграции ИИ к зависимости и, в конечном итоге, даже к зависимости. Однако одним из самых важных вопросов является то, осознают ли политики этот сдвиг.
Обычно асимметрия означает, что стороны в отношениях не равны. В цифровой жизни «алгоритмическая асимметрия» описывает более глубокий дисбаланс между сторонами: одна сторона может наблюдать, моделировать, тестировать и улучшать свои алгоритмы, в то время как другая сторона в основном несёт последствия этих алгоритмов. Этот дисбаланс теперь проник в такие области, как найм, кредитование, страхование, образование, полицейская деятельность, медиа и структурирование повседневного внимания. Следствием этого является асимметрия алгоритмической субъектности, когда пользователи не могут распознать и противостоять необоснованному влиянию алгоритмов на их собственное положение.
Три уровня «когнитивных оков» алгоритмов
Эту алгоритмическую асимметрию можно объяснить на трёх уровнях.
Первый уровень — это непрозрачность, что означает, что организации, которые проектируют, развёртывают или приобретают алгоритмические системы, обычно лучше понимают цели, пороги, стимулы и слабые стороны системы, чем люди, взаимодействующие с ней. «Проблема непрозрачности» объясняет, почему этот разрыв сохраняется: некоторые системы намеренно скрыты для защиты интеллектуальной собственности, некоторые требуют профессиональной подготовки для понимания, а другие трудноинтерпретируемы даже для экспертов. Когда систему трудно проверить, её результаты часто кажутся более объективными, чем они есть на самом деле, что приводит к «ошибке чёрного ящика».
Второй уровень алгоритмической асимметрии — это усиление исторических предубеждений. Алгоритмы учатся на прошлом мире, включая прошлые предубеждения или исключения. Даже кажущиеся нейтральными системы могут воспроизводить существующие в данных модели неравенства. Предвзятое прошлое вводится в качестве обучающего материала и в конечном итоге выводится в форме прогнозов, оценок или рекомендаций, которые выглядят нейтральными, поскольку являются результатом вычислений. На самом деле, это всего лишь повторное появление старых иерархических структур в более современном, более лаконичном интерфейсе.
Третий уровень — это рекурсивные системы. Системы обычно не развёртываются разово; вместо этого пользователи постоянно обучают эти системы. Каждый клик, пауза, подсказка, выбор пути, покупка и колебание становятся данными. Рекомендательные системы предназначены для обучения на основе этих сигналов и корректировки, но это не конец цикла. Обучившись, система формирует то, что мы видим дальше, решает, что кажется нормальным, что кажется релевантным, а иногда даже что кажется желательным, при этом её цели для конечного пользователя остаются размытыми. Другими словами, мы обучаем систему, а система обучает нас. «Алгоритмический дрейф» относится к этим отношениям совместной эволюции между пользователем и платформой.
Когда алгоритм «живёт» за вас
Способность к действию (агентность) искусственного интеллекта — это способность осмысленно судить, выбирать и действовать, понимая различные силы, влияющие на собственный выбор.
Асимметрия агентности возникает, когда организации используют цифровые системы — такие как персонализированные ленты, таргетированная реклама, динамическое ценообразование, рекомендательные движки, скоринги риска и т.д. — для тестирования, измерения и оптимизации влияния и результатов в больших масштабах. Маркетинг всегда пытался формировать поведение; разница сегодня заключается в точности и механизме обратной связи: организации могут наблюдать за индивидуальным поведением в реальном времени, сегментировать людей на всё более узкие категории, постоянно проводить A/B-тесты и корректировать то, что видит каждый человек, как он платит или какие предложения получает. В то же время отдельный человек обычно видит только поверхностную информацию системы: уведомление, оценку, цену, рекомендацию или отказ, но не знает, как используются его данные, какая цель оптимизируется и как направляется его выбор.
Это крайне важно, потому что люди адаптируются к тому, что система поощряет. В найме люди больше не просто задаются вопросом, будут ли соискатели тщательно полировать резюме, чтобы угодить рекрутерам; автоматизированные инструменты отбора и системы ранжирования на основе ИИ могут поощрять определённые сигналы, скрывая при этом логику, стоящую за ними. Исследование Вашингтонского университета показало, что большие языковые модели, ранжируя более 550 реальных резюме, в 85% случаев отдавали предпочтение резюме с именами, ассоциирующимися с белыми людьми, и никогда не предпочитали резюме с именами, ассоциирующимися с чернокожими мужчинами. В образовании, спор о результатах в Великобритании в 2020 году показал, как алгоритмическая модель превратила исторические данные на уровне школы в индивидуальные оценки: Управление по квалификациям и экзаменам (Ofqual) понизило оценки, выставленные школами, примерно 40% студентов, что вызвало общественный резонанс и в конечном итоге привело к отмене этого решения правительством.
Кроме того, обновлённые инструменты ИИ несут новые риски. Исследователи из Стэнфорда, используя образцы от носителей и не носителей английского языка, протестировали семь широко используемых детекторов ИИ. Было обнаружено, что в выборках не носителей языка детекторы ИИ ошибочно классифицировали 61,22% сочинений как сгенерированные ИИ, что свидетельствует о том, что некоторые студенты с большей вероятностью могут быть заподозрены или наказаны из-за их стиля письма. Аналогичные явления происходят в цифровой жизни и на работе. Знаменитый эксперимент 2014 года с лентой новостей Facebook на 689 003 пользователях показал, что изменение того, с какими позитивными или негативными постами сталкивались пользователи, влияло на их последующий эмоциональный язык. В розничной торговле работники складов Amazon также сообщали, что они должны выполнять показатели, основанные на скорости, не зная, как эти показатели рассчитываются. В отчётах и исследованиях по алгоритмическому управлению на складах Amazon также рассматривается это явление. Эти случаи раскрывают более глубокую проблему: цифровые системы не просто классифицируют поведение постфактум. Они также учат людей, какие слова использовать, каких рисков избегать, какие эмоции выражать и к каким показателям стремиться. Когда организации формируют условия, в которых люди думают, действуют и принимают решения, а отдельные люди просто воспринимают эти условия как оценки, рейтинги, информацию, цели или цены, алгоритмическая асимметрия агентности приобретает политическое значение.
Политика не должна ограничиваться лозунгами
Поэтому политика должна перебалансировать эти отношения. Во-первых, законодатели должны требовать предоставления осмысленного уведомления и объяснения при возникновении влияния. Пользователи должны знать, когда они взаимодействуют с ИИ, когда контент является синтетическим и когда на важное решение повлияла автоматизированная система. Логика, стоящая за обязательствами по прозрачности в Европе в статье 50 «Закона об искусственном интеллекте» ЕС, указывает верное направление. Принципы ИИ ОЭСР также формулируют ту же точку зрения в более широком смысле: людям необходима достаточная информация, чтобы понимать результаты и, при необходимости, оспаривать их.
Во-вторых, правительства должны требовать проведения обеспечивающих соблюдение оценок воздействия до того, как алгоритмические системы будут использоваться в таких важных сферах, как занятость, образование, жильё, страхование, здравоохранение, социальное обеспечение и полицейская деятельность. Некоторые существующие подходы служат основой для этого, например, канадская оценка влияния алгоритмов, оценка воздействия ИИ на права человека в Онтарио и оценка воздействия на основные права для систем ИИ высокого риска в Европе. Недавние провалы показывают, что более сильные гарантии имеют решающее значение. В Великобритании Апелляционный суд по делу «R (Bridges) против начальника полиции Южного Уэльса» постановил, что использование полицией Южного Уэльса технологии распознавания лиц в реальном времени было незаконным. В Детройте Роберт Уильямс был ошибочно арестован из-за ошибки распознавания лиц, что задокументировано ACLU. Поэтому перед развёртыванием агентства должны оценивать потенциальное воздействие систем ИИ, например, на нарушение прав, причинение вреда уязвимым группам и распределение ошибок, а также оценивать необходимость человеческого надзора, механизмов обжалования и средств правовой защиты, и по возможности публиковать отчёты.
В-третьих, человеческий надзор должен быть реальным, эффективным, обученным и защищённым. Во многих организациях полномочия «человеческого контроля» часто ограничены, когда сотрудники находятся под давлением доверять выводам системы. Австралийская программа «рободолга» показала, как автоматизированный расчёт долгов по пособиям может нанести ущерб людям, когда чиновники воспринимают сгенерированные системой претензии как авторитетные. В деле «R (Bridges) против полиции Южного Уэльса» британский Апелляционный суд признал незаконным использование распознавания лиц в реальном времени, отчасти из-за недостаточных гарантий в отношении свободы усмотрения, защиты данных и справедливого воздействия. Скандал с системой «Горизонт» в британской почтовой службе также выявил аналогичные провалы: люди верили ошибочным результатам программы, а не свидетельствам сотен руководителей почтовых отделений. Ценность статьи 14 европейского «Закона об искусственном интеллекте» заключается в том, что она требует, чтобы лица, осуществляющие человеческий надзор за системами ИИ высокого риска, понимали, контролировали, интерпретировали, отменяли или прерывали работу системы. Любая организация, использующая ИИ с существенным влиянием, должна назначать ответственных проверяющих, обучать их распознавать предвзятость автоматизации и наделять их реальными полномочиями по блокированию вредоносных выводов.
В-четвёртых, регулирование не должно останавливаться на выпуске системы. Модели дрейфуют, условия меняются, стимулы преобразуются. Система, которая кажется приемлемой при тестировании, может стать дискриминационной или манипулятивной при взаимодействии с реальными людьми. Поэтому мониторинг после развёртывания, ведение журналов, независимый аудит и отчётность об инцидентах должны стать юридическими обязательствами. Рамочная программа управления рисками ИИ Национального института стандартов и технологий США (NIST) и положения «Закона об ИИ» о постмаркетинговом наблюдении признают это. Индекс просоциального ИИ может использоваться для картирования, измерения и мониторинга влияния систем ИИ на людей и их окружение.
В-пятых, определённые практики должны быть запрещены. Системы, предназначенные для эксплуатации слабостей, искажения поведения с помощью обманного дизайна или манипуляции детьми и другими уязвимыми группами, должны быть запрещены, а не просто мягко направляемы. Статья 5 «Закона об ИИ» ЕС, запрещающая некоторые манипулятивные и эксплуататорские виды использования, устанавливает необходимую жёсткую границу. Здоровое цифровое общество не может полагаться только на раскрытие информации; оно должно оценивать, нацелен ли базовый дизайн на подрыв способности к суждению.
Алгоритмическая грамотность должна рассматриваться как гражданская инфраструктура. Если только разработчики, поставщики и команды по соблюдению нормативных требований понимают, как работают эти системы, даже при хорошем регулировании проблема асимметрии власти сохранится. Гражданам, учителям, судьям, журналистам, клиницистам и государственным управленцам необходимы практические знания о синтетических медиа, системах ранжирования, поведенческом наведении, праве на запрос и ограничениях вывода моделей. Статья 4 европейских положений об ИИ-грамотности является полезным сигналом и должна быть развита в более широкую общественную миссию. Помимо ИИ-грамотности, сейчас самое время инвестировать в двойную грамотность, чтобы гарантировать, что пользователи осознают взаимодействие между личным восприятием, поведением и влиянием на них искусственных активов.
В конечном счёте, асимметрия алгоритмического представительства — это не изолированная техническая проблема, а структурный дисбаланс в том, кто может воспринимать, формировать и противостоять силе алгоритмов. Одна сторона учится быстрее, постоянно тестирует и незаметно вмешивается; другая адаптируется, имея лишь частичную информацию и непрозрачность. Хорошая политика не может полностью устранить эту асимметрию, но может сократить разрыв в наиболее важных областях, сделав автоматизированное влияние видимым, оспоримым, проверяемым и управляемым.
Эта статья взята с официального аккаунта WeChat «Internet Law Review», автор: Корнелия Уолтер
