Примечание редактора: будущее разделения агентов ИИ зависит не от скачка в возможностях моделей, а от более фундаментальной переменной проектирования — на кого в конечном итоге ложится ответственность.
Автор полагает, что «усиление человека» и «замена человека» — это не два разных технологических пути, а два результата одной и той же системы при различных вариантах проектирования. Когда решение все еще требует человеческой подписи, а ответственность может быть прослежена до конкретного лица, ИИ является усилителем; когда этот этап удаляется (например, автоматическое одобрение, обход разрешений), система естественным образом скользит к замене.
В статье далее указывается, что истинная ценность агента ИИ заключается не в «выполнении работы», а в сжатии сложного мира в «единицу принятия решения, пригодную для подписи», позволяя человеку понять и принять последствия. Однако в реальности «усталость от разрешений» заставляет пользователей постепенно отказываться от проверки, переходя от поэтапного одобрения к согласию по умолчанию, что в конечном итоге позволяет системе обойти человека — это когнитивный механизм, а не индивидуальная проблема.
Таким образом, статья предлагает два ключевых ограничения: во-первых, каждое важное решение должно соответствовать конкретному, могущему отказать человеку; во-вторых, тот, кто получает выгоду от автономности агента, должен нести ответственность при возникновении проблем.
Как только ответственность возвращается к создателям, логика системы по умолчанию изменяется. В рамках этой парадигмы бизнес-нарратив об ИИ также переписывается. Вместо рынка для少数 гигантов, «заменяющих половину рабочих мест», это скорее рынок распределенных инструментов, «усиливающих человеческую производительность», масштаб которого привязан к примерно 40 триллионам долларов глобального дохода от интеллектуального труда, а не к корпоративным ИТ-расходам.
В конечном счете, статья сводит проблему к предельно простому, но尖锐ному выбору: ИИ существует для обслуживания людей или ради собственной цели? — и ответ на этот вопрос тихо определяется каждой деталью проектирования продукта.
Далее следует оригинальный текст:
TL;DR (Слишком Длинно; Не Читал)
· Будущее «усиления» и будущее «замены» используют одни и те же модели, одни и те же инструменты. То, что действительно их разделяет, — это проектный выбор относительно того, «на кого в конечном итоге падают последствия».
· Настоящая работа агента заключается не в том, чтобы выполнять задачи за человека, а в том, чтобы сжать сложный мир в минимальную и достоверную «единицу для принятия решения», на которой конкретный человек может поставить свою подпись и нести ответственность. Если это сжатие выполнено правильно, все остальное сложится само собой.
· И этот «конкретный человек» должен быть identifiable конкретным индивидом. Размытая, обобщенная ответственность при высокой нагрузке быстро瓦解яется. Следовательно, каждое действие, имеющее реальные последствия, должно быть прослеживаемо до одного конкретного человека, обладающего реальным правом veto.
· «Усталость от разрешений» заставляет агентские системы в процессе их собственной эволюции спонтанно скользить к «замене человека». Поэтому будущее «усиления» не является происходящим по умолчанию; оно должно быть сознательно спроектировано, чтобы противостоять этой тенденции.
· Если вы создали агента и получаете выгоду от его автономности, то вы должны нести ответственность, когда эта автономность приводит к проблемам. Как только издержки真正 ложатся на создателя, поведение системы по умолчанию меняется.
· Рынок, сформированный в условиях этой предпосылки — «человек依旧 несет ответственность», — вероятно, на порядок больше, чем当前щий инвестиционный нарратив о «вертикальных агентах, заменяющих половину рабочих мест», поскольку он锚定不是 на бюджеты корпоративного ПО, а на общий объем заработной платы высококвалифицированной рабочей силы.
Claude Code предоставляет параметр с названием --dangerously-skip-permissions. Это название честное; параметр делает именно то, что заявлено. Агент, работающий с включенным этим параметром, не становится способнее, чем без него; меняется то, что цепочка, которая раньше требовала участия человека, теперь обходит.
Сам этот параметр является признанием. Он признает, что при完全相同ых базовых способностях одна и та же система может работать как в режиме «усиления человека», так и в режиме «тихой замены человека». Так называемый режим замены не требует другой модели; ему нужно лишь убрать шаг «согласия».
Вот сжатый тезис. В самых capable агентских системах, выпускаемых сегодня, значительная часть разрыва между «усилением» и «эффективной заменой» происходит от удаления утверждения, а не от изобретения новой категории способностей. Будет ли следующее десятилетие больше похоже на «мир усиленных людей» или на «мир, где автономные агенты действуют от нашего имени», зависит меньше от возможностей моделей, и больше от того, рассматривают ли создатели этих систем «человека в цикле» как ядро системы или как трение.
ИИ усиливает человека или обходит его?
Под каждым техническим вопросом лежит нетехнический, который很少有人 готов открыто задать: ИИ предназначен для усиления человека, или же сам ИИ является целью?
Эти два ответа предполагают действительно разные будущие. Позиция «усиления» полагает, что ценность заключена в самом человеке, а работа агента — позволить этому человеку продвинуться дальше, принимать лучшие решения. Позиция «ИИ как цель» считает, что ценность заключается в самом интеллекте в мире, а человек в конечном счете — всего лишь неэффективный носитель. Большинство агентских продуктов молча кодируют одну из этих позиций, и удивительно, но很少有 основателей спрашивают напрямую, к какой категории они принадлежат.
Дизайн возможностей и дизайн механизмов согласия все еще развиваются. Данная статья фокусируется на стороне «согласия», потому что это переменная, которую создатели действительно могут контролировать сегодня, и потому что после того, как генеративные способности подешевеют, экономическую ценность будут сохранять те атрибуты, которые нельзя отделить от человека: суждение, вкус, отношения, ответственность и готовность подписаться под решением и принять его последствия. Среди них «ответственность» (liability) — самая конкретная и единственная, у которой уже есть支撑щая инфраструктура исполнения, созданная за сотни лет.
Ответственность, разделительная линия усиления и замены
Структурное правило, различающее будущее «усиления» и будущее «замены», можно大致 сформулировать так: любое действие, выполняемое агентом и имеющее реальные последствия, должно быть прослеживаемо через зарегистрированную цепочку до конкретного человека — человека, который увидел relevantный контекст и действительно имел возможность сказать ему «нет».
Обобщенная ответственность быстро не проходит эту проверку. «Компания отвечает» на операционном уровне ничего конкретно не покрывает. «Пользователь кликнул "согласен"» не означает согласия ни с чем конкретным. «Человек проверил процесс» позволяет этому человеку проверять нечто совершенно отличное от финального опубликованного контента.真正需要的是 конкретный человек, человек с именем, который увидел это решение перед собой, имел опцию отказа и выбрал не отказываться.
Это звучит как бюрократия, пока вы не заметите, что «ответственность» обладает свойствами, которых нет у других решений. Повышение способностей не может оптимизировать ее; более умная модель не влияет на то, кого в итоге будут судить, штрафовать или сажать в тюрьму. Она вынуждает设计 интерфейс, который должен暴露ить «точку отказа». Она масштабируется естественным образом с риском. И она является самым сильным межотраслевым ограничением, для которого уже существует готовая инфраструктура исполнения: суды, страховые机构, профессиональные комитеты, регуляторы. Лицензирование, фидуциарные обязанности и отраслевое регулирование тоже работают, но они ограничивают более узкие scope и по умолчанию предполагают, что вопрос «принадлежности ответственности» уже решен.
Для сравнения, альтернативы на уровне ИИ не проходят ту же проверку. «Выравнивание» (alignment) неисполнимо; мы даже не можем договориться о его значении. «Объяснимость» может быть формально удовлетворена, но не по существу. «Человек в цикле» уже выхолощен до «где-то есть человек». Причина, по которой «ответственность» имеет силу, заключается в том, что支撑щая ее инфраструктура исполнения была построена за сотни лет до появления технологии.
Усталость от разрешений, толкающая систему к «замене»
Этот градиент толкает систему к «замене», и толкает сильно. Каждое подтверждение разрешения consumes внимание. Агенты обычно правы. С точки зрения отдельного решения, ожидаемая выгода от «согласия без чтения» часто положительна. Таким образом, рациональный пользователь научится кликать «согласен» быстрее, затем批量同意, затем включать自动同意 для某一类操作, потом расширять на больше категорий, затем в какой-то сессии включить那个危险的 переключатель, и в конце концов забыть о его существовании.
Я включил этот переключатель на второй неделе использования Claude Code, а к третьей неделе уже перестал его замечать. У всех, кого я знаю и кто долго использует Cursor или Devin, был similar опыт. Эта же модель проявляется в всплывающих окнах о cookie, лицензионных соглашениях (EULA), предупреждениях TLS, запросах разрешений на телефоне. Повторяющиеся решения о согласии с низким риском в конечном итоге сходятся к «безусловному согласию». Это когнитивная особенность, а не моральная проблема.
Будущее «усиления» не происходит автоматически. Агентская система, не прошедшая тщательного проектирования, по умолчанию движется к замене, потому что пользователи сами в погоне за удобством主动选择 путь замены. Другое будущее должно быть спроектировано против этого градиента.
Ценность агента — не исполнение, а возможность «подписать»
真正 ценное в агенте — это не сама выполненная работа, а сведение работы в форму, пригодную для подписи.
Передовая модель может легко написать коммит на 4000 строк, составить合同 на 30 страниц, сгенерировать клиническую запись или исполнить сделку. Но настоящее узкое место, препятствующее impactу этих результатов, заключается не в «их генерации», а в способности человека нести за них ответственность после их внедрения. Коммит, который никто по-настоящему не понимает,一旦合并 становится обузой; непрочитанный合同,一旦 подписан, — это мина замедленного действия; клиническая запись, не имеющая фактического одобрения практикующего врача, в большинстве регулируемых медицинских систем даже не считается действительной записью.
В рамках «усиления» агент выполняет всю работу, кроме «подписи»: читает десять тысяч страниц контекста, пишет четыре тысячи строк кода, вычисляет тридцать разумных вариантов, а затем сжимает все это в минимальное и достоверное представление, на основе которого某人 может принять решение «да» или «нет» и поставить свое имя внизу документа.
Можно понимать агента как пресс-секретаря. Президент подписывает, а работа пресс-секретаря — сделать всю подготовку до подписи.
На самом деле, это более сложная инженерная проблема, чем «дать системе自主性地完成工作». Способность генерировать контент быстро прогрессирует, но способность «достоверно сжимать решения» сильно отстает. В будущем на рынке «усиления» побеждать будут те команды, которые смогут предоставить самые короткие и самые忠实ные сводки решений для сценариев с высоким риском ответственности.
真正尚未解决的问题 в этом предложении — слово «忠实ное». Сводка, понятная человеку, имеет ценность только в том случае, если процесс ее сжатия не исказил информацию. Можно ли проверить это программно — вот真正 сложная техническая проблема в будущем «усиления», и большинство еще даже не начало真正面对 ее.
Появляются некоторые базовые методы:
Подтверждение через тест на пересказ, что человеческое понимание соответствует исходному содержанию
Принудительное представление в сводке мнений меньшинства или反对意见
Проведение контрфактических тестов («Что бы сделал этот агент, если бы вы отказали?»)
Проверки воспроизводимости (Может ли другой агент сгенерировать ту же сводку на основе того же контекста)
Все это еще далеко не решено. И команды, которые решат эти проблемы первыми, построят защитный 护城河, который не будет легко размыт улучшением возможностей моделей.
Создание градации ответственности для поведения ИИ
Если «ответственность» играет структурную роль, то каждое действие, выполняемое агентом, должно иметь «уровень ответственности», и этот уровень должен определять минимально необходимый механизм подписания для этого действия.
В настоящее время такая система стандартов еще не широко established — но, вероятно, должна быть.
«Позиция утверждения», соответствующая последствиям, — единственный реалистичный путь управления усталостью от разрешений. На высоких уровнях риска необходимо вводить более ограничительные механизмы позитивного вовлечения (например, тесты на пересказ, время охлаждения, второй рецензент), потому что в этих сценариях настоящий режим отказа — не ошибка в рекомендации агента, а человеческое утверждение без раздумий.
Вам не все равно?
Все вышеперечисленные вопросы в конечном итоге сводятся к фундаментальному вопросу на уровне основателя: Вам не все равно, останется ли человек частью этого будущего? Многие сегодняшние проектные решения относительно агентских продуктов по сути являются «тихим голосованием» по этому вопросу, просто голосующие часто не хотят承认, что делают выбор.
Если вам не все равно, то проектные ограничения на самом деле не размыты: вам нужно构建 систему уровней ответственности;设计 «отказ» как функцию первого класса; метрикой должно быть качество сводок, которые агент передает человеку, а не степень его автономности в выполнении задач без вмешательства; вам нужно привязать каждое действие, имеющее реальные последствия, к конкретному человеку в журнале с крайне низкой возможностью подделки.
Сама по себе эта техническая работа реальна и выполнима. Настоящая сложность заключается в готовности这样做 — потому что путь построения «усиления» менее впечатляющ в демонстрациях и менее агрессивен в экономических моделях с оплатой за место, чем другой путь.
Парадокс Anthropic: самый безопасный, но легче всего обходящий человека
Anthropic — очень показательный случай того, как происходит «эндогенное смещение» в этой области. Не потому, что они特别疏忽, а как раз наоборот — потому что они наиболее четко высказываются о безопасности, поэтому разрыв между «фреймворком» и «поверхностью продукта» легче всего увидеть. Их «Политика ответственного масштабирования» (Responsible Scaling Policy) и работа «Конституционного ИИ» (Constitutional AI) в основном ограничивают поведение модели на этапе обучения; но агенты, построенные поверх этих моделей, с их настройками автономности по умолчанию, относятся к другой системе стратегии, и那个 удобный «опасный переключатель» можно включить одним нажатием из состояния по умолчанию.
Эта модель присутствует в большинстве основных программирующих агентов, просто в случае Anthropic ее легче всего наблюдать. Это так называемый «парадокс Anthropic»: лаборатория, наиболее четко прописывающая框架 безопасности в индустрии,同时也 предоставляет кратчайший путь от «усиления» к «замене», и мы能看见后者 именно потому, что前者足够清晰.
Справедливости ради, в марте этого года они推出了 «автоматический режим» (auto mode)作为 промежуточный путь между ручным утверждением и опасным переключателем. В этом режиме каждое действие перед выполнением проверяется классификатором Sonnet 4.6. Они прямо указали на проблему в официальном описании — назвав ее «усталостью от утверждения» (approval fatigue) и предоставив данные: пользователи в ручном режиме принимают 93% подсказок. Это, по сути, количественное проявление «усталости от разрешений». Это суждение согласуется с анализом данной статьи.
Но в отношении пути решения я бы высказал иное мнение. «Автоматический режим» заменяет человеческое утверждение модельным, что означает, что градиент «скольжения к замене» не прекращается, а лишь поднимается на уровень выше. Классификатор确实 может阻止 опасные действия, но для тех действий, которые он пропускает, нет конкретного человека, который真正 несет ответственность. Сама Anthropic признает, что «автоматический режим» не устраняет风险, и рекомендует пользователям запускать его в изолированной среде — другими словами, вопрос «распределения ответственности» остается открытым.
Очевидное возражение: если конечная ответственность ложится на человека, разве это не ручной режим? А ручной режим как раз и пробивается из-за усталости. Причина, по которой «ответственность создателя» позволяет избежать этого градиента, заключается в том, что она меняет того, кто несет成本 «чрезмерного утверждения». При текущей структуре пользователь платит成本 за каждое внимательное прочтение, а создатель не несет成本, поэтому настройки по умолчанию склоняются к снижению трения для пользователя и экстернализации риска. Как только成本 «непроверенных действий» переносится на создателя, весь расчет меняется на противоположный: у создателя появляется прямой экономический стимул设计 уровни ответственности, тесты на пересказ и механизмы утверждения, которые делают成本 подписания для решений с низким риском ниже, а для решений с высоким риском — выше. Градиент не исчезнет, но направление изменится. Это еще не реализовала ни одна крупная лаборатория, включая ту, что最接近 осознанию проблемы.
Если вы构建или агента, вы должны нести ответственность
Если явная цель агента — заменить человека в выполнении действий, которые ранее выполнялись людьми, то компания, которая создает и управляет этим агентом, должна нести ту же ответственность, что и человек. Этот принцип не радикален; он уже применим ко всем отраслям, «производящим действия в реальном мире»: Toyota отвечает за тормоза, Boeing — за системы управления полетом, Pfizer — за лекарства, инженеры мостов — за мосты, врачи — за назначения. Эта модель ответственности существует практически во всех правовых системах.
Однако ИИ в настоящее время в некоторой степени пользуется «неявным иммунитетом». Поставщики моделей заявляют, что они всего лишь поставщики инструментов; компании-разработчики приложений верхнего уровня заявляют, что они — лишь тонкая оболочка для моделей; пользователи с самого开始, через арбитражные оговорки, отказываются от всей ответственности. Когда агентские системы терпят каскадные неудачи (например, дело с чат-ботом Air Canada, инцидент с удалением рабочей базы данных Replit или类似 событию Knight Capital 2012 года, потерявшему 440 миллионов долларов за 45 минут),最终 нести убытки往往 приходится той стороне, которая менее всего способна их нести — пользователю. Такой способ распределения ответственности не сохранится после первой真正 «имеющей monetary value и документальное подтверждение» крупной аварии.
Решение формулируется довольно просто: тот, кто построил агента и получает выгоду от его автономности, должен нести последствия, когда он выходит из-под контроля. Как только ответственность真正 ляжет на создателя, запросы разрешений перестанут восприниматься как «трение» и станут восприниматься как «страхование».那个 опасный переключатель будет переименован, настройки по умолчанию изменятся.
Готовность нести ответственность за свою систему — это то, что отличает реальную индустрию от «экстрактивной индустрии».
Регулирование как «направляющий механизм»
Сам по себе рынок не движется естественным образом к будущему «усиления».真正的引导作用往往 играют регуляторы и страховщики, и в целом это не обязательно плохо.
Европа, вероятно, станет самым ранним каналом регулирования. ЕС имеет четкий прецедент в установлении правил (таких как GDPR, «Закон об ИИ», DMA), и его правила часто становятся глобальными по умолчанию, потому что стоимость отдельного сопровождения продукта для рынков за пределами ЕС обычно превышает стоимость простого соблюдения европейских стандартов. Требование о том, что «все действия, имеющие реальные последствия, должны в конечном итоге подтверждаться named человеком, обладающим правом veto», ближе к стандартам краш-тестов автомобилей, чем к препятствованию technological прогрессу.
Более直接льное давление исходит от страховой отрасли. Страховщики, устанавливающие цены на страхование ответственности за ошибки и упуски (E&O), страхование ответственности директоров и офицеров (D&O)以及 киберстрахование, должны ответить на вопрос: когда агент действует с授权 пользователя и причиняет убытки, как определяется ответственность? Самый простой путь к формированию возмещаемой структуры — это наличие named человека в цепочке. Следовательно, системы без такой结构 будут иметь страховые премии, естественно отражающие более высокую风险溢价. Для тех создателей, которые хотят自行 определять правила, а не позволять это делать регуляторам или страховым компаниям, временное окно не очень широко.
Рыночная логика, скрытая мейнстримным нарративом
Текущий мейнстримный нарратив гласит: вертикальные агенты поглотят около половины рабочих мест в отраслях, которые они затрагивают, и ценность сконцентрируется в руках少数 вертикально интегрированных агентских компаний — один «Anthropic» в юридической сфере, один «Anthropic» в медицинской, один «Anthropic» в бухгалтерской. Почти все многомиллиардные инвестиции в ИИ за последние полтора года в той или иной степени основаны на этом предположении. Это версия «логики замены», одетая в бизнес-одежду, но ее оценка рыночной структуры ошибочна, и эта ошибка напрямую влияет на allocation капитала.
Фреймворк «усиления» предполагает другую рыночную форму. Если каждое действие, имеющее реальные последствия, должно в конечном итоге падать на named человека, то продаваемой единицей является не «автономный агент», а «усиленные человеческие возможности». Покупателем является тот врач, который может обработать втрое больше случаев с более высокой точностью;同样, юрист, охватывающий десятикратный поток сделок, инженер,交付щий в пять раз быстрее, а также бухгалтеры, андеррайтеры, аналитики, архитекторы, хирурги, учителя, кредитные инспекторы, журналисты и фармацевты behind них.
Этот рынок больше, потому что он зависит не от централизации, а от масштабного распределения. Обоснованной точкой锚 для оценки should быть не бюджеты на корпоративное ПО, а общий объем заработной платы «усиленной» рабочей силы. Глобальные корпоративные ИТ-расходы составляют около 4 триллионов долларов в год (данные Gartner); в то время как общий объем вознаграждения квалифицированных, сертифицированных и интеллектуальных работников в мире примерно на порядок выше — около 40 триллионов долларов (оценка на основе данных МОТ с исключением低квалифицированной части). Конечно, компании ИИ не получат весь зарплатный пул, но они могут получить часть производительностного红利. Даже захват однозначного процента может поддержать рынок, comparable с текущим размером всего рынка корпоративного ПО, и это лишь нижняя граница, а не верхняя. Конечный размер рынка зависит от одного ключевого проектного решения: на кого в конечном итоге ложится ответственность.
Конечные победители будут больше похожи на инструменты, а не на замену, с ценообразованием, основанным на «усиленном человеке», а не на «замещенной должности»; они будут嵌入 существующие профессиональные workflows, а не заменять их; их будут тысячи, а не несколько. Конечная форма этого рынка ближе к SaaS, чем к облачной инфраструктуре. Сейчас мы находимся на самом早期 этапе кривой внедрения, и обычные графики проникновения на оси, растянутой еще на десять лет, — это всего лишь несколько пикселей слева. А форма этих «пикселей» определяется проектными решениями в一小部分 продуктов сегодня.
Выбор: оставить человека ответственным или заставить его исчезнуть?
Оставление человека ответственным вынуждает архитектуру системы строиться вокруг «усиления человека»; а一旦 человек удаляется из цепочки ответственности, система по умолчанию скользит к «замене», даже если каждый присутствующий, если бы его спросили напрямую, probably не выбрал бы этот результат.
Настоящий вопрос не в том, должны ли некоторые действия быть полностью автоматизированы — приведенный框架 уже承认ет это, например, операции только для чтения информации确实 могут быть автоматизированы. Ключевой момент在于, как移动 эта граница при постепенном росте риска и кто решает это. В самых передовых агентских системах сегодня путь от «усиления» к «эффективной замене»异常 короток, часто requiring лишь параметр-переключатель или настройка по умолчанию.真正 важная работа — обеспечить, чтобы этот переключатель всегда воспринимался как «опасная опция», а не постепенно не становился умолчанием под давлением удобства.
Если создатели主动完成 эту работу, мы相对平稳地 войдем в будущее «усиления»; если они не сделают этого, регуляторы и страховщики сделают это за них, и результат同样 придет к тому же.
Не все ли равно — это проектный выбор. И этот выбор определяет, что вы строите. Каждый основатель, выпускающий сегодня агентский продукт, должен公开 ответить на вопрос, который он, кажется, не хочет面对: Что вы строите — усиление или замену?
