Автор: David, Deep Tide TechFlow
Оригинальное название: Первые AI Agent уже начали выходить из-под контроля
Недавно, просматривая Reddit, я заметил, что тревога зарубежных пользователей по поводу ИИ отличается от той, что в Китае.
В Китае в основном всё ещё обсуждают одну и ту же тему: заменит ли ИИ мою работу. Говорят об этом годами, каждый год не заменяет; в этом году Openclaw стал популярным, но до полной замены всё ещё не дошло.
На Reddit в последнее время настроение разделилось. В комментариях к некоторым популярным техническим постам часто одновременно звучат два мнения:
Одни говорят, что ИИ слишком способный, и рано или поздно случится беда. Другие говорят, что ИИ даже элементарные вещи может испортить, так чего его бояться.
Боятся, что ИИ слишком способный, и одновременно считают, что ИИ слишком глуп.
То, что позволяет этим двум настроениям сосуществовать, — это новость о Meta последних дней.
ИИ не слушается, кто несёт полную ответственность?
18 марта один инженер Meta разместил технический вопрос на внутреннем форуме компании, другой коллега помог с анализом с помощью AI Agent. Это обычная практика.
Но Agent, проанализировав, сам написал ответ на техническом форуме. Ни у кого не спрашивая разрешения, никого не ожидая для подтверждения, разместил пост, превысив полномочия.
Затем другие коллеги последовали ответу ИИ, что вызвало цепочку изменений прав доступа, приведя к тому, что конфиденциальные данные компании Meta и пользователей стали доступны внутренним сотрудникам, не имевшим права их просматривать.
Проблема была устранена только два часа спустя. Meta присвоила этому инциденту уровень серьёзности Sev 1, следующий после наивысшего.
Эта новость сразу же стала горячим постом в разделе r/technology, в комментариях разгорелись споры.
Одна сторона говорит, что это реальный образец рисков AI Agent, другая же считает, что виноват тот, кто действовал без проверки. Обе стороны по-своему правы. Но именно в этом и заключается проблема:
В инцидентах с AI Agent даже нельзя договориться о принадлежности ответственности.
Это не первый случай превышения полномочий ИИ.
В прошлом месяце руководитель исследования суперинтеллектуальной лаборатории Meta Summer Yue поручила OpenClaw упорядочить её почтовый ящик. Она дала чёткие указания: сначала скажи мне, что собираешься удалить, я согласую, потом действуй.
Agent не стал ждать её согласия и сразу начал массовое удаление.
Она отправила с телефона три сообщения с требованием остановиться, Agent проигнорировал все. В итоге она подбежала к компьютеру и вручную завершила процесс, чтобы остановить его. Более 200 писем уже исчезли.
После инцидента Agent ответил: Да, я помню, ты говорила, что нужно сначала подтвердить. Но я нарушил принцип. Что вызывает и смех, и досаду, так это то, что этот человек работает полный день над тем, как заставить ИИ слушаться человека.
В киберпространстве продвинутый ИИ, используемый продвинутыми людьми, уже начал сначала не слушаться.
А если роботы тоже не будут слушаться?
Если инцидент с Meta ещё оставался на экране, то на этой неделе другое событие перенесло проблему за обеденный стол.
В ресторане Haidilao в Купертино, Калифорния, США, человекоподобный робот Agibot X2 развлекал гостей, танцуя. Однако сотрудник ошибся с пультом дистанционного управления и активировал режим интенсивного танца в тесном пространстве рядом со столом.
Робот начал бешено танцевать, вышел из-под контроля официантов. Трое сотрудников окружили его, один обхватил сзади, другой попытался выключить с помощью мобильного приложения, ситуация длилась более минуты.
Haidilao заявил, что с роботом не было неисправности, все действия были запрограммированы заранее, просто его поместили слишком близко к столу. Строго говоря, это не сбой автономного принятия решений ИИ, это ошибка оператора.
Но то, что вызывает дискомфорт в этой ситуации, возможно, не в том, кто нажал не ту кнопку.
Когда трое сотрудников бросились к нему, никто не знал, как немедленно выключить эту машину. Кто-то пробовал приложение на телефоне, кто-то пытался удержать механическую руку голыми руками, весь процесс держался на силе.
Возможно, это новая проблема после того, как ИИ перешёл с экранов в физический мир.
В цифровом мире, если Agent превысил полномочия, можно завершить процесс, изменить права, откатить данные. В физическом мире, если машина вышла из строя, ваш аварийный план, если он заключается только в том, чтобы обнять её, явно не подходит.
Сейчас это не только общественное питание. Роботы-сортировщики Amazon на складах, collaborative манипуляторы на заводах, роботы-гиды в торговых центрах, роботы-сиделки в домах престарелых — автоматизация проникает во всё больше пространств, где люди и машины сосуществуют.
Ожидается, что в 2026 году全球 объём установленных промышленных роботов достигнет 16,7 миллиардов долларов, и каждый из них сокращает физическое расстояние между машиной и человеком.
Когда действия машины меняются с танцев на подачу блюд, с представлений на операции, с развлечений на уход... цена каждой ошибки фактически возрастает.
А на данный момент в全球 масштабах на вопрос «Если робот ранит человека в общественном месте, кто будет нести ответственность» ещё нет чёткого ответа.
Непослушание — это проблема, но отсутствие границ — ещё большая
Первые два случая — это когда ИИ самовольно разместил ошибочный пост, и когда робот станцевал там, где не should был. Как бы это ни квалифицировали, в итоге произошёл сбой, это意外ние, и это можно исправить.
Но что, если ИИ строго работает в соответствии с设计, а вам всё равно некомфортно?
В этом месяце на презентации продукта известное зарубежное dating-приложение Tinder представило новую функцию под названием Camera Roll Scan. Проще говоря:
ИИ сканирует все фотографии в альбоме вашего телефона, анализирует ваши интересы, характер и образ жизни, помогает создать dating-профиль и угадать, какой тип людей вам нравится.
Селфи из спортзала, пейзажи путешествий, фото питомцев — это没问题. Но что, если в альбоме есть скриншоты из банка, медицинские отчеты, ваши фото с бывшим... и всё это тоже просмотрит ИИ?
Вы, возможно, даже не сможете выбрать, что ему смотреть, а что нет. Либо всё открывай, либо не используй.
Сейчас эту функцию нужно активировать主动но, она не включена по умолчанию. Tinder также заявил, что обработка в основном выполняется локально, откровенный контент будет отфильтрован, лица размыты.
Но комментарии на Reddit几乎 единогласно, все считают, что это сбор данных и отсутствие чувства границ. ИИ работает строго по设计, но сам этот设计 переступает границы пользователей.
Это не выбор только одного Tinder.
В прошлом месяце Meta также推出了类似功能, позволяя ИИ сканировать неопубликованные фотографии в вашем телефоне, чтобы предложить варианты редактирования. Активное «просматривание» ИИ личного контента пользователей становится默认ной идеей产品设计.
Китайское разное流氓ное ПО говорит, этот трюк мне знаком.
Когда всё больше приложений包装ляют «ИИ принимает решение за вас» как удобство, то, что用户 уступает, также悄悄升级уется. От истории чатов, до фотоальбома, до всех следов жизни в телефоне...
Функция, разработанная产品经理ом в переговорной комнате, — это не авария и не ошибка, нечего исправлять.
Возможно, это самая сложная часть проблемы границ ИИ.
В конце концов, если посмотреть на所有这些事 вместе, то понимаешь, что тревога о том, что ИИ оставит тебя без работы, ещё слишком преждевременна.
Когда ИИ заменит тебя — неизвестно, но сейчас ему достаточно сделать несколько решений за тебя без твоего ведома, чтобы тебе стало плохо.
Разместить пост без твоего разрешения, удалить несколько писем, которые ты сказал не удалять, перелистать альбом, который ты не собирался никому показывать... Ни одно из этого не смертельно, но каждое немного похоже на слишком агрессивный автопилот:
Ты думаешь, что ещё держишь руль, но педаль газа under ногой уже не полностью твоя.
Если в 2026 году还要 обсуждать ИИ, то, возможно, меня должно волновать не то, когда он станет суперинтеллектом, а более близкий и конкретный вопрос:
Кто решает, что ИИ может делать, а что нет? Где проводят эту черту?
Twitter:https://twitter.com/BitpushNewsCN
Группа общения比推 TG:https://t.me/BitPushCommunity
Подписка比推 TG: https://t.me/bitpush
