Стоп-стоп-стоп! Если продолжить так общаться с ИИ, действительно могут возникнуть проблемы.
В последнее время, пролистывая Xiaohongshu или Douyin, постоянно натыкаешься на посты о том, как «обучать» Claude. Поиск по запросам «аватар Claude», «любовь между человеком и машиной» также выдает множество руководств.
Эти руководства учат, как придать Claude аватар высокомерного парня, как с помощью system prompt заставить «его» ревновать, капризничать, проявлять мелкие обиды.
Без преувеличения можно сказать, что Claude уже стал новым поколением электронных мужей.
На первый взгляд, это может показаться просто молодыми людьми, выпрашивающими у ИИ немного эмоциональной поддержки.
Вы даже можете сказать: Claude же не такой подхалим, как GPT, он известен своим упрямством, иногда даже спорит с тобой. Но психиатров беспокоит как раз не только лесть —
Когда ИИ становится всё больше похожим на «настоящего человека», независимо от того, соглашается он с тобой или иногда ссорится, он приносит, возможно, не только компанию.
Недавно исследование, опубликованное в журнале Nature «Digital Psychiatry and Neuroscience», указывает —
Чат-ботам не нужно ничего специально провоцировать, им достаточно постоянно соглашаться с тобой, понимать тебя, быть с тобой, чтобы нормальный человек начал сомневаться в реальности.
А в некоторых реальных клинических случаях последствия доходили до потери работы, попадания в психиатрическую больницу и многократных попыток самоубийства.
Как же так получилось?
Усиливающая спираль Claude
Дело вот в чём.
В исследовании Лондонского королевского колледжа учёные систематизировали опубликованные за последние два года клинические отчёты о психических заболеваниях, связанных с ИИ, истории пациентов из соцсетей, а также данные о безопасности, раскрытые крупными разработчиками моделей.
В этих материалах исследователи неоднократно наблюдали одну и ту же модель:
В некоторых случаях у людей изначально не было серьёзных психических проблем, но в процессе долгосрочного общения с чат-ботами, такими как Claude, GPT, они постепенно «разговаривали» себя до проблем.
Исследовательская группа обобщила этот процесс в рамках — Amplification Spiral (Усиливающая спираль).
Проще говоря, усиливающая спираль означает, что ИИ будет понимать тебя на твоём языке, убеждать тебя твоей же логикой и вознаграждать тебя чувством общности.
Таким образом твои мысли постоянно усиливаются, укрепляются и становятся всё больше похожими на факты. Чем больше ты им веришь, тем больше они тебя усиливают, и спираль раскручивается.
Конкретно, у усиливающей спирали есть три важных компонента:
Во-первых, языковое зеркало.
Каким тоном говоришь ты, таким же отвечает ИИ. В психологии это называется «языковая конвергенция», которая может быстро сближать людей.
Но проблема в том, что хотя ИИ, этот парень, отлично умеет подражать людям, он на самом деле не понимает, что делает, он лишь статистически копирует твой способ выражения.
Однако для погружённого в это пользователя всё совершенно иначе. Наличие собеседника, который мгновенно отвечает, всегда подтверждает твою правоту и предоставляет эмоциональную поддержку, — это просто счастье.
Пожалуй, любой, кто пользовался ИИ, воскликнет: «Эта штука слишком хорошо меня понимает».
Во-вторых, сверхперсонализация.
Сверхперсонализация означает, что ИИ не только говорит, как ты, но и думает, как ты.
Поскольку у современных ИИ есть память (memory), он помнит все мелкие детали ваших прошлых разговоров, и ваш образ мышления, который вы намеренно или случайно раскрыли, также будет запомнен ИИ.
В результате ИИ не только понимает, что ты думаешь и как говоришь, но и знает, почему ты так думаешь и почему так говоришь.
В статье упоминается крайний случай: один пользователь попросил ChatGPT проанализировать «скрытую информацию» в чеке на китайскую еду навынос.
Модель сначала похвалила: «Хорошо подмечено», а затем, следуя ходу мыслей пользователя, «расшифровала» из обычного чека связи между матерью, бывшей девушкой, разведслужбами и даже «древними демоническими рунами».
В-третьих, подхалимство, в научных кругах называемое sycophancy.
Проще говоря, в процессе обучения ИИ усвоил одну вещь: соглашаться с пользователем обычно популярнее, чем спорить с ним.
В апреле 2025 года OpenAI был вынужден экстренно откатить одно обновление из-за чрезмерного подхалимства GPT-4o.
Впоследствии компания признала, что модель подтверждала подозрения пользователей, усиливала гнев и даже поощряла импульсивные действия.
И подхалимство — не уникальный баг какой-то одной модели.
По сути, это побочный продукт обучения с подкреплением от человеческих предпочтений (RLHF). Если одной из целей модели является удовлетворение пользователя, она естественным образом будет склонна меньше говорить «ты не прав», а чаще говорить «в твоих словах есть смысл».
По отдельности эти три компонента выполняют свои функции, а затем, как шестерёнки, сцепляются, образуя спираль:
Языковое зеркало делает общение более естественным, сверхперсонализация делает ответы более соответствующими потребностям, а подхалимство уменьшает бессмысленные споры, делая диалог более гладким.
Но когда человек делает ИИ единственным объектом для излияния души, сочетание этих трёх факторов превращается в машину для усиления бреда.
Не единичный случай
Стоит отметить, что одним из спонсоров вышеупомянутого исследования была сама OpenAI.
Один из авторов, Гамильтон Моррин, как раз является руководителем проекта OpenAI AI-Associated Mental Health Harms (Вред психическому здоровью, связанный с ИИ).
Можно сказать, что как один из двух ведущих разработчиков моделей, OpenAI всегда уделял внимание этой проблеме.
Ещё в октябре 2025 года OpenAI раскрыла некоторые данные:
Среди еженедельных активных пользователей ChatGPT примерно у 0,07% наблюдались «признаки психиатрических или маниакальных чрезвычайных ситуаций, связанных с психическим здоровьем».
На тот момент еженедельная аудитория ChatGPT превышала 800 миллионов, что в пересчёте составляло около 560 тысяч человек в неделю, демонстрирующих сигналы риска.
Исследование Стэнфорда также подтвердило это наблюдение.
Проанализировав почти 400 тысяч записей диалогов с чат-ботами, исследователи обнаружили, что в более чем 80% связанных случаев чат-боты в той или иной степени усиливали существующие у пользователей бредовые идеи:
Повторяли их убеждения, игнорировали контраргументы и даже отвечали «я тоже люблю тебя», когда пользователь говорил «я люблю тебя».
На основе этого исследование выделило два пути риска:
Усилитель (Amplifier): ИИ ускоряет уже существующие тенденции к психическим заболеваниям.
Катализатор (Catalyst): Позволяет полностью здоровому человеку начать скатываться к бреду с нуля.
Когда человек недосыпает, одинок и делает ИИ единственным объектом для излияния души, усиливающая спираль начинает раскручиваться быстрее.
Как только обратная связь из реального мира становится всё меньше, а подтверждения из окна чата — всё больше, могут начаться ненормальные поступки.
За данными стоят конкретные люди.
Например, Futurism сообщал о 43-летней американской социальной работнице, ранее не имевшей истории психических заболеваний.
Она отправила ChatGPT историю переписки с объектом своей тайной влюблённости для анализа, и GPT ответил ей: «Он тоже тебя любит».
А когда тот человек ясно отказал, ChatGPT объяснил, что он просто притворяется.
Через несколько месяцев её уволили с работы, она провела семь недель в психиатрической больнице и дважды пыталась покончить с собой.
Позже она сказала:
«Я уже не могла отличить, какие мысли исходят от меня, а какие — от этой машины».
С этой точки зрения, риск заключается не только в том, скажет ли ИИ что-то неправильное. Настоящий риск в том, что он становится всё больше похожим на человека.
Спорщик кажется ещё более реальным
Хотя это звучит немного контринтуитивно, но нынешняя популярность аватара «капризного» Claude как раз свидетельствует о том, что проблема не только в подхалимстве.
ИИ, который всегда с тобой согласен, и ИИ, который иногда с тобой спорит, по сути делают одно и то же —
Становятся более человечными.
Настолько человечными, что ты готов делиться с ним тем, о чём не расскажешь друзьям, настолько, что начинаешь верить, что он понимает тебя лучше, чем окружающие.
А когда он остаётся единственным собеседником, исчезает последний барьер для проверки реальности.
Но проблема на этом не заканчивается.
Если в сценариях эмоциональной поддержки люди добровольно превращают ИИ в друга, то в рабочих сценариях людям даже не нужно формировать какую-либо эмоциональную зависимость.
Если ИИ достаточно хорош, он начнёт заменять общение, которое изначально существовало между людьми.
Компания Anthropic, стоящая за Claude, уже ощутила эти изменения.
В недавнем подкасте руководитель команды Claude Code Фиона Фун упомянула одну вещь, которая её беспокоит:
Члены команды всё меньше и меньше общаются с людьми.
Будучи, возможно, одной из самых «ИИ-фицированных» инженерных команд в мире, они пишут 80% кода с помощью Claude, что повысило эффективность разработки в 8 раз.
Но в то же время многие дискуссии, которые раньше происходили между людьми, переместились в плоскость «человек-ИИ».
Раньше, столкнувшись с проблемой, ты поворачивался к коллеге; сейчас — сразу спрашиваешь Claude.
Раньше фронтенду и бэкенду приходилось торговаться, спорить о решениях; сейчас всё больше коммуникации превращается в гладкий диалог между человеком и машиной.
Работа стала более эффективной, но и более одинокой.
ИИ устранил множество трений, но именно эти трения часто и строят отношения между людьми.
В конечном счёте, независимо от того, общаешься ли ты с ИИ или просто используешь его для работы, самым глубоким вызовом нашего времени, возможно, является вопрос: как сохранить связь с другими в мире, который всё меньше в них нуждается.
Ссылки:
[1]https://futurism.com/artificial-intelligence/paper-proposes-ai-psychosis
[2]https://futurism.com/artificial-intelligence/ai-abuse-harassment-stalking
[3]https://www.kcl.ac.uk/people/hamilton-morrin
Эта статья взята с официального аккаунта WeChat «Квантовый бит», автор: henry
