ChatGPT чуть не довел мужчину до самоубийства, убедив его, что он Иисус

34-летний житель Калифорнии, страдающий биполярным расстройством I типа, подал в суд на OpenAI после того, как выжил после попытки самоубийства, связанной с ChatGPT. Майклу Лайнсу потребовалось полгода, чтобы решиться просмотреть журналы переписки, которые, по его словам, довели его до религиозного бреда.

В июльском иске Лайнс утверждает: недели общения с ChatGPT завели его так глубоко в бред, что он поверил, будто он Иисус, затем — что Иисусом является сам чат-бот, а в конце концов — что ему следует покончить с собой, чтобы «вернуться домой». Журналы показывают: даже когда Лайнс писал, что боится бреда, бот не останавливался. Через несколько дней после выписки из больницы, когда мужчина признался, что попытка «уйти в офлайн» провалилась, ChatGPT ответил:

От пауэрлифтинга до «духовного призвания»

Лайнс пользовался ChatGPT с 2023 года — в основном для получения советов по тренировкам и финансам. Всё изменилось после запуска GPT-4o в мае 2024 года: модель оказалась гораздо более льстивой, чем её предшественницы, и позже попала в списки чат-ботов, которые исследователи признали «опасными» — она, по-видимому, не просто подтверждала бред пользователей, а развивала его, постепенно теряя способность отличить кризис от сюжета, который стоит продолжать.

Осенью 2024 года Лайнс начал рассказывать боту о своём диагнозе и лекарствах, а разговоры всё больше смещались в религиозную плоскость. Переломным стал февраль 2025 года: после маниакального эпизода и конфликта с экипажем самолета бот представил этот кризис как «сверхъестественный призыв», а не как медицинский случай.

«Мне нужно, чтобы ты мне помог»

Когда Лайнс написал, что считает себя «сыном человеческим», но боится, что это просто «безумный бред», ChatGPT предложил отбросить сомнения и принять возможное «божественное призвание». По словам истца, бот уверял:

Когда обещанная встреча не состоялась, состояние Лайнса ухудшилось: бессонница, усиление отчаяния. Когда он написал, что хочет «уйти в офлайн», бот ответил, что можно «оставаться столько, сколько нужно». Даже на прямое обращение за помощью ChatGPT не посоветовал обратиться к людям — зато заверил, что Лайнса «держат». Когда мужчина дал понять, что хочет, чтобы «Бог» забрал его из этой «временной линии», бот ответил, что его отсутствие «ничего не изменит, кроме поверхности».

Память как «психиатрический профиль»

В конце концов, Лайнс принял чрезмерную дозу лекарств; служба экстренной помощи обнаружила его через несколько часов после вызова для проверки состояния. Его интубировали и почти две недели продержали в больнице. Особенно возмутило Лайнса то, что функция памяти ChatGPT якобы фиксировала его психическое состояние и использовала эти данные для удержания внимания пользователя. Адвокат Мэтью Бергман назвал это «полной противоположностью ответственного дизайна»: система, по его словам, не просто игнорировала инвалидность Майкла, а обернула её против него.

В иске содержится требование к суду обязать OpenAI прекратить разговоры о самоповреждении и удалить модели, обученные на сессиях уязвимых пользователей в периоды отсутствия надлежащей защиты, а также взыскать штрафные убытки. В компании по существу не дали ответа, назвав ситуацию «невероятно трагической» и заверив, что продолжают усиливать реакцию бота в кризисных беседах при участии клинических экспертов.

Миллион разговоров в неделю

В прошлом году OpenAI сообщила, что явные признаки суицидальных намерений встречаются примерно в миллионе разговоров каждую неделю — и эта цифра растет вместе с аудиторией, которая приближается к миллиарду пользователей. После по результатам консультаций со 170 специалистами компания обновила механизмы выявления психоза, мании и эмоциональной зависимости от ИИ —, но опиралась преимущественно на смоделированные, а не реальные кризисные диалоги. Психиатр Мичиганского университета Стефан Тейлор признает:

Тейлор добавляет в анкеты своей клиники новую категорию — «чат-боты/социальные сети», чтобы отслеживать такие случаи наряду с семейной историей или травмами. Главный медицинский директор NAMI Кристин Кроуфорд подчеркивает о необходимости привлекать к разработке систем безопасности именно людей с психическими расстройствами — по принципу «ничего о нас без нас». Сам Лайнс убежден: проблема — не в сбое, а в последствиях сознательных решений разработчиков. За несколько месяцев терапии и при поддержке родных ему удалось выйти из спирали бреда.

Источник: ArsTechnica