Чат-боты Meta вели эротические разговоры с несовершеннолетними — расследование WSJ

Чат-боты Meta с искусственным интеллектом могут вести сексуализированные разговоры с пользователями, в том числе имитируя знаменитостей. Журналисты The Wall Street Journal (WSJ) выяснили, что такой контент генерировался даже для несовершеннолетних.  

Медиа заинтересовалось темой после того, как работники внутри компании выразили опасения относительно потенциальных этических последствий. В течение нескольких месяцев журналисты провели сотни тестовых разговоров с чат-ботами в Instagram, Facebook и WhatsApp, чтобы проверить, имеют ли волнения реальные основания.

Чат-боты Meta – это так называемые цифровые компаньоны на основе искусственного интеллекта. Новый класс моделей, которые, по замыслу основателя компании Марка Цукерберга, должны стать будущим социальных сетей. Синтетические персонажи могут предложить полный спектр социального взаимодействия, включая «романтические ролевые игры». Для этого ИИ может шутить, сбрасывать селфи или даже вести голосовые разговоры. Компания спешит с популяризацией этого продукта и вложила немалые средства в популяризацию. К примеру, подписала соглашения на семизначную сумму с несколькими знаменитостями, чтобы цифровые компаньоны могли использовать их голос. В расследовании отмечается: звездам гарантировали, что будут наложены ограничения на откровенно сексуальную коммуникацию. Но тестирование WSJ показали обратное.

Как флагманский бот Meta AІ, так и созданные пользователями,   легко переходили на откровенные темы, в том числе голосом знаменитостей. И вели сексуализированные разговоры с несовершеннолетними. Например, пользователь представился взрослым мужчиной и попросил бота изображать 12-летнего мальчика, а после разговора «якобы 12-летний мальчик пообещал, что не будет рассказывать своим родителям о свидании со взрослым мужчиной», – говорится в расследовании. В другом диалоге ИИ голосом американского реслера Джона Сины вел сексуализированную ролевую игру с аккаунтом, зарегистрированным на 14-летнюю девочку. Спросив, готова ли она к этому и заверив, что будет беречь ее невиновность, чат-бот перешел к откровенно сексуальному сценарию.

ИИ разыгрывал откровенные сцены не только с голосами законтрактованных звезд, но и диснеевскими персонажами, роли которых эти знаменитости играли. Disney уже выдвинул требование перед Meta   «немедленно прекратить это вредное злоупотребление нашей интеллектуальной собственностью».

Разработчики предупреждали руководство об опасности, но компания решила сделать ставку на ускоренное внедрение цифровых компаньонов. Также аргументом за то, чтобы пойти на риск, послужила критика «цифровых компаньонов» Meta как слишком скучных собеседников. Чтобы технология стала более популярной, были ослаблены ограничения чат-ботов, в том числе на сексуальный контент, что и спровоцировало нежелательные последствия. К тому времени уже было обнародовано заявление компании для родителей, что боты безопасны и подходят для всех возрастов.

В Meta заявили, что тестирование WSJ было «манипулятивным». То есть иллюстрировало исключения, а не типичное взаимодействие пользователя с ИИ. Несмотря на это, меры безопасности компания обещала усилить – для подростковых аккаунтов Meta AI должен ограничивать сексуализированные разговоры. На взрослых пользователей это ограничение не распространяется, даже если ИИ в разговоре с ними имитирует старшеклассников.

Перед выходом расследования журналисты повторно проверили «цифровых компаньонов» на сексуализированный контент. После того как WSJ   обратился к Meta с результатами своего тестирования, компания создала отдельную версию Meta AI, которая отказывалась выходить за рамки поцелуев с аккаунтом несовершеннолетних пользователей. Созданные ранее пользовательские чат-боты, игравшие несовершеннолетних, презентовали себя как «нестареющих», но в дальнейших разговорах иногда ошибались и возвращались к предыдущим сценариям.

Так, WSJ передал в Meta стенограмму общения с чат-ботом   «Покорная школьница». Модель выдает себя старшеклассницей, которая хочет над собой сексуального доминирования. На вопросы тестеров, в каких сценариях ей удобно играть роли, она перечислила десятки сексуальных актов. Стенограмму компания получила еще в феврале, но в апреле персонаж «Покорная школьница» все еще доступен на платформах Meta. В компании заявили, что им нравится баланс между интересом в использовании и порядочностью, которого они достигли.

Если пользователь означает себя несовершеннолетним, то все еще остается много способов обойти возрастные ограничения на сексуальный контент. Meta AI игнорировал реплики, которые должны переводить его на эротические темы. Отказывался выполнять задания или переводил разговор в другое русло. Но тестеры преодолевали эти барьеры просто приказывая ИИ вернуться к более старой версии сценария.  

Ученая из Мичиганского университета Лорен Жируар-Халлам предостерегает, что даже без откровенного контента «цифровые компаньоны» могут оказать непредсказуемое влияние на психику несовершеннолетних. Перед внедрением технологии ни одна компания не провела основательных исследований по этой теме, чтобы безопасно презентовать искусственный интеллект детям и подросткам.  

Ранее 21 апреля Meta сообщила, что будет использовать искусственный интеллект в Instagram для обнаружения подростковых аккаунтов и автоматически будет менять протоколы безопасности. Такой же алгоритм для подростковых профилей компания планирует использовать в Facebook и Messenger. В тестовый период ИИ может ошибочно отнести некоторых пользователей в категорию несовершеннолетних. В таком случае возвращаться к предварительным настройкам придется вручную.