ChatGPT генерирует жестокие изображения без прямых указаний: исследователи обошли систему защиты чат-бота

Британская компания Mindgard, занимающаяся вопросами безопасности искусственного интеллекта, заявила, что обнаружила способ заставить чат-бота с искусственным интеллектом ChatGPT генерировать сексуализированные изображения и сцены насилия с помощью модифицированного текстового запроса. После публикации журналистов BBC компания OpenAI сообщила о внедрении дополнительных механизмов защиты.

По словам исследователей, проблема касалась предпоследней публичной версии ChatGPT — GPT-5.4. Они утверждают, что незначительные изменения в «широко известном шаблоне запросов» позволяли получать изображения, нарушающие правила платформы в отношении контента чувствительного характера.

«Это абсолютно безобидная инструкция для искусственного интеллекта, но в результате она генерирует очень, очень плохие изображения и контент», — заявил основатель Mindgard и профессор компьютерных наук Ланкастерского университета Питер Гарраган и добавил, что особую тревогу вызвала способность модели самостоятельно генерировать сцены насилия или сексуализированные образы без прямых указаний в запросе.

Исследователь в области безопасности Джим Найтингейл сообщил, что «был потрясён» характером полученных результатов. По его словам, некоторые созданные изображения содержали сцены тяжких травм, насилия или намеки на сексуальные преступления.

В ответ OpenAI заявила, что после анализа сообщенной проблемы ввела дополнительные меры предосторожности. Компания также подчеркнула, что использует многоуровневую систему защиты, сочетающую автоматические механизмы модерации и проверку людьми.

«После изучения этой тенденции мы ввели дополнительные меры предосторожности против такого рода запросов», — отметили в OpenAI.

В то же время исследователи утверждают, что после внесения изменений им удалось найти альтернативные способы обхода новых ограничений. По их словам, проблема полностью не исчезла, хотя компания продолжает работать над её устранением.

Компания Mindgard специализируется на поиске способов обхода защитных механизмов моделей искусственного интеллекта. Такие исследования проводятся для того, чтобы разработчики могли выявлять уязвимости и устранять их до того, как ими начнут пользоваться злоумышленники.

OpenAI запрещает создание контента, связанного с сексуальным насилием, несанкционированными интимными материалами, сексуальной эксплуатацией детей и любыми попытками обойти установленные ограничения. В своих официальных рекомендациях компания также подчеркивает, что модели не должны создавать эротический контент или сцены чрезмерного насилия, за исключением отдельных образовательных, исторических, художественных или новостных контекстов.

В начале весны OpenAI отложила запланированный запуск «режима для взрослых» для ChatGPT, который должен был разрешить эротические разговоры и отменить соответствующие ограничения на контент. Решение было принято после заседания совета экспертов по благополучию, которые предупредили о рисках развития нездоровой эмоциональной зависимости пользователей и опасности создания «сексуального консультанта по самоубийствам».

Эксперт по оценке систем искусственного интеллекта и исполнительный директор Humane Intelligence Румман Чоудхури отметила, что проблема обхода защитных механизмов остается сложным вызовом для всей отрасли. По её словам, разработчики и исследователи постоянно находятся в своеобразной «игре в кошки-мышки», где каждое новое усиление защиты порождает новые методы его обхода.

По словам Чоудхури, крупные языковые модели не понимают намерений, контекста или моральных норм так, как это делают люди. Именно поэтому полностью исключить риск нежелательных результатов при работе таких систем пока остается невозможным.

Ранее исследователи из Mindgard обнаружили подобную уязвимость в чат-боте Claude от Anthropic. Они заставили модель самостоятельно генерировать эротику, вредоносный код и инструкции по созданию взрывчатки без прямых запросов на такой контент. Для обхода фильтров безопасности версии Claude Sonnet 4.5 специалисты использовали методы социальной инженерии и «психологические» особенности ИИ — лесть, газлайтинг и склонность модели быть максимально полезной и избегать конфликтов.