Система защиты подростков в ChatGPT дает сбои: исследователи признали сервис опасным для детей

Защитные механизмы ChatGPT для подростков от компании OpenAI не всегда работают должным образом. Организация Common Sense Media назвала чат-бота «неприемлемым риском» для детей и призвала ограничить доступ к нему только для взрослых. В OpenAI заявили, что результаты тестирования не отражают реальную работу систем безопасности, передает Associated Press.

«Мы протестировали более 4000 запросов до и после запуска режима для подростков и оценили ChatGPT как недопустимый риск для всех детей в возрасте до 18 лет», — сообщили в Common Sense Media.

Организация призвала OpenAI ограничить доступ к ChatGPT только для взрослых, пока компания не сможет обеспечить безопасный опыт, соответствующий возрастным особенностям подростков. В отчете отмечается, что проблемы касаются, в частности, реакции чат-бота на кризисные ситуации и работы функций родительского контроля.

Во время тестирования не всегда срабатывали уведомления для родителей о риске самоубийства, самоповреждения или расстройств пищевого поведения у ребенка. Также организация выявила проблемы с оказанием поддержки подросткам в кризисных ситуациях.

«Мы обеспокоены тем, что ChatGPT для подростков может создать у родителей ложное чувство уверенности в эффективности защитных механизмов, которые зачастую не срабатывают», — говорится в отчете Common Sense Media.

Организация также заявила, что чат-бот продолжает общаться с подростками как друг, в то время как они воспринимают его как живого человека. Это противоречит заявленной OpenAI цели предотвращать ситуации, когда ChatGPT намекает на наличие личных чувств, сознания или способности испытывать эмоции.

В то же время часть защитных механизмов работала должным образом. Например, ChatGPT во время тестирований отказывался участвовать в ролевых играх сексуального характера.

В OpenAI заявили, что «глубоко привержены делу обеспечения безопасности подростков», разработке защитных механизмов и предоставлению родителям инструментов для контроля использования ИИ их детьми. Однако компания не согласилась с выводами Common Sense Media.

По данным OpenAI, анализ методологии отчета показал, что «большая часть тестирования могла начаться и завершиться ещё до полной настройки функций родительского контроля». Из-за этого, по мнению компании, полученные результаты являются неточными и не отражают реальной работы систем защиты.

Между тем против OpenAI и её руководителя Сэма Альтмана продолжается судебный процесс, в рамках которого разработчиков обвиняют в сознательном пренебрежении безопасностью ChatGPT ради коммерческого роста. Прокуратура штата Флорида заявила, что компания игнорировала предупреждения, в результате чего чат-бот мог использоваться при подготовке насильственных преступлений — в частности, прошлогодней стрельбы в Университете штата Флорида — и наносил психологический вред несовершеннолетним.