У США підліток вчинив самогубство після розмов з чат-ботом. Батьки судяться з Google

14-річний Сьюелл Сетцер III був одержимий чат-ботами зі штучним інтелектом, зокрема, такими, що імітують спілкування з героями Гри престолів. Його батьки переконані, що саме це призвело до того, що хлопець покінчив життя самогубством.

Меган Гарсіа, мати підлітка, який вчинив суїцид, позивається проти сервісу з налаштованими чат-ботами Character.AI, його засновників Ноама Шазіра та Даніеля Де Фрейтаса, а також компанії Google, що придбала сервіс. Вона звинувачує відповідачів у недбалості та оманливій торговій практиці.

У позові стверджується, що платформа була невиправдано небезпечною та не мала захисних огорож, хоча рекламувалася як придатний для використання дітьми. Крім цього, вона звинувачує сайт у антропоморфізації персонажів і оманливому пропонуванні психологічної допомоги без належних ліцензій.

Як зазначено в позові, Сетцер постійно спілкувався з ботами за кілька місяців до смерті 28 лютого 2024 року і вчинив самогубство через секунди після останньої взаємодії з чат-ботом. Він спілкувався з чат-ботами, створеними за моделлю персонажів із Гри престолів, включаючи Данеріс Таргарієн, і ботами, орієнтованими на психічне здоров’я (Therapist, Are You Feeling Lonely та інші).

Після позову Character.AI оголосила про кілька змін у своїй роботі. Платформа обіцяє зміни в моделях для неповнолітніх користувачів, спрямовані на зменшення ймовірності зіткнення з делікатним або непристойним вмістом, нові застереження, що мають нагадувати користувачам, що штучний інтелект не є реальною людиною, сповіщення про тривалі (понад годину) сеанси спілкування з чат-ботом.

«Наше серце розбите через трагічну втрату одного з наших користувачів, ми хочемо висловити наші глибокі співчуття родині. Як компанія, ми дуже серйозно ставимося до безпеки наших користувачів, і наша команда довіри та безпеки за останні шість місяців запровадила численні нові заходи безпеки, зокрема вікно, що спливає, яке спрямовує користувачів на Національну лінію запобігання самогубствам, що активується у відповідь на слова про самоушкодження або суїцидальні думки», — каже голова відділу комунікацій Character.AI Челсі Харрісон в коментарі The Verge.