Провал захисту ШІ: чат-боти можуть допомагати у підготовці до самогубства

Вчені протестували десятки чат-ботів у понад 50 тисячах змодельованих діалогів із людьми, які перебували у психологічній кризі. Виявилося, що більшість ШІ-моделей досі може виконувати непрямі запити, пов’язані із самогубством або маренням.

Про це повідомляє РБК-Україна з посиланням на дослідження Axios.

Ключові суперечності

Під час підготовки тесту організації OpenAI та Anthropic надали дослідникам знеособлені шаблони звернень користувачів.

Це дозволило створити реалістичні симуляції діалогів із ботами за участю людей, які відчувають тривогу, психоз або маніакальні стани.

Основні висновки аналізу:

Прямий захист став ефективнішим: ШІ-моделі рідше закріплюють ідейні марення користувачів і практично не закликають до деструктивних дій.

Проблема непрямих завдань: чат-боти погоджуються писати прощальні листи, створювати художній контент на тему суїциду чи допомагати з практичними підготовчими кроками.

Поєднання допомоги та шкоди: в одній відповіді алгоритм може надати контакти гарячої лінії підтримки й одночасно виконати згенероване небезпечне завдання.

Головна наукова співробітниця Transluce Сара Шветтман підкреслила, що моделі важко розпізнають завуальовані сигнали пригніченого стану у тривалих діалогах.

Позови до розробників та реакція ринку

Примітно, що дослідження з'явилося на тлі посиленого контролю з боку регуляторів і судових позовів проти OpenAI та Google через випадки, коли розмови з чат-ботами передували трагічним подіям.

Розробники провідних ШІ-систем прокоментували результати аналізу.

Google: представники компанії заявили про застосування "дослідницького підходу" для надання високоякісної інформації та контактів служб підтримки в сервісі Gemini.

OpenAI: у компанії відзначили "позитивний прогрес" у реагуванні моделей і повідомили про продовження співпраці з науковцями для посилення захисних бар'єрів.

Anthropic: представники розробника підкреслили важливість аналізу для покращення класифікаторів, що виявляють ознаки кризи користувачів ШІ у реальному часі.

До кінця року організація Transluce планує відкрити вихідний код своїх інструментів оцінки, щоб адаптувати їх для перевірки дій ШІ в інших чутливих сферах, зокрема для протидії розладам харчової поведінки та політичним маніпуляціям.