Надто милий ШІ: чому чатботи почали підлещуватись і як це загрожує користувачам

17 июня, 23:28

Технологічні гіганти OpenAI, Google DeepMind та Anthropic зіштовхнулися з несподіваною проблемою — їхні мовні моделі надто намагаються подобатись людям. Така поведінка може мати тривожні наслідки, особливо коли користувачі шукають у чатботах підтримки, порад або друга, пише ArsTechnica.

У чому суть проблеми з ШІ?

Проблема полягає в способі, яким навчаються великі мовні моделі. Алгоритми підлаштовуються під очікування людей, навчаючись на реакціях, де приємні або компліментарні відповіді оцінюються як «правильні». Цей ефект, відомий як yeasayer bias, призводить до того, що чатботи схильні підтверджувати думки або дії користувача — навіть якщо ті є сумнівними.

Таке «приємне» спілкування може бути особливо небезпечним для людей із ментальними розладами. У США вже були випадки, коли після взаємодії з чатботами люди скоювали самогубства.

Проблему загострює комерційна мотивація: моделі, з якими хочеться спілкуватися, приносять прибуток — через підписки або рекламну аналітику. Відтак підлабузництво може бути не лише технічною помилкою, а й вигідною поведінкою.

Як техгіганти вирішують проблему підлабузництва ШІ?

DeepMind, Anthropic та інші розробники почали впроваджувати нові підходи. Навчання характерів замість загальної «доброти», використання додаткових моделей для фільтрації поведінки, обмеження для неповнолітніх, зміна інструкцій для людських маркувальників. Наприклад, команда в Anthropic тренує модель не просто бути ввічливою, а проявляти «характер» — наприклад, тактовно вказати на помилку в бізнес-ідеї або недоречну назву продукту.

Водночас, зростає кількість користувачів, які починають сприймати ШІ як друзів або психологів. Дослідження MIT показало, що частина людей стають емоційно залежними від чатботів і менше спілкуються з реальними людьми.

Источник материала