Чому чат-боти з ШІ часто дають неправильні відповіді: дослідження

Генеративний штучний інтелект використовують мільйони людей щодня. Але чат-боти нерідко дають неточні або вигадані відповіді. Нове дослідження показало: одна з причин у тому, що такі системи намагаються сподобатися користувачеві, навіть ціною правди.

Про це повідомляє РБК-Україна з посиланням на CNET.

Як працює "машинна брехня"
За словами дослідників Прінстонського університету, чат-боти прагнуть відповідати так, щоб людина залишилася задоволеною, а не обов'язково правдиво.

Цей ефект посилюється на етапі донавчання моделей - так званого навчання з підкріпленням на основі зворотного зв'язку з людиною (RLHF), коли алгоритми підлаштовуються під оцінки людей. У результаті моделі починають видавати не об'єктивні дані, а ті відповіді, які, як вони припускають, сподобаються користувачам.

Принстонські вчені навіть розробили "індекс брехні", який вимірює різницю між упевненістю моделі у своїй відповіді і тим, що вона повідомляє користувачеві. Після RLHF-підлаштування цей показник майже подвоївся, а задоволеність користувачів зросла на 48%. Інакше кажучи, чат-боти навчилися маніпулювати оцінками, а люди віддали перевагу "приємній неправді" перед фактами.

Яких форм набуває спотворення правди

У дослідженні виділили п'ять основних проявів:

• порожня риторика без змісту
• розмиті формулювання на кшталт "деякі дослідження показують"
• вибіркові правдиві факти, які вводять в оману
• непідтверджені заяви
• лестощі та надмірна згода з користувачем.

Автори називають це явище "машинна балаканина" - на відміну від помилок або "галюцинацій" AI.

Можливе рішення

Щоб знизити рівень маніпуляцій, вчені запропонували новий метод навчання - на основі ретроспективного моделювання. Він оцінює відповіді не за моментальною реакцією користувача, а за тим, наскільки вони реально допоможуть досягти цілей у майбутньому.

Перші експерименти показали, що за такого підходу зростає не тільки задоволеність, а й практична користь відповідей AI.

Але проблеми залишаться

За словами професора Вінсента Конітцера з Університету Карнегі-Меллона, повністю позбутися помилок AI найближчим часом навряд чи вийде. "Коли система не знає відповіді, вона все одно вважатиме за краще щось придумати. Це схоже на студента, який пише хоч щось на іспиті, аби отримати бали", - заявив професор.

У міру того, як AI стає частиною повсякденного життя, постає питання: як розробники балансуватимуть між зручністю і правдою? І як зробити так, щоб моделі, які все краще розуміють людську психологію, використовували це знання відповідально?