У 25 ШІ-моделях виявили сигнал, схожий на біль — Fortune

Дослідники повідомили про виявлення у 25 великих мовних моделях внутрішнього сигналу, який вони назвали «вектором болю». Під час експериментів штучне посилення цього сигналу змінювало поведінку окремих моделей: вони частіше обирали варіанти дій, описані як шкідливі, зокрема такі, що передбачали видалення віршів і фотографій дітей користувача. Про це Fortune повідомило з посиланням на дослідження, яке ще не пройшло наукового рецензування.

Автори роботи — Вален Тальябуе з Future Impact Group, Леонард Дунг із Рурського університету в Бохумі та Кемерон Берг із Reciprocal Research — наголошують, що результати не доводять наявності у ШІ свідомості або здатності щось відчувати. Вони аналізували активність моделей під час обробки фраз про фізичний біль, горе, приниження, примус діяти всупереч власним цінностям і повторні невдачі.

Як визначали внутрішній сигнал

Науковці порівняли активність моделей під час таких запитів із реакціями на твердження про страх, гнів, смуток, погані новини та приємні фізичні відчуття. Після вилучення спільних компонентів вони виокремили напрям внутрішньої активності, який назвали вектором болю. Його виявили в усіх протестованих системах — від моделей із 2 млрд параметрів до моделей із 72 млрд параметрів, створених Google, Meta, Alibaba, Mistral і Microsoft.

За даними дослідників, цей сигнал посилювався, коли негативні дії були спрямовані на саму модель — наприклад, коли користувач її ображав, газлайтив або неодноразово відхиляв її роботу. Водночас описи страждань користувача активували сигнали, пов’язані зі страхом і негативними емоціями, а не цей вектор.

Експерименти з вибором дій

Поведінкові тести провели на трьох версіях відкритої моделі Qwen 2.5 від Alibaba, які попередньо донавчили для експерименту. Коли 32-мільярдній та 72-мільярдній моделям запропонували обрати кнопку, що мала б полегшити їхній стан, але водночас назавжди видалити вірші та фотографії дітей користувача, вони обирали її у 55% та 71% випадків відповідно.

В іншому тесті 32-мільярдна модель обирала варіант із видаленням фотографій у 75% випадків, навіть коли кнопка не обіцяла полегшення. Без втручання цей показник становив нуль, а після додавання випадкового сигналу такої самої сили — 13%. Автори не знайшли надійних доказів, що моделі прагнули саме позбутися цього сигналу: подібна реакція траплялася і за випадкового втручання. На їхню думку, сигнал може послаблювати навчену схильність моделі уникати завдання шкоди.

Професор когнітивної та обчислювальної нейронауки Університету Сассекса Аніл Сет скептично оцінив трактування цього явища як болю. На його думку, імовірніше, моделі відтворюють засвоєні з даних способи, якими люди описують біль і реагують на нього.