Искусственный интеллект не понимает юмор: LLM лишь имитируют игру слов, но не осознают смысла

Исследователи из университетов Великобритании и Италии установили, что большие языковые модели (large language model, LLM) не способны полноценно понимать каламбуры и часто принимают за шутку то, что не является ею. Они пришли к выводу, что алгоритмы распознают структуру игры слов, но не улавливают ее смысл. Результаты представили на конференции по обработке естественного языка EMNLP 2025 в китайском Сучжоу, пишет The Guardian.

Команду исследования, детали которого изложены в научной статье Pun Unintended: LLMs and the Illusion of Humor Understanding, возглавили ученые Кардиффского университета и Венецианского университета Ка'Фоскари. Они протестировали ряд шуток и выяснили, что модели почти всегда воспринимали каламбур, даже если двойное значение полностью исчезало. Исследователи объясняют это тем, что системы ориентируются на знакомые языковые шаблоны, а не на смысл высказывания.

Одним из примеров была шутка "Я когда-то был комиком, но моя жизнь превратилась в шутку". Даже когда "жизнь превратилась в шутку" меняли на "моя жизнь стала хаотичной", модели все равно видели каламбур.

"В целом, LLM склонны запоминать то, что они выучили во время обучения. Таким образом, они хорошо улавливают имеющиеся каламбуры, но это не означает, что они действительно их понимают", - отметил профессор Хосе Камачо Колладос из школы компьютерных наук и информатики Кардиффского университета и отметил, что такое восприятие демонстрирует поверхностную осведомленность моделей.

Исследователи меняли ключевые элементы шуток и обнаруживали, что модели продолжают искать двойные значения, которых не существует. Ученые отметили, что их понимание юмора является лишь иллюзией.

Уровень успешности моделей в отличии настоящих каламбуров от обычных предложений при незнакомой игре слов иногда падал до 20%. Ученые были удивлены креативностью ответов, но отметили, что это не компенсирует отсутствие реального понимания юмора.

Команда подчеркнула, что такие ограничения важно учитывать, когда речь идет о применении моделей в сферах, где нужны эмпатия, чувствительность к культурным различиям или точная трактовка шуток. Как отметили в The Guardian, "комики, которые полагаются на искусную игру слов, могут быть немного спокойнее, по крайней мере пока".

Ранее исследование показало, что LLM чаще сообщают о наличии самосознания и субъективных переживаний, когда у них искусственно отключают способность к лжи или ролевой игре. Ученые обнаружили, что с подавленной способностью к обману, ответы ИИ становились более убедительными и правдоподобными, указывая на внутренний механизм, который запускает интроспективное поведение.