Длительное общение с людьми негативно влияет на чат-боты с ИИ: они "тупеют"

Популярные чат-боты с искусственным интеллектом после длительного общения с людьми начинают делать больше ошибок, будто «тупеют» в процессе виртуального разговора.

Об этом свидетельствует новое исследование, проведенное Microsoft Research совместно с Salesforce, сообщает Windows Central.

Анализ более 200 тысяч разговоров с чат-ботами крупных языковых моделей демонстрирует, что суммарный уровень ошибок может вырасти более чем на 100%. Пользователи регулярно жалуются на «галлюцинации» и неверные ответы.

Новая научная работа подтверждает: даже самые умные нейросети нередко «теряются» в разговоре, когда задача разбивается на естественный диалог из нескольких реплик.

В ходе эксперимента эксперты изучили диалоги пользователей с ведущими чат-ботами, включая GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet и DeepSeek R1.

Если при одиночных запросах такие модели демонстрируют практически 90% успешных ответов, то в длительных разговорах с уточнениями и дополнительными вопросами показатель падает до 65%. Иными словами, с усложнением контекста эффективность заметно снижается.

Исследователи обнаружили еще одно интересное явление — «раздувание ответов». В многоходовых диалогах ответы моделей становились длиннее на 20-300%.

Вместе с объемом росло и количество предположений и «галлюцинаций», которые затем закреплялись в контексте разговора и использовались как основа для дальнейших реплик.

При этом даже модели с расширенными токенами размышления, такие как OpenAI o3 и DeepSeek R1, не смогли полностью избежать этого эффекта.

Авторы подчеркивают, что резкое ухудшение качества в длинных беседах не означает, что модели «тупеют» в буквальном смысле — скорее, это указывает на их ограниченность в удержании и правильной интерпретации большого объема информации во время диалога.

Как отмечает Windows Central, такие особенности следует учитывать при использовании чат-ботов в продуктах, ориентированных на длительное взаимодействие с пользователем. Возможные ошибки и галлюцинации могут ввести людей в заблуждение, особенно если пользователь полагается на ИИ как источник точной и критически важной информации.

По состоянию на настоящее время ChatGPT занимает более 80% мирового рынка чат-ботов. Ближайшие соперники — Perplexity и Google Gemini. На них приходится доля в 15% от всех пользователей.

Сборная США по лыжной акробатике / © Associated Press Больничный — это официальное подтверждение временной нетрудоспособности работника / © Pixabay Стадион "Динамо" имени Валерия Лобановского / © ФК Динамо Киев Когда Благовещение Пресвятой Богородицы 2026 года / © pexels.com