Искусственный интеллект становится "глупее"? Microsoft нашла слабость в ChatGPT и Gemini

Чат-боты на базе искусственного интеллекта теряют надежность и чаще допускают ошибки во время длительных разговоров.

Об этом сообщается в результатах совместного исследования Microsoft Research и Salesforce, опубликованные Windows Central.

Детали исследования

В рамках работы исследователи проанализировали более 200 000 диалогов с самыми современными моделями, среди которых GPT-4, Gemini, Claude и DeepSeek.

Выяснилось, что при выполнении одной команды модели демонстрируют успешность в 90%, однако в многоходовых диалогах этот показатель падает до 65%.

Хотя общая пригодность моделей к работе снижается лишь на 15%, их ненадежность возрастает на 112%. Даже модели с дополнительными токенами для "мышления", такие как o3 и DeepSeek R1, не смогли избежать этих проблем.

Причины сбоев ИИ

Исследователи выделили несколько ключевых факторов, влияющих на качество ответов.

Преждевременная генерация - чат-боты пытаются предоставить решение еще до того, как пользователь завершит объяснение задачи.

Эффект "фундамента" - ИИ использует свой первый ответ как основу для последующих, даже если исходная информация была ошибочной.

Раздутие ответов - в длительных разговорах текст становится на 20-300% длиннее, что провоцирует больше предположений и галлюцинаций, которые затем воспринимаются моделью как постоянный контекст.