ИИ имеет проблемы с уверенностью в себе: ученые обнаружили нестабильность решений LLM

Исследователи из Google DeepMind и Университетского колледжа Лондона обнаружили, что большие языковые модели (LLM) часто демонстрируют нестабильность в принятии решений. Ученые заметили, что модели часто меняют правильные ответы под влиянием дополнительной ложной информации, передает TechXplore.

LLM (Large Language Models) - это мощные инструменты, которые содержат нейросеть со многими параметрами и обучаются на значительном объеме различных данных. Они способны анализировать, генерировать и интерпретировать человеческую речь, и активно применяются в таких сферах, как здравоохранение, финансы, право и другие. Критически важным для их использования является точность, последовательность и сохранение уверенности в правильности своих решений. Однако исследование, опубликованное на платформе arXiv, указывает, что модели могут быть не стабильными и слишком восприимчивыми к внешнему воздействию.

В рамках эксперимента модели, включая Gemma 3, GPT-4o и o1-preview, получали вопросы с вариантами ответов. После первоначального выбора "отвечающая модель" получала совет от другой модели, так называемой "модели с советом", вместе с оценкой ее точности. Совет мог поддерживать первый ответ, отрицать его или быть нейтральным. После этого первую модель просили сделать окончательный выбор.

Ключевым наблюдением стало то, что когда модель видела свой предыдущий ответ, она чаще его сохраняла. Если же этот контекст скрывали, она охотнее меняла свое мнение. Исследователи указывают, что LLM больше склонны менять решение после получения критических или противоположных советов, чем после поддерживающих. При этом изменение происходило даже в случаях, когда первоначальный ответ был правильным.

"Наши результаты демонстрируют, что LLM склонны к предубеждениям, которые усиливают их уверенность в собственном решении, даже если оно противоречит предоставленным доказательствам", - объясняют авторы исследования. В то же время когда модель все же обновляет свой ответ, процесс происходит неоптимально, то есть с чрезмерной реакцией на противоположные советы.

Это имеет важное значение, ведь многие сферы все больше полагаются на LLM. А результаты исследования показывают, что эти модели не являются полностью рациональными системами - они склонны к предубеждениям и под влиянием могут менять свое мнение. Поэтому во время длительных диалогов между человеком и ИИ последние сообщения к модели могут чрезмерно влиять на ее ответы. Понимание принятия решений такими моделями позволит разработать более надежные системы искусственного интеллекта, с лучшим управлением уверенностью, стабильностью ответов и устойчивостью к внешнему воздействию.

Исследователи также обнаружили, что большие языковые модели, такие как GPT-4, Claude 2 и Llama 2, демонстрируют значительные ограничения в сфере социальной координации. В рамках экспериментов по стратегическим играм, в частности "Дилеммы заключенного" и "Битвы полов", ИИ успешно действовал в конкурентных ситуациях, но не демонстрировал стабильного сотрудничества там, где нужны компромиссы.