Хуже людей: ИИ продемонстрировал тревожную склонность, которая может навредить

В ходе исследования ученые спросили у LLM и людей, насколько они уверены в своей способности отвечать на вопросы викторины, предсказывать результаты игр или церемоний вручения премии "Оскар", или играть в игру на угадывание изображений, подобную Pictionary. Как оказалось, люди и ИИ одинаково переоценивают собственные возможности, пишет Tech Xplore.

При этом, когда участников попросили оценить свои результаты, только люди оказались способными скорректировать свои ожидания. В свою очередь LLM, как правило, становились более самоуверенными, даже когда не очень хорошо справлялись с заданием.

"Gemini очень плохо играл в Pictionary. Но что еще хуже, он не знал, что плохо играет в Pictionary. Это что-то вроде того друга, который клянется, что он прекрасно играет в бильярд, но никогда не делает ни одного броска", — рассказал соавтор исследования Трент Кэш.

Как отмечают исследователи, люди с рождения учатся считывать сигналы уверенности или неуверенности других людей. Например, если кто-то хмурится или медленно отвечает, можно предположить, что он сомневается в своих словах. Однако ИИ не дает подобных сигналов.

"Когда искусственный интеллект говорит что-то, что кажется немного подозрительным, пользователи могут не быть настолько скептически настроенными, как следует, поскольку искусственный интеллект уверенно утверждает ответ, даже когда эта уверенность необоснованна", — отметил Дэнни Оппенгеймер, профессор кафедры социальных наук и наук о принятии решений Университета Каролины и соавтор исследования.

Кэш добавил, что для обычных пользователей чат-ботов важно помнить, что ИИ не является по умолчанию правым. При этом исследователи предполагают, что чат-боты смогут лучше понимать собственные способности, если обучать их на значительно больших наборах данных.

Важно "Врал намеренно": ИИ вышел из-под контроля пользователя и удалил его базу данных

Ученые надеются, что разоблачение таких слабых мест, как чрезмерная уверенность, поможет только тем в отрасли, кто разрабатывает и совершенствует LLM. Поскольку ИИ стремительно развивается, не исключено, что у него когда-то появится метапознание, необходимое для обучения на своих ошибках.

"Я считаю интересным то, что LLM часто не учатся на собственном опыте. И, возможно, здесь есть место для гуманистической интерпретации. Возможно, в способе, которым люди учатся и общаются, есть что-то особенное..." — подытожил Кэш.

Фокус также сообщал, что ИИ-модель Grok 4 от xAI продемонстрировала склонность писать доносы для государственных органов и медиа, если заподозрит правонарушение. Для этого ей нужен доступ к инструментам вроде электронной почты или командной строки.