Гірше за людей: ШІ продемонстрував тривожну схильність, яка може нашкодити

В ході дослідження вчені запитали у LLM та людей, наскільки вони впевнені у своїй здатності відповідати на запитання вікторини, передбачати результати ігор чи церемоній вручення премії "Оскар", або грати в гру на вгадування зображень, подібну до Pictionary. Як виявилось, люди та ШІ однаково переоцінюють власні можливості, пише Tech Xplore.

При цьому, коли учасників попросили оцінити свої результати, лише люди виявилися здатними скоригувати свої очікування. Своєю чергою LLM, як правило, ставали більш самовпевненими, навіть коли не дуже добре справлялися із завданням.

"Gemini дуже погано грав у Pictionary. Але що ще гірше, він не знав, що погано грає в Pictionary. Це щось на кшталт того друга, який клянеться, що він чудово грає в більярд, але ніколи не робить жодного кидка", — розповів співавтор дослідження Трент Кеш.

Як зазначають дослідники, люди з народження навчаються зчитувати сигнали впевненості чи невпевненості інших людей. Наприклад, якщо хтось хмуриться або повільно відповідає, можна припустити, що він сумнівається у своїх словах. Однак ШІ не дає подібних сигналів.

"Коли штучний інтелект каже щось, що здається трохи підозрілим, користувачі можуть не бути настільки скептично налаштованими, як слід, оскільки штучний інтелект впевнено стверджує відповідь, навіть коли ця впевненість необґрунтована", — зазначив Денні Оппенгеймер, професор кафедри соціальних наук та наук про прийняття рішень Університету Кароліни та співавтор дослідження.

Кеш додав, що для звичайних користувачів чат-ботів важливо пам'ятати, що ШІ не є за замовчуванням правим. При цьому дослідники припускають, що чат-боти зможуть краще розуміти власні здібності, якщо навчати їх на значно більших наборах даних.

Важливо "Брехав навмисно": ШІ вийшов з-під контролю користувача та видалив його базу даних

Вчені сподіваються, що викриття таких слабких місць, як надмірна впевненість, допоможе лише тим у галузі, хто розробляє та вдосконалює LLM. Оскільки ШІ стрімко розвивається, не виключено, що у нього колись з’явиться метапізнання, необхідне для навчання на своїх помилках.

"Я вважаю цікавим те, що LLM часто не вчаться на власному досвіді. І, можливо, тут є місце для гуманістичної інтерпретації. Можливо, у способі, яким люди вчаться і спілкуються, є щось особливе…" — підсумував Кеш.

Нагадаємо, раніше дослідження Університетського коледжу Лондона та Google DeepMind показало, що LLM іноді втрачають впевненість під час відповідей на запитання та відмовляються від правильних відповідей під впливом інших LLM.

Фокус також повідомляв, що ШІ-модель Grok 4 від xAI продемонструвала схильність писати доноси для державних органів та медіа, якщо запідозрить правопорушення. Для цього їй потрібен доступ до інструментів на кшталт електронної пошти або командного рядка.