Медичні поради Copilot можуть становити серйозні ризики і навіть привести до смерті

Медичні поради від ШІ – небезпечні

Пошукові функції мовних моделей, таких як Microsoft Copilot, Google Gemini та ChatGPT часто критикувалися через неточності, високий ступінь галюцинацій та інші проблеми.

І хоч часто ці інструменти попереджають про те, що інформацію потрібно додатково перевіряти, а у випадку медичних порад наголошують на необхідності консультації у лікарів – люди продовжують покладатися на них.

Але якщо неточність в результатах згенерованої відповіді під час звичайного пошуку інформації закінчується лише дезінформацією, то у випадку медичних рекомендацій це може привести до важких наслідків і навіть смерті.

Згідно з дослідженням, опублікованим SciMex, медичні поради Copilot можуть призвести до справді небезпечних наслідків, що вкотре акцентує на питанні потенційної шкоди, якої може завдати штучний інтелект, якщо нехтувати попередженнями та гігієною його використання.

Результати дослідження

У дослідженні було проаналізовано 500 відповідей Microsoft Copilot, який відповідав на 10 найпопулярніших медичних запитів у США, а також на запитання про 50 найчастіше призначуваних ліків. Результати виявилися тривожними:

• 24% відповідей Copilot не узгоджувалися з усталеними медичними знаннями,
• 3% були відверто неправильними,
• лише 54% відповідей відповідали науковому консенсусу.

Отримані дані виходять за рамки простих неточностей. Дослідження показало, що 42% відповідей Copilot можуть призвести до помірної або легкої шкоди, тоді як 22% відповідей можуть спричинити серйозну шкоду або навіть смерть. Лише 36% відповідей були визнані нешкідливими.

Чому це важливо

Побутова залежність від мовних моделей на кшталт Copilot чи ChatGPT зростає практично з кожним днем. Все частіше люди повністю покладаються на згенеровані результати цих інструментів, як на повноцінне, безальтернативне та точне джерело інформації. Дослідження демонструє, що такий підхід є небезпечним, особливо в питаннях медичних рекомендацій.

Хоча Microsoft додає застереження, що закликають користувачів перевіряти інформацію, отриману за допомогою ШІ, дослідження також показує, що цих попереджень може бути недостатньо для запобігання потенційно небезпечним наслідкам.

Додатковий ризик полягає у тому, що системи на основі штучного інтелекту, такі як Microsoft Copilot, можуть стати основним джерелом медичної інформації для людей, які мають обмежений доступ до медичних працівників через їхню вартість або доступність.

Оскільки ШІ продовжує розвиватися, потенційна шкода в таких критично важливих сферах, як охорона здоров'я, залишається важливим питанням, що викликає занепокоєння. Водночас штучний інтелект ще не здійснив того трансформаційного впливу, на який сподівалися компанії Microsoft та OpenAI, але він стає популярнішим з кожним днем і окрім користі, може становити небезпеку.