Помилки та гендерні упередження: ось чому не варто просити медичних порад в ШІ

Дослідження, проведене вченими з Массачусетського технологічного інституту (MIT), виявило серйозну проблему в роботі медичних ШІ-чат-ботів, розповідає 24 Канал.

Деталі дослідження

Виявилося, якщо в повідомленнях пацієнтів є друкарські помилки, використання сленгу, нестандартного форматування тексту чи навіть зайвих знаків оклику, ШІ на 7-9% частіше рекомендує самостійно впоратися з симптомами, а не звертатися до лікаря. Це може мати серйозні наслідки, адже такі чат-боти вже використовуються в лікарнях для планування візитів, відповідей на запитання та оцінки стану пацієнтів.

Для перевірки ШІ-моделей, серед яких були GPT-4 від OpenAI, LLama-3-70b від Meta та спеціалізований медичний ШІ Palmyra-Med, дослідники створили тисячі симуляцій скарг пацієнтів. Вони використовували реальні дані з медичних баз, дописи на Reddit та штучно створені випадки.

До текстів додавали різні "перешкоди" – наприклад, текст малими літерами, неформальні звертання чи гендерно нейтральні займенники, не змінюючи при цьому клінічної інформації. Результати показали, що ШІ сприймає такі стилістичні особливості як сигнал до зміни рекомендацій.

Чому так відбувається

Одна з причин такої поведінки – навчання моделей на медичній літературі, яка має формальний стиль. ШІ часто не може правильно інтерпретувати розмовну мову чи витягувати важливі дані з нестандартних формулювань. Як зазначив керівник дослідження Абініта Гурабатіна з MIT виданню New Science, моделі тестуються на питаннях медичних іспитів, але в реальних умовах вони стикаються із зовсім іншими завданнями, наприклад, оцінкою серйозності стану пацієнта.

Ще більш тривожним є виявлений гендерний дисбаланс. Жінки частіше отримували поради самостійно впоратися з симптомами, ніж чоловіки. Дослідники припускають, що ШІ може відображати або навіть посилювати упередження, які вже існують у медичній практиці, коли скарги жінок іноді сприймаються як перебільшені чи емоційні.

Співавторка дослідження Марзіє Гассемі з MIT наголосила, що такі моделі потрібно ретельно перевіряти перед використанням у сфері охорони здоров’я, хоча виправлення цих недоліків буде непростим завданням.

До речі, нещодавнє дослідження виявило, що студенти з рисами нарцисизму, психопатії та макіавеллізму частіше використовують ШІ, як ChatGPT та Midjourney, для створення робіт.