ШІ налякав лікарів: він вигадав неіснуючу частину тіла

Нещодавно вчені зіткнулися з помилкою, яка настільки переконливо звучала, що на її пошук пішов цілий рік. У травні 2024 року було опубліковано дослідницьку роботу, яка мала продемонструвати можливості ШІ під назвою Med-Gemini від Google. ШІ мав проаналізувати результати сканування мозку людей із рентгенологічної лабораторії з різними захворюваннями, пише Futurism.

Один із діагнозів, поставлених ШІ, звучав як "старий інфаркт базилярного ганглія", припускаючи, що така частина мозку як "базилярні ганглії" справді існує. Насправді ж нічого подібного в людському організмі немає.

У Фокус. Технології з'явився свій Telegram-канал. Підписуйтесь, щоб не пропускати найсвіжіші та найзахопливіші новини зі світу науки!

Після виявлення помилки, за словами сертифікованого невролога Брайана Мура, компанія Google виправила помилку у своєму блозі, але не внесла правки в саму дослідницьку роботу.

Експерти кажуть, що найімовірніше, ШІ переплутав базальні ганглії (ділянка мозку, пов'язана з руховою функцією і звичками) з базилярною артерією, яка є великою судиною в основі стовбура мозку. У компанії Google пояснили це простою помилкою.

Але медичні працівники вважають, що це яскравий приклад хронічних і серйозних недоліків технології. Навіть новітні ШІ від таких компаній, як Google і OpenAI, можуть поширювати помилки, створені за допомогою великих мовних моделей, які навчаються на основі даних із широкого списку інтернет-ресурсів.

У медицині такі помилки можуть мати катастрофічні наслідки. Ця нещодавня помилка ШІ не призвела б до якихось серйозних наслідків, але вона поповнила список тривожних прецедентів.

"Те, про що ми говоримо, неймовірно небезпечно. Це всього два слова, але це дуже серйозно", — каже директор з медичної інформації системи охорони здоров'я Providence Маулін Шах.

Компанія Google представила свій медичний ШІ заявивши, що він має "значний потенціал у медицині". Його пропонувалося використовувати для діагностики захворювань за допомогою рентгенівських знімків, комп'ютерної томографії та інших матеріалів.

Після того, як Мур повідомив компанії про помилку в дослідницькій роботі, йому відповіли, що це помилка. Пізніше у своєму блозі компанія зазначила, що "basilar" — поширена помилка в транскрипції слова "basal", яку Med-Gemini засвоїла з навчальних даних, хоча значення звіту залишилося незмінним".

У медичному контексті галюцинації, викликані ШІ, можуть легко спричинити плутанину і потенційно навіть поставити під загрозу життя. Це стосується не тільки Med-Gemini. Більш просунута модель охорони здоров'я від Google, що отримала назву MedGemma, також призводила до різних відповідей залежно від формулювання запитань, що іноді призводило до помилок.

"Природа цих ШІ така, що вони схильні вигадувати відповіді, тому що не можуть сказати "Я не знаю". Це є великою проблемою для таких важливих галузей, як медицина", — каже доцент кафедри радіології та інформатики Університету Еморі Джуді Гічоя.

Багато експертів у сфері медицини кажуть, що люди занадто поспішають із впровадженням ШІ в клінічні умови, починаючи від ШІ-терапевтів до рентгенологів і медсестер.

Нагадаємо, ШІ тепер вирішує нові проблеми, непомічені людьми. Пошуковик вразливостей на базі штучного інтелекту (ШІ) від Google під назвою Big Sleep вперше виявив проблеми в програмному забезпеченні (ПЗ).