ChatGPT не зміг скласти іспит для отримання медичної ліцензії, але був дуже близький до успіху

Як і будь-яка нейромережа, ChatGPT не має жодних знань у медицині. Він лише майстерно маніпулює текстовою інформацією для видачі релевантних відповідей. Такі алгоритми навчаються на величезних масивах даних, які їм "згодовують" розробники. За допомогою різних методів ця інформація компілюється в щось нове.

Занадто складно

Група ентузіастів зі стартапу Ansible Health протестувала нейромережу ChatGPT на здатність скласти один із найскладніших іспитів США – USMLE (іспит на отримання медичної ліцензії). Цей екзамен складається з трьох частин, а підготовка до нього займає 300-400 годин. Перелік питань варіюється від фундаментальних медичних знань до парадоксів біоетики.

Результат здивував усіх учасників – текстовий ШІ майже зумів скласти цей іспит, його показники успішних відповідей варіювалися від 52% до 75% при нормативі в 60%.

Разом із тим дослідники кажуть, що під час проходження іспиту ШІ показав блискучу здатність вибудовувати логічні ланцюжки для обґрунтування відповідей. Він зумів відшукати в базі даних необхідну інформацію за непрямими ознаками, щоб дати розгорнуту відповідь.

На жаль, у деяких випадках рішення ChatGPT були не тільки завідомо неправильними, а й могли б призвести до трагічних наслідків. Це означає, що найближчим часом ШІ не замінить медичних працівників, хоча й може стати помічником для них, як додаткове джерело даних.