GPT-4 наблизився до лікарів за рівнем оцінки зору

Деталі

У дослідженні, вперше опублікованому в PLOS Digital Health, дослідники протестували мовні моделі GPT-3.5, GPT-4, PaLM 2 від Google та LLaMA від Meta за допомогою 87 запитань з множинним вибором. П'ять експертів-офтальмологів, три офтальмологи-стажисти та два неспеціалізовані молодші лікарі отримали такий же іспит.

Питання були взяті з підручника для тестування студентів-практикантів з усіх питань – від підвищеної чутливості до фізичних уражень. Вміст підручника не є загальнодоступним, тому дослідники вважають, що мовні моделі не могли навчатися на його матеріалах раніше. ChatGPT, побудований на основі GPT-4 та GPT-3.5, мав три спроби дати остаточну відповідь, інакше його спроба позначалася як нульова.

• GPT-4 показав кращі результати, ніж стажисти та молодші лікарі, правильно відповівши на 60 з 87 запитань. Хоча це значно вище, ніж середній показник молодших лікарів (37 правильних відповідей), він лише трохи випередив середній показник трьох стажистів (59,7). У той час як один експерт-офтальмолог правильно відповів лише на 56 запитань, п'ятеро інших отримали в середньому 66,4 правильних відповідей, випередивши машину.
• GPT-3.5 отримав 42 бали.
• PaLM 2 – 49 балів.
• LLaMa набрала найнижчий бал – 28, що нижче, ніж у молодших лікарів.

Хоча ці результати мають потенційні переваги, існує також чимало ризиків і занепокоєнь. Автори роботи зазначають, що в дослідженні було запропоновано обмежену кількість запитань, особливо в певних категоріях, а це означає, що фактичні результати можуть бути різними.

Мовні моделі також мають схильність до "галюцинацій" або вигадок. Одна справа, якщо це несуттєвий факт, але помилково стверджувати про наявність катаракти або раку — зовсім інша історія. Таким системам часто бракує нюансів, що створює додаткові можливості для неточності.