Врачи шокированы: ИИ придумал часть тела, которой не существует у людей

Специалисты в области здравоохранения все чаще выражают беспокойство из-за активного использования в медицине генеративного искусственного интеллекта, который подвержен ошибкам.

Об этом говорится в материале Yahoo.

Одна из самых больших проблем таких технологий — это так называемые «галлюцинации» — термин, используемый для описания ложных или вымышленных фактов, которые ИИ представляет очень убедительно.

Один особо заметный пример остался без внимания пользователей, в частности, медиков более года. В научной статье, опубликованной в мае 2024 года, языковая модель Google представила свою медицинскую модель ИИ под названием Med-Gemini. Там демонстрировалось, как она анализирует снимки мозга, сделанные в радиологической лаборатории для выявления различных состояний.

Среди результатов модель обнаружила «старый инфаркт в левых базилярных ганглиях» — при этом «basilar ganglia» — это анатомический термин, обозначающий участок, которого не существует в человеческом организме. Лицензированный невролог Брайан Мур обратил внимание на эту ошибку и сообщил о ней изданию The Verge. Хотя Google обновила свой блог, в самой научной статье ошибка до сих пор не исправлена.

Вероятно, модель ИИ спутала базальные ганглии (участок мозга, отвечающий за движения и формирование привычек) с базилярной артерией — большим сосудом у основания мозга. В Google объяснили инцидент простой орфографической ошибкой, дескать, «basilar» — это ошибочная транслитерация «basal», которую Med-Gemini усвоила из обучающих данных.

Однако случай обнаружил серьезный изъян: даже новейшие языковые модели Google и OpenAI могут распространять выдумки, замаскированные под достоверную информацию. В результатах поиска Google это уже создает трудности для пользователей, которые ищут правдивую информацию. Но в медицинском контексте такие ошибки могут стоить человеческим жизням.

«Это очень опасно. Кажется, всего две буквы разницы, но это действительно серьезная ошибка», — заявил директор по медицинской информации в системе Providence Маулин Шах.

В 2024 году Google объявила, что ИИ имеет «огромный потенциал в медицине», в частности для анализа рентгеновских снимков, КТ и других диагностических данных.

Когда Мур сообщил компанию об ошибке, там ответили, что это просто опечатка. В блоге компании появилось примечание, что «basilar» — это распространенная ошибочная транскрипция «basal», которую Med-Gemini усвоила из учебных материалов. Однако в оригинальном исследовании все еще фигурирует несуществующая «basilar ganglia».

«Проблема в том, что мы не можем полагаться на профессионализм людей, которые будут проверять эти тексты», — добавляет Шах.

ИИ не говорит «я не знаю»

И Med-Gemini — не единственный пример. Более мощная модель Google, MedGemma, демонстрирует разные ответы на одни и те же запросы в зависимости от формулировки, и порой — ошибочные.

«ИИ имеет склонность придумывать вещи и не говорит „я не знаю“, — что является критической проблемой для таких важных сфер, как медицина», — подчеркивает профессор радиологии и информатики Эморийского университета Джуди Гичоя (The Verge).

Другие эксперты также предостерегают: мы слишком торопимся с внедрением ИИ в больницах — от виртуальных терапевтов до медсестер и автоматического ведения диалога с пациентами. Это требует более осторожного подхода.

К тому же, постоянная потребность в человеческом контроле над результатами работы «галлюцинирующего» ИИ может, наоборот, снижать эффективность.

Несмотря на это, Google не останавливается. В марте компания анонсировала, что ее ненадежная функция AI Overviews начнет давать медицинские советы. Также представили «соавтора-ученого» — ИИ, который должен помогать в разработке новых лекарств и других научных исследованиях.

Но без должной проверки ошибки могут иметь роковые последствия.

«ИИ должен иметь гораздо более низкий допустимый предел ошибок, чем человек», — настаивает Маулин Шах. — «Если кто-то говорит: „Достаточно, чтобы ИИ был столь же точен, как человек“, — я с этим категорически не согласен».