Новая система ИИ переводит сигналы мозга человека в текст с точностью до 97%

Исследователи Калифорнийского университета решили усовершенствовать технологию ИИ для декодирования электрокортикограммы, использовав новый метод.

Он заключается в записи электрических импульсов, возникающих при кортикальной активности, зарегистрированными имплантированными в мозг электродами.

В рамках проекта группа ученых провела эксперимент с четырьмя пациентами с эпилепсией, в мозг которых вживили специальные электроды для мониторинга судорог.

Участники прочитали и повторили несколько предложенных предложений вслух в то время, как электроды записывали активность их мозга во время упражнения.

Затем эти данные передали в нейронную сеть, которая проанализировала закономерности мозговой активности, соответствующие определенным речевым сигнатурам – гласным, согласным и движениям рта.

Другая нейронная сеть расшифровала эти представления из повторов 30-50 озвученных фраз и использовала их, чтобы попытаться предсказать сказанное, основываясь сугубо на пробковых сигнатурах слов.

Ученые детализировали многочисленные примеры фраз, произнесенные участниками, наряду с «предсказаниями», которые были сгенерированы сетью, иногда ошибочными, но не всегда.

Впрочем, когда ошибки были очевидны, они, похоже, сильно отличались от результатов неправильного восприятия языка человеческими ушами.

Примеры ошибок: «музей нанимает музыкантов каждый вечер», что было предусмотрено как: «музей нанимает музыкантов каждое дорогое утро».

Или: «часть торта съел пес» – «часть торта была выпечена» и тому подобное.

В наименее точных случаях ошибки практически не имеют семантического или фонетического отношения к тому, о чем шла речь: «она носила теплые ворсистые шерстяные комбинезоны», что интерпретировалось как «оазис – мираж».

Несмотря на странность очевидных ошибок, в целом система может стать новым эталоном для декодирования мозговой деятельности на основе ИИ, отмечают авторы исследования.