Нова система ШІ переводить сигнали мозку людини у текст з точністю до 97%

10:20, 01 квітня 2020.

Наука та IT.

14.

У рамках проекту група вчених провела експеримент з чотирма пацієнтами з епілепсією, у мозок яких імплантували спеціальні електроди для моніторингу судом.

Дослідники Каліфорнійського університету вирішили удосконалити технологію ШІ для декодування електрокортикограми, використавши новий метод.

Він полягає у записі електричних імпульсів, що виникають під час кортикальної активності, зареєстрованими імплантованими у мозок електродами, пише Science alert.

У рамках проекту група вчених провела експеримент з чотирма пацієнтами з епілепсією, у мозок яких імплантували спеціальні електроди для моніторингу судом.

Учасники прочитали й повторили кілька запропонованих речень вголос у той час, як електроди записували активність їхнього мозку під час вправи.

Потім ці дані передали у нейронну мережу, яка проаналізувала закономірності мозкової активності, відповідні до визначених мовленнєвих сигнатур – голосних, приголосних і руху рота.

Інша нейронна мережа розшифрувала ці уявлення з повторів 30-50 озвучених фраз і використала їх, аби спробувати передбачити сказане, базуючись суто на коркових сигнатурах слів.

Науковці деталізували численні приклади фраз, вимовлені учасниками, поряд з «передбаченнями», які було згенеровано мережею, іноді помилковими, але не завжди.

Втім, коли помилки були очевидними, вони, схоже, сильно відрізнялися від результатів неправильного сприйняття мови людськими вухами.

Приклади помилок: «музей наймає музикантів щовечора», що було передбачено як: «музей наймає музикантів кожного дорогого ранку».

Або: «частину торту з’їв пес» – «частина торту була випечена» тощо.

У найменш точних випадках помилки практично не мають семантичного чи фонетичного відношення до того, про що йшлося: «вона носила теплі ворсисті шерстяні комбінезони», що інтерпретувалось як «оазис – міраж».

Попри дивність очевидних помилок, у цілому система може стати новим еталоном для декодування мозкової діяльності на основі ШІ, зазначають автори дослідження.