Печатать текст можно силой мысли, и довольно точно: что придумали ученые

Meta представляет модели ИИ, которые преобразуют мозговую активность в текст с непревзойденной точностью. Об этом пишет TechSpot.

Работая с международными исследователями, компания Meta объявила о важных вехах в понимании человеческого интеллекта с помощью двух новаторских исследований: они создали модели ИИ, которые могут считывать и интерпретировать сигналы мозга, чтобы восстанавливать напечатанные предложения и отображать точные нейронные процессы, которые преобразуют мысли в устные или письменные слова.

Первое из исследований, проведенных лабораторией Meta's Fundamental Artificial Intelligence Research (FAIR) в Париже в сотрудничестве с Баскским центром познания, мозга и языка в Сан-Себастьяне, Испания, демонстрирует возможность декодировать производство предложений из неинвазивных записей мозга. Используя магнитоэнцефалографию (МЭГ) и электроэнцефалографию (ЭЭГ), исследователи регистрировали активность мозга 35 здоровых добровольцев, когда они печатали предложения.

Система использует трехкомпонентную архитектуру, состоящую из кодировщика изображений, кодировщика мозга и декодировщика изображений. Кодер изображений создает богатый набор представлений изображения независимо от мозга. Затем кодировщик мозга учится выравнивать сигналы MEG с этими вложениями изображений. Наконец, декодер изображений генерирует правдоподобное изображение на основе этих представлений мозга.

Результаты впечатляют: модель ИИ может декодировать до 80% символов, набранных участниками, чья мозговая активность была записана с помощью МЭГ, что по крайней мере вдвое эффективнее традиционных систем ЭЭГ. Это исследование открывает новые возможности для неинвазивных интерфейсов мозг-компьютер, которые могут помочь восстановить коммуникацию для людей, утративших способность говорить.

Второе исследование фокусируется на понимании того, как мозг преобразует мысли в язык. Используя ИИ для интерпретации сигналов МЭГ, пока участники печатали предложения, исследователи смогли определить точные моменты, когда мысли преобразуются в слова, слоги и отдельные буквы.