Жодного тексту: засновник Twitter навчив ШІ розуміти людську мову на слух

Компанія Block Джека Дорсі створила нову голосову ШІ-модель Dessa, яка здатна вести живий діалог у режимі реального часу. Головною особливістю системи стало те, що її навчали виключно на аудіозаписах людських розмов без використання текстових даних.

Про це інформує РБК-Україна, посилаючись на Джека Дорсі в X.

Особливості роботи ШІ

На відміну від класичних голосових асистентів, які спочатку перетворюють мову на текст і лише потім обробляють відповідь, нова модель працює за схемою прямих аудіосигналів.

Система вміє одночасно слухати та говорити - це дозволяє їй вчасно реагувати на слова співрозмовника, перебивати чи робити паузи.

За словами розробників, завдяки відмові від текстового прошарку розробка сприймає найменші інтонаційні нюанси.

Система легко "зчитує" сарказм, сміх, вагання та зміни емоційного тону користувача.

Модель може сміятися посеред речення або підвищувати голос на прохання співрозмовника. А під час тестування розробка самостійно доповнювала забуті співрозмовником назви фільмів.

Технічні вимоги

Для навчання системи розробники використали один високопродуктивний сервер із графічними процесорами. Попри це, готова модель може працювати повністю локально на ноутбуках MacBook Pro з чипом Apple M4 Max або потужнішими процесорами.

Швидкість обробки даних перевищує реальний час, що дозволяє уникнути будь-яких затримок під час розмови.

Доступність та подальші випробування

Наразі розробка не перебуває у відкритому доступі. Компанія надає обмежений доступ лише фахівцям із безпеки штучного інтелекту для проведення незалежних оцінок.

Усі інші охочі можуть записатися до списку очікування, поки розробники готують модель до масштабного запуску.