NVIDIA навчила 3D-моделі реалістично відкривати рот під чийсь голос

Компанія NVIDIA більше відома як виробник відеокарт, але вона створює деякі цікаві програмні інструменти. Прикладом цього є система Audio2Face, яка дозволяє анімувати 3D-моделі на основі записаного голосу.

В Audio2Face реалізується процес автоматичного монтажу. Інструмент працює на відкритій платформі фізично коректного моделювання у реальному часі NVIDIA Omniverse. Програма бере аудіофайл і створює на моделі анімацію, що дивно добре збігається. Вона добре працює з більшістю мов.

Для інструменту NVIDIA створила глибоку нейронну мережу, яка зіставляє лицьову анімацію зі звуком у реальному часі. Компанія має веб-сайт з інструкціями до Audio2Face. Також можна завантажити відкриту бета-версію програм. А поки що можна подивитися на приклади роботи технології. Результат може навіть лякати.