Microsoft представила нейромережу, що створює реалістичне відео за однією фотографією та аудіодоріжкою

Інженери дослідного азійського підрозділу Microsoft створили нейромережу VASA-1, здатну генерувати реалістичні відео розмовляючої людини з природною мімікою, використовуючи для цього лиш одне фото й аудіодоріжку. Про це повідомила компанія Microsoft.

Повідомлено, що нейромережа VASA-1 навчалася на наборі даних VoxCeleb2, який містить «понад 1 мільйон висловлювань 6112 знаменитостей» із відео на Ютубі.

Головною особливістю нейромережі, у порівнянні із інших алгоритмами, створеними конеурентами, є цілісна модель генерації лицьової міміки та рухів голови у ній. Фахівці Microsoft провели велику дослідницьку роботу, включно з оцінкою низки нових метрик. У результаті вони встановили, що новий алгоритм значно перевершує представлені раніше аналоги за багатьма параметрами.

«Наш метод не тільки забезпечує генерацію відео високої якості з реалістичною мімікою і рухами голови, а й також підтримує функцію онлайн-генерації відео 512×512 пікселів із частотою 40 кадрів на секунду з незначною початковою затримкою. Це відкриває шлях до взаємодії в реальному часі з реалістичними аватарами, що імітують поведінку людини під час розмови», — йдеться у повідомленні Microsoft.

Крім фотографій, нейромережа вміє працювати з портретами, створеними в будь-якому художньому стилі. В одному з демонстраційних роликів Мона Ліза від полотна Леонардо да Вінчі виконує реп.

Незважаючи на те, що під час ретельного перегляду рухи вуст та голови у демонстраційних прикладах все ще виглядають трохи роботизованими та несинхронізованими, загалом результати виглядають доволі переконливими. Стає зрозуміло, що технологією можна зловживати для легкого та швидкого створення дипфейків.

Усвідомлюючи цей потенціал, дослідники вирішили наразі не випускати продукт на ринок, доки не будуть впевнені, що їхня технологія «використовуватиметься відповідально та відповідно до належних положень».

За їх оцінкою, попри ризики створення дипфейків, технологія може мати низку випадків корисного застосування: зокрема в освіті та для осіб, які мають труднощі з онлайн-спілкуванням, й могли б створювати аватари для цього.

Нагадаємо, корпорація Microsoft доповнила сервіс Azure AI Studio, що дає розробникам змогу створювати персоналізованих ші-помічників на основі моделі OpenAI, інструментами, що блокують спроби налаштовувати чатботи на зловмисну, шкідливу роботу.

Фото: нейромережа VASA-1 / Microsoft