Первый визуальный дубляж полнометражного фильма с помощью ИИ: революция или угроза?

Американская студия XYZ Films представила шведский научно-фантастический фильм "Наблюдать за небом" (Watch The Skies) в дублированной английской версии, созданной с помощью искусственного интеллекта. Для этого использовали инструмент DeepEditor, который визуально синхронизирует движения губ и мимику актеров с новой речевой дорожкой, сохраняя эмоциональный смысл их игры, сообщает BBC.

Главный операционный директор XYZ Films Максим Коттрей отмечает, что фильмам с иностранным языком трудно пробиться на американский рынок из-за языкового барьера. По его словам, аудитория США, в отличие от европейской, менее привыкла к субтитрам и традиционному дубляжу. Новые технологии могут изменить эту ситуацию.

"Если бы фильм не был дублирован на английском языке, он бы вообще никогда не попал в кинотеатры США", - сказал Коттрей.

Англоязычная версия Watch The Skies вышла в прокат в мае в 110 кинотеатрах сети AMC по всей территории США. Коттрей сообщил, что сеть планирует дальнейшие релизы подобных проектов.

DeepEditor разработала лондонская компания Flawless, основанная сценаристом и режиссером Скоттом Манном в 2020 году. Манн известен фильмами "Ограбление", "Турнир" и "Окончательный счет". Идея создания технологии возникла после того, как он увидел, что традиционный дубляж ухудшает эмоциональное воздействие фильма и искажает актерскую игру.

Технология сочетает распознавание лиц, обнаружение ключевых точек, 3D-отслеживание мимики и алгоритмы изменения внешности в видео. Это позволяет адаптировать реплики, переносить удачную игру из одного дубля в другой и даже менять диалоги без пересъемки или повторной записи. По словам Манна, стоимость работы примерно в 10 раз ниже съемочного процесса.

"Наблюдать за небом" стал первым в мире полнометражным фильмом, полностью дублированным визуально с помощью ИИ. Манн подчеркивает, что технология не заменяет актеров озвучивания искусственными голосами, а дает создателям новые инструменты.

Среди клиентов Flawless - крупные стриминговые платформы, включая Netflix и Apple. По прогнозу Business Research Insights, мировой рынок дубляжа фильмов вырастет с 4 млрд долларов в 2024 году до 7,6 млрд долларов в 2033-м благодаря развитию потоковых сервисов.

Однако не все эксперты оценивают нововведения положительно. Доцент кафедры кино и медиа Йельского университета Нета Александер предупреждает, что массовое использование ИИ-дубляжа может размыть культурную и языковую специфику иностранных лент. Она предостерегает, что вытеснение субтитров ухудшит доступность контента для изучающих языки, плохо слышащих зрителей, а также снизит межкультурную грамотность.

"Субтитры - это не просто обходной путь; это метод сохранения целостности как визуального, так и слухового повествования для разнообразной аудитории. Вместо того чтобы спрашивать, как сделать иностранные фильмы легче для англоязычной аудитории, нам лучше спросить, как создать аудиторию, которая готова воспринимать разнообразное кино на его собственных условиях", - отмечает Александер.

В сериале Netflix "Этернавт" финальная сцена обрушения здания полностью сгенерирована искусственным интеллектом. Это первый случай, когда стриминговая платформа использовала кадры, созданные ИИ, в конечном продукте. По словам согенерального директора Netflix, технология позволила снять эту зрелищную сцену значительно быстрее и дешевле, чем это делали бы традиционными методами.