Meta запускає інструмент автоматичного перекладу Reels голосом автора у Facebook та Instagram

Meta у своєму блозі повідомила про розширення доступу до інструмента Meta AI Translations, який дозволяє автоматично перекладати, дублювати та синхронізувати рухи губ у Reels. Технологія створена для того, щоб автори контенту могли охоплювати глобальну аудиторію та спілкуватися з підписниками їхньою мовою, зберігаючи автентичність звучання.

Переглянути цей допис в Instagram

Допис, поширений Facebook for Creators (@facebookforcreators)

За даними компанії, Meta AI Translations відтворює тембр і тон голосу самого креатора, а система синхронізації узгоджує рухи губ із перекладеним аудіо, створюючи ефект, ніби автор насправді говорить іншою мовою. Користувачі повністю контролюють процес: можуть вмикати й вимикати переклади, переглядати та видаляти їх у будь-який час.

Наразі функція доступна для перекладу з англійської на іспанську та з іспанської на англійську, проте у Meta заявили, що в майбутньому будуть додані й інші мови. Скористатися нововведенням можуть креатори у Facebook із понад 1000 підписників та всі публічні акаунти в Instagram.

Перед публікацією відео автор може натиснути кнопку “Translate your voice with Meta AI”, активувати переклад та за бажанням – синхронізацію губ. Опубліковані ролики автоматично показуватимуться глядачам їхньою мовою, з відповідною позначкою, що переклад здійснено за допомогою Meta AI. При цьому користувачі мають можливість у налаштуваннях обирати, чи бачити переклад, чи ні.

Meta також запровадила нову статистику для авторів – кількість переглядів у розрізі мов. Це дозволяє відстежувати, якою мовою користувачі найчастіше переглядають Reels і оцінювати ефективність перекладів.

За словами Meta, найкращий результат функція AI Translations забезпечує для відео з одним чи двома учасниками. А для підвищення якості перекладу компанія рекомендує авторам дотримуватися кількох правил: 

• записувати відео з прямим зверненням до камери; 
• говорити чітко й не закривати рот;
• уникати накладання голосів кількох спікерів;
• мінімізувати фонові шуми та музику. 

Окрім автоматичного перекладу, користувачі Facebook отримали можливість завантажувати власні дубльовані аудіодоріжки. Тепер до одного Reels можна додати до 20 перекладених аудіотреків різними мовами, щоб охопити ширшу аудиторію. Завантажити файли можна через Meta Business Suite у секції “Closed captions & translations”. Доріжки дозволяється додавати, замінювати або видаляти як до, так і після публікації відео.

Американська студія XYZ Films представила шведський фільм “Спостерігати за небом” з візуальним дубляжем англійською мовою, повністю створеним за допомогою штучного інтелекту. Ця технологія, розроблена компанією Flawless, синхронізує рухи губ і міміку акторів з новою мовною доріжкою, зберігаючи емоційний складник їхньої гри. Це перший повнометражний фільм з подібним дубляжем.