Microsoft запатентовала ИИ, который сможет менять речь людей прямо во время трансляции — СМИ

Компания Microsoft подала заявку на патент технологии, которая может изменять слова спикера прямо во время прямой трансляции его выступления. При этом она способна изменять даже то, как двигаются губы выступающего, поэтому изменения будут практически не заметны. Внимание на заявку обратил портал Patentlyze. Как отмечается, что ее подали еще 29 апреля 2025 года, но опубликовали только 30 октября 2026-го.

По задумке, технология помогает избавить речь спикера от слов-паразитов. Например, с ее помощью можно «подчистить» речь человека, который постоянно произносит «ммммм», «ээээ» и подобные звуки. Искусственный интеллект (ИИ) анализирует аудио и, опираясь на заданный пользователем профиль, помечает слова, которые он не хотел бы слышать. Затем система заменяет их на более подходящие варианты и корректирует изображение губ говорящего на видео так, чтобы они соответствовали новым словам. Плавные переходы позволяют сделать эти изменения практически незаметными.

Эта же технология может быть использована и для перевода. Если спикер говорит не на том языке, который указан в профиле пользователя, тот будет слышать речь на родном языке. При этом задержка составит всего несколько секунд.

В патентной заявке описывается система, которая отслеживает видеопоток в реальном времени вместе с сопровождающей его аудиодорожкой, пока люди ведут разговор. Агент на базе искусственного интеллекта (программное обеспечение, способное самостоятельно принимать решения) анализирует произносимые слова и, опираясь на заданные правила и профиль пользователя, выбирает те из них, которые подлежат замене.

Затем генеративный ИИ (технология, создающая новый текстовый, аудио- или визуальный контент) выполняет две задачи практически в режиме реального времени:

• Система заменяет выбранные слова на новые — как в аудио-, так и в видеоряде.
• Система корректирует аудио и видео непосредственно до и после момента замены, чтобы переход был плавным и незаметным.

При этом задержка составляет от одной до 10 секунд.

Если технология будет внедрена, она поможет смотреть концерты, митинги и лекции на любом языке без необходимости дополнительного перевода. Но она же потенциально может использоваться для изменения сказанного выступающим, например, убирать  или заменять оскорбительные слова. Вместе с тем, если она будет использована в корыстных целях, с ее помощью можно будет создавать дипфейки, которые будет сложно отличить от реальных видео.

Напомним, в этом году в США впервые вынесли приговор  в соответствии с федеральным законом Take It Down, который с 2025 года криминализирует интимные дипфейки.

Модифицированные видео используются также и в других сферах. Так, в июне 2025 года Белый дом опубликовал в своем официальном аккаунте Instagram рекламу законопроекта об отмене налогообложения на сверхурочную работу. В видео фигурирует популярная украинская актриса Антонина Хижняк. Ее цифрового двойника сгенерировали с помощью искусственного интеллекта.