Google Lens запускает поиск по видео и голосу — пока только на английском языке

Теперь Google Lens предлагает поиск не только по изображению, а по видео и голосу — просто откройте камеру в поисковом окне и дополнительно надиктуйте то, что видите в это время.

Со вчерашнего дня опция доступна в Search Labs на Android и iOS — но только на английском языке.

Впервые поиск по видео Google показал на мероприятии I/O в мае: в примере на видео снимали аквариум и просили объяснить, почему рыбы плавают группой, тогда как Google Lens с помощью Gemini AI быстро выдавал нужный ответ.

Вице-президент Google по разработке Раджан Пател в комментарии The Verge объяснял, что Google Lens рассматривает видео как серию кадров и использует подобные методы компьютерного зрения, как и в случае с изображениями (однако здесь дополнительно привлекают искусственный интеллект Gemini, который анализирует именно последовательность кадров и имеющиеся ответы в интернете).

Сейчас отдельные звуки на видео не идентифицируются (например, Lens не поможет вам определить птицу по ее пению), однако в Google говорят, что уже экспериментировали над функцией.

Между тем голосовые запросы в Google Lens обновили и для поиска изображений — причем теперь это можно делать одновременно со съемкой, а не после обработки как раньше. Опцию уже выпустили для всех, но пока она доступна только на английском.