Инженер разработал ИИ-камеру, которая делает фотографии на основе звуков вокруг. Как это работает

Разработчик создал «слепую» камеру, которая делает фото, ориентируясь только на звук. В этом ей помогает искусственный интеллект, распознающий окружение по звукам и генерирующий изображение. Редакция MC.today рассказывает поподробнее.

Разработчик Диего Трухильо Писанти создал Blind Camera. Чтобы сделать фото, нужно только навести звукоуловитель устройства на объект и нажать кнопку. Затем искусственный интеллект распознает место по звукам и сгенерирует изображение. Полученный результат соответствует окружающему звуковому ландшафту, а не именно тому, что перед фотографом.

Фото: trujillodiego.com

Для этой разработки Писанти создал новую нейросеть, которая может отличать звуки. Она обучалась на видео, снятых в Мехико. Так, для обучения взяли кадры видео и предыдущую секунду аудио. Таким способом образовались ассоциации, привязанные к местности. Поэтому кадры, сделанные Blind Camera, будут напоминать Мексику.

«Искусственный интеллект в основном пытается снизить предвзятость, однако Blind Camera вместо этого воспринимает себя как мексиканский городской объект, интерпретируя звуки, которые она слышит с этой позиции», – отмечается на сайте.

• Ранее мы рассказывали о другой «слепой» камере, которая делает фото на основе данных о локации, времени и погоде. Результат ее работы вы можете посмотреть по ссылке.
• А здесь вы можете посмотреть самые удивительные сцены из Google Street View. В подборке есть камеры на верблюдах, потасовка с динозавром и люди-голуби.