Ученые синтезировали изображение человека из отраженных радиоволн

Исследователи из Университета электронных наук и технологий Китая разработали метод синтеза почти фотореалистичных изображений людей с использованием радиоволн и генеративно-состязательных сетей (GAN) и без применения камер. Разработанная система обучена на реальных изображениях, сделанных при хорошем освещении, но способна «фотографировать» людей даже в темноте и через большие препятствия.

Изображения основаны на «тепловых картах» от двух радиоантенн — одна фиксирует данные, а другая выявляет возмущения радиоволн из «стоячего» положения. Для обучения GAN, получившего название RFGAN, исследователи использовали данные со стандартной камеры RGB и тепловых карт радиосвязи, которые были созданы в точный момент захвата. Изображения синтезированных людей в новом проекте имеют тенденцию быть размытыми из-за низкого разрешения радиоизображения.

Адаптивная нормализация использовалась для интерпретации двойных изображений тепловой карты во время обучения, чтобы они пространственно соответствовали данным захваченного изображения. Устройства захвата радиочастоты представляли собой радары миллиметрового диапазона, сконфигурированные в виде двух антенных решеток — горизонтальной и вертикальной. Для приемопередачи использовались частотно-модулированные непрерывные волны (FMCW) и линейные антенны.

Генератор принимает исходный кадр в качестве входного слоя с представлением RF-слияния (тепловая карта), которое оркестрирует сеть посредством нормализации на уровне сверточных слоев.

Данные были собраны из отражений РЧ-сигнала от антенны миллиметрового диапазона с частотой всего 20 Гц, с одновременной съемкой видео с очень низкой частотой 10 кадров в секунду. Было запечатлено девять сцен в помещении с использованием шести добровольцев, каждый из которых был одет в разную одежду для различных сеансов сбора данных. Результатом стали два различных набора данных (RF-Activity и RF-Walk), первый из них содержал 68 860 изображений людей в различных положениях вместе с 137 760 соответствующими кадрами тепловой карты, а второй — 67 860 кадров случайной ходьбы человека вместе с 135 720 парами связанных тепловых карт.

RFGAN — новый способ использования имитационных и репрезентативных возможностей генерирующих состязательных сетей для создания новой и интригующей формы наблюдения. Разработка потенциально может действовать в темноте и сквозь стены.