Ученые научились воспроизводить отражение из глаз на фото и видео

Исследователи из Университета Мэриленда превратили отражение глаз в 3D-сцены. Об этом сообщает Engadget.

Работа основывается на нейронных полях излучения (NeRF), технологии искусственного интеллекта, которая может реконструировать окружение 2D-фотографий. Хотя подход на основе отражения глаз должен пройти долгий путь к практическому применению, это исследование дает взгляд на технологию, которая в конечном счете может раскрыть окружение по серии простых портретных фотографий.

Команда использовала тонкие отражения света, зафиксированные в глазах человека (используя последовательные изображения, сделанные одним сенсором), чтобы попытаться распознать непосредственное окружение человека. Они начали с нескольких изображений высокого разрешения с фиксированной позиции камеры, зафиксировав подвижного человека, смотрящего в сторону камеры. Затем они увеличили отражение, выделили их и вычислили, куда смотрели глаза на фотографиях.

Результаты показывают достаточно заметную реконструкцию окружающей среды из человеческих глаз в контролируемой среде. Сцена, снятая с помощью синтетического глаза, создала более впечатляющую сцену, похожую на сон. Однако попытка смоделировать отражение глаз в клипах Майли Сайрус и Леди Гаги дала лишь расплывчатые пятна, которые исследователи могли лишь догадываться, что это светодиодная сетка и камера на штативе – иллюстрация того, насколько далека эта технология от реального использования.

Команда преодолела большие препятствия, чтобы реконструировать даже грубые и нечеткие сцены. Например, роговица вносит "собственный шум", усложняющий отделение отраженного света от сложных текстур радужной оболочки глаза человека. Чтобы решить эту проблему, во время учебы была внедрена оптимизация положения роговицы (оценка положения и ориентации роговицы) и декомпозиция текстуры радужной оболочки (выделение особенностей, присущих радужной оболочке глаза человека). Наконец, радиальная регуляризация потерь текстуры (метод машинного обучения, имитирующего более плавные текстуры, чем исходный материал), помогла еще больше изолировать и улучшить отраженные пейзажи.