Гораздо сложнее, чем просто генерация с помощью ИИ: NVIDIA впервые продемонстрировала инструменты DLSS 5

NVIDIA после анонса DLSS 5 подверглась широкой критике из-за генерации изображений с помощью ИИ. В настоящее время компания впервые демонстрирует инструменты нового поколения апскейлера.

В рамках конференции SIGGRAPH В NVIDIA подтвердили, что DLSS 5 на данный момент включает 3 модели. При этом разработчики могут выбирать из них подходящие варианты для различных сцен. Они также могут настраивать эффекты для разных персонажей, объектов и прочих визуальных элементов.

Компания продемонстрировала эти модели, глобальные настройки интенсивности, автоматические маски персонажей и элементы управления для отдельных объектов, определяемые движком. DLSS 5 добавляет тип генерации после того, как игра создает кадр, отрисованный обычным способом. Исходный рендер, как и прежде, определяет геометрию, камеру, настройки освещения и композицию. Затем апскейлер обрабатывает этот кадр для улучшения теней, отражений и других визуальных деталей.

В первую очередь разработчики стремились сохранить художественный замысел геймдизайнеров. Генеративные модели ИИ способны изменять детали, которые должны оставаться неизменными, в том числе черты лица, шрамы и элементы одежды. DLSS 5 использует отрендеренный кадр и внутренние буферы движка, в частности альбедо, нормали поверхности и данные об освещении, чтобы сгенерированный результат соответствовал исходному кадру.

Еще одной проблемой была временная стабильность. Генеративные ИИ-модели обычно обрабатывают несколько кадров одновременно, однако игра должна мгновенно реагировать на действия игрока. DLSS 5 работает в причинно-следственном режиме, то есть обрабатывает по одному кадру за раз, не анализируя последующие. Апскейлер использует векторы движения и другие данные движка для уменьшения мерцания, смещения и скольжения между кадрами.

Ещё одной проблемой была производительность. В NVIDIA объединили знания, полученные от более крупных генеративных моделей, в более компактный одношаговый преобразователь диффузии в пиксельном пространстве. Модель предназначена исключительно для улучшения внешнего вида исходных игровых кадров, а не для неограниченной генерации изображений или видео. Разработчики также уверяют, что апскейлер будет работать на одном графическом процессоре с эффективным распределением памяти.

DLSS 5 будет включать несколько моделей, обученных с использованием различных параметров. В NVIDIA продемонстрировали 3 примера под названиями “Модель А”, “Модель B” и “Модель C”. Каждая из них выдает свою вариацию одной и той же отрендеренной сцены. Разработчикам не придётся использовать одну и ту же модель на протяжении всей игры.

В NVIDIA отмечают, что разработчики могут выбирать разные модели для разных сцен, окружения или кат-сцен. Модели можно комбинировать на протяжении всей игры в зависимости от желаемого визуального результата. Разработчики получат отдельные инструменты управления интенсивностью структуры и тона. Интенсивность структуры изменяет высокочастотные детали, в частности, затенение окружающей среды, отражения и подповерхностное рассеяние. Интенсивность тона вносит более масштабные изменения в освещение, цвет и общий вид сцены.

DLSS 5 также поддерживает автоматическое маскирование с помощью самой модели. В NVIDIA продемонстрировали, как модель определяет персонажа и применяет эффект только к этому персонажу, не внося изменений в окружающую среду. Затем интенсивность эффекта можно регулировать независимо.

Разработчики также могут создавать дополнительные маски внутри игрового движка для отдельных объектов или групп объектов. В NVIDIA продемонстрировали отдельные элементы управления для бутылок, винограда, кувшина и других предметов. Каждая маска может иметь независимые настройки текстуры и тона, что позволяет разработчикам отключать DLSS 5 для одних объектов и применять более интенсивную обработку для других.

В NVIDIA подчеркивают, что DLSS 5 предназначена для расширения существующих конвейеров растеризации, рейтрейсинга и трассировки пути, а не для их замены. В компании описывают генерацию как третью категорию нейронного рендеринга наряду с реконструкцией и аппроксимацией функций. Релиз DLSS 5 должен состояться осенью. В настоящее время в NVIDIA корректируют элементы управления в соответствии с отзывами разработчиков и художников.

Источник: VideoCardz