Новая ИИ-система от Nvidia переводит текст в изображения пейзажей

Компания Nvidia представила новую систему на базе технологий искусственного интеллекта GauGAN2 (преемник первой модели GauGAN), позволяющую создавать правдоподобные фотографии несуществующих пейзажей. С помощью таких техник, как сегментированное картирование, ретушь и преобразование текста в изображение, GauGAN2 способна создавать реалистичные изображения на основе текста и набросков от руки.

"По сравнению с другими передовыми моделями, в особенности для преобразования текста в изображение или сегментов карт в изображение, лежащая в основе GauGAN2 нейронная сеть производит более разнообразные и качественные изображения. Вместо прорисовки каждого элемента воображаемого изображения, пользователи могут просто ввести короткую фразу и сгенерировать его ключевые особенности и сюжет наподобие заснеженного горного хребта. Эту стартовую заготовку потом можно дорисовать, сделав ту или иную гору выше и добавив деревья на заднем плане или облака в небе", - сообщила участница команды Nvidia Иша Салиан (Isha Salian).

GauGAN2 является улучшенной версией системы GauGAN, созданной в 2019 году и обученной на более миллиона открытых изображений с платформы Flickr. Как и GauGAN, GauGAN2 понимает взаимосвязи между объектами, такими как снег, деревья, вода, цветы, кусты, холмы и горы и "осознает", что тип осадков меняется в зависимости от времени года.

И GauGAN, и GauGAN2 представляют собой генеративно-состязательную сеть (generative adversarial network, GAN), состоящую из генератора и дискриминатора. Генератор берет образцы (изображения с сопроводительным текстом) и предполагает, какие данные (слова) соответствуют другим данных (элементам пейзажа). Генератор обучен путем обмана дискриминатора, который оценивает, соответствуют ли эти предположения истине. Хотя переходы GAN обычно имеют низкое качество, они улучшаются с помощью ответной реакции дискриминатора.

В отличие от GauGAN, GauGAN2 обучена на 10 млн изображений и способна переводить речевые описания в изображения пейзажей. Если ввести текст наподобие "закат на пляже", сеть сгенерирует соответствующее изображение, а если расширить фразу до "закат на каменистом пляже" или заменить "закат" на "полдень" или "дождливый день", в изображении появятся соответствующие изменения.

С помощью GauGAN2 пользователи могут генерировать сегментированные карты - высокоуровневые эскизы, показывающие расположение объектов на изображении. Этот эскиз затем можно превратить в рисунок, добавив в него грубые наброски с помощью маркировки "небо", "дерево", "камень" и "река" или дорисовки вручную с помощью инструмента "кисть".

Как заявляет Nvidia, первая версия GauGAN уже используется для создания концепт-арта для кинофильмов и видеоигр. Как и в случае с GauGAN, компания планирует выложить код GauGAN2 на GitHub вместе с интерактивной демонстрацией на Playground - web-хабе для исследований искусственного интеллекта Nvidia и глубокого обучения.