Нейросетевые алгоритмы уже применяются на практике при редактировании фотографий.
В основе алгоритма лежит архитектура генеративно-состязательной нейросети.
Нейросетевые алгоритмы уже некоторое время применяются на практике при редактировании фотографий.
К примеру, Adobe Photoshop умеет убирать объекты со снимка, реалистично заменяя их на фон.
Для этого программа использует информацию со всех окружающих объект областей.
Алгоритм основан на популярной архитектуре генеративно-состязательной нейросети.
Она подразумевает, что алгоритм состоит из двух частей: одна из них выполняет прямую задачу (в данном случае дорисовывает фотографии), а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки.
Одна из ключевых особенностей подхода авторов, которая привела к хорошим результатам, заключается в том, что на входе нейросеть получает не один снимок, а два.
Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом.
Авторы экспериментировали с размером этой области, заливая 25, 50 и 75 процентов от исходного кадра.
Второе изображение — это маска, показывающая, какая именно область была залита.
Помимо дорисовывания изображений разработчики также опробовали алгоритм на видео.
Таким способом они предлагают дорисовывать кадры по бокам, к примеру, в случае с вертикальными видео.