GauGAN (нейросеть)

GauGAN — нейросеть от NVIDIA, которая превращает даже самые грубые наброски в фотореалистичные изображения.

Как и ранее представленные генеративно-состязательны сети, GauGAN действует на основе алгоритма машинного обучения. Специалисты NVIDIA назвали программу в честь знаменитого французского живописца и крупнейшего представителя постимпрессионизма – Поля Гогена (Paul Gauguin). Алгоритм превращает простые абстрактные линии в гиперреалистичные картинки. Тренировка нейросети представляла собой изучение более миллиона различных стоковых изображений, в частности пейзажей, благодаря чему GauGAN может с лёгкостью воспроизводить всевозможные формы ландшафта.

Вице-президент Института глубокого обучения NVIDIA Браян Катандзаро описал концепт программы как «умная кисточка». Нейросеть распознаёт наброски и подбирает наиболее подходящие формы ландшафта из перечня ранее изученных изображений. Таким образом простые линии, выполненные различными цветами, подобны заранее напечатанным контурам в детских раскрасках. Как и все генеративно-состязательные сети, программа GauGAN построена на взаимодействии двух нейронных сетей: генеративной и дискриминативной. Генеративная составляющая подбирает потенциальные компоненты будущего ландшафта, а дискриминативная оценивает то, как эти компоненты взаимодействуют между собой на представленных в каталоге изображениях, и собирает из них готовый «пазл».

Программа GauGAN обладает интуитивно понятным интерфейсом. Перед началом генерирования изображения необходимо согласовать цвета с конкретными ландшафтными формами: различные оттенки зелёного могут соответствовать траве или растениям, а в зависимости от интенсивности синего цвета, нейросеть расшифрует его как небо, горы или водоём. Кроме того, пользователь может настраивать предпочтения касательно отдельных элементов, например, времени суток и года, погоды или наличия на изображении рукотворных деталей – строений, дорог и т. п..

• 
• 

См. также

Похожие проекты

• Scene Generation by ashual

Ссылки

• nvidia-research-mingyuliu.com/gaugan/ — официальный сайт GauGAN (нейросеть)
• https://www.nvidia.com/en-us/studio/canvas/
• https://www.youtube.com/watch?v=p5U4NgVGAwg