GauGAN разработана на базе созданной в прошлом году системы Pix2Pix, которая генерирует виртуальные миры. Однако  Pix2Pix не могла еще нарисовать полноценный пейзаж, рассказал на конференции в Сан-Хосе вице-президент Nvidia Брайан Катанцаро. После ее вмешательства на изображении оставались следы, указывающие на не слишком аккуратную работу ИИ, пишет TechCrunch.

Для тренировки GauGAN понадобилось около одного миллиона изображений с Flickr и хорошее понимание свойств более чем 180 объектов — снега, деревьев, цветов, кустарников, холмов и гор — и их взаимоотношений. Зато теперь в реке появляется отражение стоящих рядом деревьев, а листва меняется в зависимости от времени года.

Также нейросеть умеет менять стилистику изображения, например, накладывать теплый свет заката или холодное освещение над крышами небоскребов.

Программа использует карту сегментации, которая действует как своего рода книжка-раскраска, задающая положение крупных объектов, без детализации.  У нее всего три инструмента: палитра, ручка и карандаш. Внизу экрана предложены на выбор несколько объектов. Если выбрать, к примеру, облако и нарисовать линию, ИИ создаст вереницу облаков. Если нарисовать зубчатую линию — изобразит елку. При этом GauGAN мультимодальна, то есть если два пользователя нарисуют одинаковые наброски и выберут тот же скетч, результат получится разным.

Скорость работы алгоритма обеспечивает вычислительная платформа Tensor. Nvidia показала ее на платформе графического процессора RDX Titan.

Результат появляется в режиме реального времени: пользователь вносит изменения в рисунок и тут же их видит.

После внесения последних доработок GauGAN будет доступен на новом сайте компании AI Playground, на котором можно будет воспользоваться услугами различных специально обученных нейросетей для создания изображений.

В конце прошлого года алгоритм Nvidia научился перерабатывать реальное окружение в объекты виртуального мира.