Область приложения нового алгоритма от Nvidia называется созданием генеративных моделей. Вице-президент Nvidia по прикладному глубокому обучению Брайан Катанцано, говорит, что подобные технологии изменят создание графического контента. Создать виртуальный мир будет стоить копейки — по сравнению с нынешними затратами.
Особенно актуальна эта разработка для производителей компьютерных игр. Игрокам нужен открытый мир, и чем больше — тем лучше. И сейчас гигантские пространства приходится заполнять полигон за полигоном.
Решение от Nvidia позволяет наполнить виртуальный мир объектами из реального — не только дешевле, но и намного быстрее.
Катанцано объясняет, что для обучения модели использовались записи, которые на протяжении недели собирали автопилоты. Алгоритм запускали на суперкомпьютере DGX-1, который CEO Nvidia Хуан Жэньсюнь ранее называл «250 серверов в коробке». Так что повторить эксперимент в домашних условиях вряд ли удастся, пишет Engadget.
Далее разработчики использовали игровой движок UE4, чтобы создать «семантическую карту» сцены. То есть каждому пикселю отснятого материала присваивался ярлык: машина, дерево, фонарь. Так появились скопления пикселей с определенными названиями. У этих скоплений возникли границы, в рамках которых, например, пиксели «машина» действительно образовывали контур машины. Вышел своеобразный эскиз реального мира.
После для каждой части этого эскиза ИИ применял визуальные эффекты, превращая очертания объекта в его полноценную виртуальную копию.
В Nvidia утверждают, что описание процесса занимает гораздо больше времени, чем он сам. На практике «оцифровывать миры» с помощью ИИ можно в реальном времени с частотой 25 кадров в секунду.
Разработчики также указывают и на минусы технологии. Так, не все объекты получаются идеальными. Да и качество детализации ИИ-художника далеко от того, что характерно для тайтлов ААА-класса.
Но если качество со временем можно улучшить, то от этических вопросов уйти тяжелее. Это очередной алгоритм, который позволяет создавать дипфейки. В качестве примера разработчики показали отрывок видео, где их коллега танцует нелепый танец. Фигурант заявил, что никогда не танцевал, а видео — результат работы их алгоритма.
