Процесс превращения нескольких обычных фотографий в 3D-картины основан на технике обратного рендеринга. Эта технология существует не первый год, однако раньше она не могла обойтись без мощного оборудования и продолжительных операций. При этом для качественного результата требовалось множество фотографий, показывающих сцену под каждым углом. Инженеры из Nvidia разработали подход, который упрощает обратный рендеринг.

Компания интегрировала в процесс продвинутые нейронные сети, написанные специально для работы с изображениями. Система NeRF использует нейросети для предсказания того, как движется свет и цвет в каждом направлении из любой заданной точки пространства. Технически, платформа имитирует то, что видят глаза человека под определенным углом, а затем реконструирует сцену. В Nvidia утверждают, что эта методика в 1000 раз превосходит аналоги — как по скорости, так и по точности.

«NeRF похожи на растровые изображения, и в этом смысле Instant NeRF может быть так же важен для 3D, как цифровые камеры и сжатие JPEG для 2D-фотографии, поскольку она значительно увеличивает скорость, простоту и охват 3D-съемки», — объяснил Дэвид Лубке, вице-президент Nvidia по исследованиям в области графики.

Как сообщает SiliconAngle, Nvidia впервые продемонстрировала новую технологию в рамках мероприятия GTC 2022. Презентуя Instant NeRF, компания воссоздала образ американского художника Энди Уорхола, превратив несколько фотографий под разными углами в единую и реалистичную 3D-сцену.

Актуальные модели NeRF быстро обрабатывают изображения, но все еще требуют много времени на обучение. Чтобы упростить себе задачу, Nvidia применила технику, известную как кодирование хеш-сетки, специально предназначенную для работы на графических картах компании. Эта технология создает небольшие нейронные сети, которые обучаются в короткие промежутки времени. Представители компании отметили, что таким образом платформа может работать на одном графическом процессоре. Это означает, что вскоре Instant NeRF может быть доступна для обычных потребительских ПК.

Потенциальных сценариев применения, рассказали в Nvidia, у Instant NeRF множество. В перспективе система пригодится в разработке метавселенной, при создании которой компании будут использовать нейросети для быстрого переноса объектов из физического мира в цифровой. А в реальном мире Instant NeRF может быть интегрирована в роботов — так, машины будут лучше обрабатывать пространства вокруг себя и быстрее ориентироваться в геометрически сложных помещениях.