Разработанная в Facebook Reality Labs сверточная нейронная сеть DeepFocus создает впечатление выборочного размытия внутри виртуальных сцен. Так взгляду наблюдателя кажется, что все происходящее выглядит намного реалистичнее, рассказывает ZDNet.

Один из недостатков гарнитур VR — так называемый конфликт сигналов вергентности и приспособляемости (VAC), когда в виртуальной сцене предметы на расстоянии выглядят не так, как в реальности. Как минимум, это означает, что виртуальный опыт оказывается не таким полным. Как максимум — может вызвать у пользователя физический дискомфорт.

DeepFocus работает с прототипом гарнитуры Half Dome, которую команда Facebook разрабатывает на протяжении последних трех лет. В отличие от обычных Rift или других моделей, она обладает системой отслеживания движений глаз и линзами, которые могут перемещаться вперед и назад. Это позволяет менять глубину фокуса в зависимости от направления взгляда пользователя.

Но одного железа мало, нужна программа, которая создавала бы нечто вроде фонового размытия, которое ожидает увидеть мозг.

Предшествующие подходы заключались в создании в гарнитуре множества проекторов, работающих по технологии построения лучей, чтобы генерировать изображения под различными углами. Однако, этот метод оказался слишком затратным с точки зрения вычислительных мощностей.

В блоге инженеры Facebook Reality Labs описывают, как смогли обучить сверточную нейросеть селективно размывать элементы трехмерной сцены, чтобы избавиться от эффекта VAC.

Впервые они показали свои наработки на конференции Oculus Connect в этом году, а теперь выложили DeepFocus с открытым кодом.

В октябре Facebook подтвердила, что ведет работы над собственными очками дополненной реальности. Готового продукта для анонса еще нет, никаких технических подробностей — тоже, но аналитики предполагают, что изделие реализуют на чипе собственной разработки Facebook.