Несмотря на ажиотаж, окружающий технологию VR, телевизоры и мониторы все еще остаются главным способом потребления видеоконтента. Одна из причин тому — неприятные ощущения во время просмотра виртуального контента. Тошнота и усталость глаз возникают из-за того, что VR создает иллюзию трехмерного пространства, хотя на самом деле пользователь смотрит на неподвижный 2D-экран. Решением может стать технология 60-летней давности, адаптированная под цифру: голография.

Обычная фотография с помощью линзы преобразует яркость каждой волны света, верно передавая цвета, но делая изображение плоским. Голограмма же, напротив, кодирует и яркость, и фазу каждой волны, что придает сцене параллакс и глубину. Однако создавать их непросто.

Первые голограммы, разработанные в середине XX, записывались оптически, с помощью расщепления лазерного луча. Затем появились компьютерные голограммы, которые моделировали оптический процесс, но они требовали высоких вычислительных мощностей. На одно изображение могло уйти несколько секунд или минут вычислительного времени суперкомпьютера. Вдобавок существующие алгоритмы не моделировали окклюзию с фотореалистичной точностью.

Поэтому ученые из MIT пошли другим путем: они позволили компьютеру самому научиться законам физики. Для этого они применили глубокое обучение и разработали сверточную нейронную сеть, рассказывает MIT News.

Тренировка нейросети обычно требует большой базы данных, которой для голограмм нет. Исследователи создали собственную, состоящую из 4000 пар компьютерно-сгенеренных изображений. Каждая пара увязывала картинку, включая информацию о цвете и глубине каждого пикселя, с соответствующей голограммой. Для создания голограммы в новой базе данных ученые использовали сцены с комплексными и меняющимися формами и цветами, а также другими параметрами, которые обеспечили фотореалистичность материала для обучения.

Изучив каждую пару изображений, нейросеть смогла изменить параметры собственных вычислений, успешно повысив способность создания голограмм. Полностью оптимизированная нейросеть работала на несколько порядков быстрее, чем в случае вычислений, основанных на стандартном обсчете физики.

За какие-то миллисекунды тензорная голография (как назвали метод его авторы) может создавать голограммы из изображений с информацией о глубине, которая есть в обычных компьютерных картинках или высчитывается с помощью камер или лидаров. Более того, компактная тензорная сеть требует менее 1 Мб памяти, так что вполне может поместиться на обычном смартфоне.

Проблема большинства «голографических устройств» в том, что картинка у них имеет достаточно низкое разрешение и видна только под определенным углом. В прошлом году Samsung представила прототип устройства, показывающего 3D-изображения в разрешении 4К и с широким углом обзора.