В качестве основы разработки исследователи из Принстонского университета и Университета штата Вашингтон использовали метаповерхности, подвид метаматериалов, обладающих свойствами, которых не бывает в природе. Благодаря своей уникальной геометрии метаповерхности отлично подходят для управления светом. Взяв 50 легких и тонких металинз и поместив их одна на другую, инженеры получили оптическое устройство, выполняющее, одновременно, функцию нейросети.

Такой подход имеет ряд преимуществ. Во-первых, металинзы невероятно быстры. Они идентифицируют и классифицируют изображения в 200 с лишним раз быстрее, чем обычные нейронные сети. Во-вторых, они потребляют мало энергии, поскольку вместо электричества используют свет.

В-третьих, разработчики с удивлением поняли, что свет, выходящий из металинз, вообще не должен напоминать оригинальное изображение. Неровности метаповерхности выступают фильтрами, сортирующими оптические данные на группы: по контурам, светлым и темным участкам, даже по недоступным человеческому восприятию свойствам. Таким образом, компьютеры получают уже предварительно обработанную, структурированную информацию.

«Мы поняли, что нам не нужно записывать идеальное изображение, — сказал Феликс Хайде, соавтор исследования. — Можно записывать только определенные функции, которые затем можно объединить для выполнения таких задач, как классификация».

В результате ученые разработали систему, способную идентифицировать объекты на изображениях, используя менее 1% вычислительной мощности от того объема, который расходуют традиционные методы. При этом металинза берет на себя 99,4% рабочей нагрузки.

Система мгновенно выполняет сотни миллионов вычислений с плавающей запятой в секунду (FLOPS). Традиционные нейросети применяют для извлечения данных математические фильтры (ядра), что требует многочисленных вычислений даже для нескольких пикселей. Новая система  естественным образом осуществляет сложную фильтрацию в процессе прохождении света, чтобы несколько больших фильтров могли анализировать все изображение сразу. Крошечные столбики на поверхности каждой линзы реорганизуют и извлекают свет без электричества или активного контроля.

Авторы разработки уверены, что успех проекта зависит от использования меньшего количества крупных оптических ядер и от плавной интеграции аппаратного и программного обеспечения, рассказывает IE.

«Это совершенно новый взгляд на оптику, который сильно отличается от традиционного, — заявил Арка Маджумдар из Вашингтонского университета, соавтор исследования. — Это сквозной проект, в котором оптика разрабатывается совместно с вычислительным блоком. Мы заменили объектив модифицированным оптическим устройством, что позволило нам выполнять в оптике большую часть вычислений».

Китайские ученые совершили прорыв в технологии оптической визуализации, разработав мощную лазерную систему, способную различать детали размером 1,7 мм с расстояния более 100 км. Эта разработка, в 100 раз превосходящая по своим возможностям существующие шпионские камеры и телескопы, способна кардинально изменить методы наблюдения и разведки.