Компьютерное зрение — неотъемлемая часть множества новейших разработок в области искусственного интеллекта, от беспилотных автомобилей и фабричных роботов до сенсоров, имитирующих человеческий глаз. Машины начинают все лучше распознавать увиденное, но пропорционально растут и расходы на вычислительные мощности. А огромное количество визуальных данных, не всегда полезных для классификации изображения, замедляют работу нейросетей.

Сенсор, способный одновременно воспринимать и обрабатывать изображение, не конвертируя или пересылая данные, позволил бы распознать изображения намного быстрее и с меньшими затратами энергии. Описание такого устройства опубликовали исследователи из Института фотоники Вены (Австрия). По сути, оно делает то же, что и глаз человека или животного — предварительно обрабатывает визуальную информацию, прежде чем передать ее мозгу, пишет MIT Technology Review.

В ходе испытаний разработчики продемонстрировали возможность обучения под наблюдением и без и натренировали сенсор верно классифицировать и кодировать изображения, которые проецировались на искусственный глаз, со скоростью примерно 50 нс. 

Чип создан из листа диселенида вольфрама толщиной несколько атомов, на котором вытравлены светочувствительные диоды. Диоды подключены к нейронной сети. Материал чипа придает ему уникальные электрические свойства, так что его светочувствительностью можно управлять извне. Это означает, что сеть можно обучить классифицировать визуальную информацию, добавляя чувствительность диодов, пока не будет получен корректный отклик. В данном случае, чип научился распознавать стилизованные, пикселизированные версии букв n, v и z.

Пока этот искусственный глаз состоит из всего 27 детекторов и может распознавать изображения, состоящие только из блоков 3×3. Тем не менее, даже в таком виде он может быть полезен при выполнении стандартных машинных операций, например, для классификации букв.

В дальнейшем исследователи намерены расширить его возможности.

Недавно ученые из США сумели создать более компактную версию, которая помещается на одном кремниевом чипе. Пока это всего лишь опытный образец, но уже к концу года разработчики намерены подготовить его для практических применений.