Ключевой компонент системы LENS — Speck, комбинация чипа и датчика производства компании SynSense. Визуальный датчик Speck работает «как человеческий глаз» и более эффективен, чем камера, заявил соавтор исследования Адам Хайнс из Квинслендского технологического университета в Брисбене.
Обычные камеры фиксируют все, что находится в поле их зрения, много раз в секунду, даже если ничего не меняется. Основные модели ИИ отлично справляются с превращением этой огромной кучи данных в полезную информацию. Но камеры и ИИ поглощают много энергии. Определение местоположения съедает до трети батареи мобильного робота.
Человеческий глаз устроен не так: он фиксирует, в первую очередь, изменения, которые происходят, когда мы перемещаемся в пространстве. Затем мозг обновляет изображение того, что мы видим, на основе этих изменений. Точно так же каждый пиксель датчика Speck «просыпается» только тогда, когда обнаруживает изменение яркости в среде. Информация с сенсора поступает в компьютерный процессор с цифровыми компонентами, которые действуют как импульсные нейроны в мозге, активируясь только по мере поступления информации.
Модель ИИ, которая обрабатывает данные об окружающей среде, была разработана командой Хайнса и принципиально отличается от популярных моделей, используемых для чат-ботов. Она учится распознавать места не из огромной массы визуальных данных, а путем анализа контуров и другой ключевой информации, поступающей от датчика.
Комбинация нейроморфного датчика, процессора и модели ИИ и обеспечивает LENS малое энергопотребление и высокую производительность, сообщает Science.
Маломощный машинный «глаз» может быть чрезвычайно полезен для роботов, занимающихся исследованием космоса и подводного мира, а также для дронов или медицинских микророботов, например, тех, которые исследуют пищеварительный тракт.
Google DeepMind выпустила недавно офлайн-версию своей модели Gemini Robotics — системы, которая помогает роботам понимать команды, адаптироваться к новым задачам и выполнять действия без предварительного обучения. Теперь модель может работать полностью автономно — прямо на устройстве, без подключения к интернету.