Системы восприятия роботов могут плохо функционировать в ненастную погоду и других сложных условиях. Например, в густом дыме или тумане традиционные световые датчики (камеры, LiDAR) становятся бесполезными. Но в природе зрение — это не единственный способ ориентироваться в мире. Акулы обнаруживают добычу, улавливая электрические поля, а летучие мыши используют эхолокацию.

В отличие от человеческого зрения, радиоволны способны пронизывать некоторые материалы. Они проникают через дым и туман лучше, чем световые волны, за счет большей длины волны. Роботы исторически использовали ограниченный набор инструментов. Классический радар видит сквозь стены и другие препятствия, но создает примитивные, низкокачественные изображения. А камеры и LiDAR обеспечивают детализированные изображения, но работают с перебоями в сложных условиях.

Технология PanoRadar преобразует обычные радиоволны в детальные трехмерные изображения окружающего пространства, в результате чего роботы получают «сверхчеловеческое зрение». Система состоит из вертикального массива антенн, который сканирует окружающую среду по кругу. Подобно тому, как луч маяка обнаруживает корабли и прибрежные ориентиры, антенны PanoRadar излучают радиоволны и улавливают их отражения от окружающих объектов, создавая таким образом детальное трехмерное изображение.

В отличие от маяка, который лишь освещает участки пространства по мере вращения, PanoRadar при помощи искусственного интеллекта объединяет данные, полученные со всех углов поворота. Это позволяет повысить разрешение создаваемых изображений. За счет вращательной техники создается плотный массив виртуальных измерительных точек, что обеспечивает разрешение изображения, сопоставимое с лидаром, при гораздо меньше стоимости.

Разработка PanoRadar потребовала решения нескольких сложных технических задач. Для высокого разрешения изображений при движении робота нужно было проводить измерения с разных углов с миллиметровой точностью. Кроме того, систему необходимо было обучить интерпретировать сложные среды на основе радиосигналов. Ученые разработали специальные алгоритмы для распознавания характерных паттернов, схожие с человеческим восприятием. Благодаря калибровке с помощью лидара PanoRadar отслеживает объекты в задымленных зонах и картографирует помещения со стеклянными стенами, что недоступно для традиционных датчиков.

В будущем планируется объединить PanoRadar с камерами и лидарами, чтобы роботы могли лучше ориентироваться и выполнять задачи. Команда планирует протестировать технологию на автономных транспортных средствах и роботизированных платформах.