Летчику, пилотирующему современные самолеты, приходится иметь дело с большим объемом информации, поступающим со множества дисплеев и панелей, особенно в чрезвычайных ситуациях. Система Air-Guardian, разработанная специалистами лаборатории MIT, берет на себя функции второго пилота, внимательно следящего за действиями первого и готового помочь, если тот не справляется.

Оценка внимания летчика происходит на основе технологии окулографии, или определения координат глазного яблока, а нейросеть работает на базе так называемых «карт значимости», которые указывают, куда направлено внимание. Эти карты служат визуальными подсказками, подсвечивающими ключевые регионы на изображении. С их помощью Air-Guardian идентифицирует признаки потенциальной угрозы, чтобы вмешиваться только в экстренных случаях.

В полевых испытаниях летчик и система принимали решения на основе одинаковых исходных визуальных данных, ведя самолет к указанной точке. Эффективность Air-Guardian измерялась по совокупным очкам, полученным в ходе полета. Система смогла снизить уровень опасности полета и повысить успешность навигации до точки назначения.

Главное преимущество Air-Guardian в ее базовой технологии. Благодаря объединению и оптимизации визуального внимания летчика и машины и возможностям комплексной нейросети с непрерывным временем в области распознавания отношений причинности система анализирует поступающие изображения на предмет важной информации. Дополняет все это алгоритм VisualBackProp, который идентифицирует фокальные точки в изображении, что улучшает понимание карт внимания.

Возможности применения этой системы выходят за рамки авиации, пишет MIT News. Те же механизмы совместного управления могут использоваться в наземном транспорте, пилотировании дронов и в робототехнике. Однако для удобства практического применения требуется доработка интерфейса человек-машина.

Инженеры из Университета Карнеги — Меллона (США) утверждают, что создали самый совершенный алгоритм для управления летательными аппаратами. Новый ИИ-пилот легко контролирует полет в переполненном воздушном пространстве, умеет общаться с диспетчерами и другими пилотами, а также способен отслеживать соседние самолеты и координировать их действия.