«Умная колонка, стоящая на кухне, не может понять, где она находится, не говоря уж о том, чем занят находящийся рядом человек, — рассуждает Крис Харрисон из Университета Карнеги — Меллона. — Но если эти устройства поймут, что происходит вокруг, они станут намного полезнее».

Харрисон и его коллеги предлагают два способа решить проблему. Один — использование самого распространенного из сенсоров, микрофона. Второй — современной версии подслушивающего устройства, которое в 50-х годах прошлого века применяло КГБ, рассказывает Science Daily.

Для первого варианта ученые разработали систему распознавания звуков Ubicoustics, которая использует микрофоны в умных колонках, смартфонах и других гаджетах, чтобы отличать кухню от ванной, гостиной, прихожей или кабинета. Идея состоит в использовании профессиональных библиотек звуков, которые применяются в индустрии развлечений. Они уже разложены по категориям и снабжены метками, что ускоряет обучение алгоритмов нейронных сетей.

Обученный аппарат сможет определить на звук, работает ли стиральная машинка или блендер, стучит ли клавиатура, и где именно это происходит.

Точность Ubicoustics — примерно 80%, что сравнимо с человеческими возможностями, но пока недостаточно хорошо для коммерческого использования.

Второе изобретение — Vibrosight, напоминающее боковую линию рыб. Оно распознает вибрацию в определенной точке квартиры при помощи лазерной виброметрии. Похожие приборы якобы использовали сотрудники КГБ для прослушивания разговоров.

У этого подхода есть целый ряд плюсов. Особенность вибрации в том, что она сопутствует практически любой деятельности человека и привязана к точке в пространстве. При этом вибрация от одного действия не взаимодействует с вибрацией другого. Кроме того, в отличие от видео- и аудионаблюдений, этот вид сбора данных не нарушает право на частную жизнь пользователя.

Для виброметрии нужен специальный датчик: маломощный лазер в сочетании с зеркалом, способным менять свое положение. Ученые собрали экспериментальный прототип, который обошелся им в $80. Правда, приборы, за которыми должен наблюдать прибор, пришлось прикрепить светоотражатели.

Точность идентификации включенного или выключенного состояния прибора составила 98%, идентификации прибора по профилю вибрации — 92%.     

По подсчетам экспертов Canalys, продажи умных колонок возрастут к 2022 году в шесть раз. На руках у пользователей окажется к этому сроку свыше 300 млн девайсов, рассказывающих о погоде и заказывающих пиццу. При этом доля Amazon сократится, а Google, наоборот, возрастет.