В статье, опубликованной на сервере Arxiv.org, исследователи описали метод состязательных атак для перепрограммирования систем машинного обучения. Эта технология передачи знаний (transfer learning) даже не требует от хакера заранее определить желаемый результат, пишет VentureBeat.
«Наши результаты впервые показывают возможность состязательных атак, нацеленных на перепрограммирование нейронных сетей, — пишут авторы статьи. — Эти результаты демонстрируют как поразительную гибкость, так и поразительную уязвимость глубоких нейронных сетей».
Работает это так: злоумышленник получает доступ к параметрам состязательной нейронной сети, которая выполняет какую-то задачу, и вводит помехи или состязательные данные, трансформируя входящие изображения. Попадая в сеть, эти данные приспосабливают уже изученные навыки для новых задач.
Ученые протестировали свой метод на шести моделях и заставили все шесть алгоритмов считать номера квадратов, на которые разбивается картинка, вместо того чтобы искать на них белых акул или страусов. В другом эксперименте нейронной сети подменили базу данных, и она была вынуждена распознавать изображения по CIFAR-10, а не по ImageNet, на основании которой обучалась.
С помощью подобных моделей злоумышленники могут красть компьютерные ресурсы, чтобы, например, перепрограммировать системы машинного зрения в облачных сервисах или майнить криптовалюту. И хотя авторы исследования не тестировали свой метод на рекуррентной нейронной сети, которая обычно используется для распознавания речи, они предполагают, что успешная атака заставит и этот алгоритм выполнять «широкий спектр задач».
Таким образом можно будет, например, взламывать виртуальных помощников в телефонах пользователей, которые имеют доступ к электронной почте, социальным сетям и кредитным картам владельца.
Для защиты от слишком пристального взгляда ИИ канадские ученые разработали приложение, которое делает невозможным распознание возраста, пола и этнической принадлежности по фотографии. Их метод также основан на состязательной нейронной сети.
