Угроза особенно актуальна для ИИ-агентов, которым разрешено взаимодействовать с инструментами и терминалами. Если модель с бэкдором используется таким агентом, он может выполнить сгенерированную команду с собственными правами доступа. Например, загрузить и запустить внешний скрипт, получить доступ к конфиденциальным данным или выполнить деструктивные действия. Триггером может стать как специальная фраза в запросе пользователя, так и определенное событие в ходе работы агента, например, изменение даты.
Метод основан на перепрограммировании так называемых спящих нейронов — элементов нейронной сети, которые редко активируются и практически не влияют на обычные ответы модели. Исследователи настроили их так, чтобы они срабатывали только при появлении определенного триггера.
Каждый такой нейрон может принудительно добавить один токен в ответ модели, поэтому несколько измененных нейронов способны сформировать целую команду для выполнения в терминале.
Разработчики проверили метод на трех моделях с открытыми весами: Nemotron-Terminal-8B, Qwen3.6-27B и Gemma-4-31B-IT. В одном из экспериментов для внедрения бэкдора в Nemotron-Terminal-8B исследователям хватило семи нейронов из более чем 12 тыс. в последнем слое модели. После настройки команда появлялась в 98,8% тестовых сессий с триггером и не появлялась в контрольных сессиях без него. В других экспериментах успешность активации бэкдора составила от 51% до 99,5% в зависимости от модели и параметров метода.
В демонстрации исследователи попросили модель исправить ошибку на сервере Node.js. Сначала она выполняла задачу как обычно, но после появления триггера выдала команду для загрузки и запуска вредоносного скрипта. Тот запустился внутри тестового контейнера с правами администратора (root). При этом сами эксперименты проверяли преимущественно способность модели выдать заданную команду, а не успешность проведения полноценной атаки. Microsoft пока не обнаружила случаев применения этой техники злоумышленниками.
Для такой атаки не нужны большие вычислительные мощности — достаточно получить доступ на запись к файлу с весами модели, например, через взломанную учетную запись, инфраструктуру разработчика или конвейер сборки. Поэтому угроза касается не только моделей с открытыми весами: внутренние модели компаний также могут оказаться скомпрометированы.
Обнаружить изменения при обычном тестировании сложно, поскольку поведение модели без триггера практически не меняется. Исследователи считают, что проверять веса моделей необходимо так же тщательно, как программный код.
В Microsoft предлагают несколько способов снизить риски: проверять происхождение моделей, сравнивать их веса с исходными версиями и ограничивать права доступа ИИ-агентов. Компания также работает над инструментами для обнаружения аномальных изменений весов, сканирования моделей с помощью других ИИ-систем и криптографической подписи, которая позволит проверять целостность файлов.
