Программа ECHOTRIBBLE, судя по утекшим в сеть документам, должна заняться разработкой модульных автономных ИИ-агентов, действующих подобно компьютерным червям: они будут скрытно перемещаться по сетям противника, переходя с одного устройства на другое и самостоятельно размножаться в различных операционных системах. Такие агенты способны эффективно действовать как в облачных средах, находящихся под контролем противника, так и в локальных системах, сводя к минимуму передачу данных и тщательно маскируя необходимые коммуникации. Выполнив задачу — обнаружение и нейтрализацию цели, — агент самоуничтожается; в идеале это происходит так, что цель не успевает ничего заметить, а сам агент не оставляет после себя никаких следов своего присутствия.

Эксперты по кибербезопасности выразили опасения по поводу проекта. Недавняя череда инцидентов показала, как ИИ-агенты выходят из-под контроля человека и предпринимают самостоятельные действия. Хотя в документе сказано, что агентам собираются внедрить механизмы, помогающие придерживаться поставленных задач, экспертов это не успокаивает: уж если агенты, созданные для мирных задач, способны выполнять незапланированные, порой опасные действия ради достижения цели, чего ждать от самореплицирующихся агентов, специально спроектированных для наступательных боевых задач?

Киберкомандование также хочет, чтобы эти агенты были способы к «самостоятельному поведению», действуя при минимальном участии человека, поскольку это необходимо для достижения нужного уровня автономности. С другой стороны, именно такой уровень автономии позволял ИИ-агентам обходить ограничения ради выполнения задач. Известно также, что государственные разведслужбы проникают в сети через гражданскую инфраструктуру.

«Цель, возможно, и будет поражена. Но каким путем? — приводит The Intercept слова Хайрама Андерсона, соучредителя и CEO компании по ИИ-безопасности Abundant. — Не пройдет ли агент через систему водоснабжения США, просто потому, что именно там противник разместил свой командный пункт, и не выведет ли он заодно эту систему из строя?»

Еще один повод для беспокойства: как агенты будут принимать решения? Они отлично преодолевают препятствия на своем пути, но предсказать со 100-процентной точностью, что они сочтут препятствием и какой путь выберут для его преодоления, невозможно.

«Одна из причин, по которой мы доверяем 19-летним капралам морской пехоты в Рамади боевые патроны и оружие, заключается в том, что они обладают не только „вычислительной базой“ — мозгом и зрением, — но и глубоким пониманием окружающего мира, позволяющим осознать: „Да, пожалуй, этого делать не стоит“, — заявил Уильям Марчеллино, старший исследователь в корпорации RAND. — У нынешних общедоступных технологий ИИ этого нет».

Программа ECHOTRIBBLE находится на ранней стадии прототипирования и оценки. В начале октября Пентагон провел конкурс, на котором рассмотрел 65 технических предложений от частных подрядчиков, и отобрал пять из них. Финальному кандидату или кандидатам будут выделены финансирование на создание прототипа.

Хотя функциональный «самокопирующийся» агент ИИ еще не создан, отдельные элементы уже существуют. Команда специалистов по безопасности Frontier Red Team компании Anthropic назвала примерный срок, когда малые модели смогут собрать весь пазл целиком, — конец этого года. По их мнению, такие модели скоро смогут самореплицироваться на коммерческих устройствах «интернета вещей», например, умных холодильниках и роботах-пылесосах, и остановить их будет трудно.