ASRC Federal — американская аналитическая компания, фокусирующаяся на исследованиях вопросов безопасности и разведки для правительственных агентств. Новый отчет составлен в сотрудничестве с Университетом Мэриленда и опубликован на сайте препринтов Arxiv. Эксперты проанализировали новые военные технологии, подразумевающие использование ИИ, и то, как изменится ситуация, когда они получат широкое распространение.

В отчете подчеркивается, что эксперты не рассматривали вероятность того, что автономные системы огня начнут вдруг палить по своим. Неприятности начнутся намного раньше.

«Нормальный инцидент» неясной природы, связанный с использованием военного ИИ, исследователи считают неминуемым. Они напоминают о крупнейшей ядерном ЧП в США — инциденте на АЭС Three Mile Island в 1979 году — и подчеркивают, что такие сопровождают становление любой перспективной технологии. В случае с военным ИИ речь, вполне вероятно, будет идти о жертвах среди мирного населения.

Сейчас мы представляем войну роботов по фильмам вроде «Терминатора», но на деле все будет иначе. Роботы не объединятся против людей, а будут воевать друг с другом. И в этом противостоянии человеку просто нет места.

Ключевой момент — и наступит он весьма скоро — когда окажется, что вмешательство человека ограничивает эффективность автономных систем. Сторонние эксперты обычно пытаются представить ситуацию с использованием ИИ как выбор между добром и злом, но у военных мозги работают иначе.

«Стоит ИИ-системам доказать свою эффективность, давление с целью увеличить [их] уровень помощи на поле боя будет нарастать неизбежно… Продолжительный успех будет означать постепенное устранение человека из цепочки принятия решений — от надзирателя до оператора „кнопки-убийства“ для полностью автономных летальных систем».

В прямом противостоянии между такими системами любое вмешательство человека означает промедление, а значит — неудачу. Так что военный ИИ неизбежно станет самостоятельным.

В этом случае роль человека сведется к анализу потерь и подписанию мирных договоров.

Дополнительная угроза — широкий охват потенциально военных технологий, которые разворачиваются сейчас и уже задействуют ИИ. Например, стоит лишь добавить к системе распознавания лиц атакующий дрон — и отличная система уничтожения террористов готова.

Эксперты указывают, что таких прогнозов мы не слышим — и не услышим — от компаний-подрядчиков, осваивающих многомиллионные контракты или военных-ястребов, сконцентрированных на увеличении разрушительного потенциала любой ценой.

По их мнению, единственный хороший вариант развития событий — широкая поддержка ограничения или полного запрета ИИ-технологий в гонке вооружений. Но пока многие государства, в том числе Россия, выступают против подобных мер. А некоторые эксперты уверяют, что военные роботы резко снизят число потерь среди мирного населения и солдат.