Другим серьезным вопросом Бьюкенен называет феномен «рекурсивного самосовершенствования». ИИ-системы уже помогают создавать свои следующие версии: пишут код, проводят исследования и даже проектируют чипы, которые становятся основой для новых моделей. Это запускает цикл ускорения, который ставит под угрозу национальную безопасность.
Ранее администрация Трампа выпустила указ, который требует, чтобы компании добровольно передавали свои самые передовые модели за 30 дней до релиза для предварительной проверки правительством. Однако настоящие рычаги влияния, по словам экспертов, заключены в президентском меморандуме по национальной безопасности. Он даёт Пентагону возможность через механизмы закупок диктовать ИИ-компаниям свои условия, в том числе по части безопасности.
Лидеры индустрии тоже говорят о необходимости законодательных мер. Главы Google DeepMind (Демис Хассабис), OpenAI (Сэм Альтман), Anthropic (Дарио Амодей) и Microsoft AI (Мустафа Сулейман) подписали открытое письмо Конгрессу с призывом обязать всех поставщиков синтетической ДНК и РНК проверять клиентов и заказы.
В письме признаётся: «Существует реальная вероятность того, что барьеры, исторически препятствовавшие получению биологического оружия, будут существенно ослаблены».
Синтез генов сегодня автоматизирован: десятки компаний «печатают» и продают генетические последовательности, которые используются в научных исследованиях, разработке лекарств и диагностике. При этом не все поставщики проверяют клиентов и заказы. Ещё в 2017 году канадские исследователи воссоздали вымерший вирус оспы лошадей, заказав ДНК по почте за $100 тыс. С тех пор синтез генов стал только дешевле, а ИИ дал возможность создавать опасные токсины и патогены.
Многие компании уже используют программное обеспечение для выявления в заказах «опасных последовательностей», например, тех, что могут сделать организм более восприимчивым к заболеваниям. Однако системы скрининга далеки от совершенства. В прошлом году исследователи Microsoft показали, что ИИ-инструменты для проектирования белков способны генерировать потенциально опасные генетические последовательности, которые не распознаются существующим ПО. Модели создавали новые белковые последовательности, структура которых напоминала структуру уже известных опасных белков.
