Главную опасность, по мнению Юдковского, сооснователя Института сингулярности и автора многочисленных работ по ИИ, представляет не конкурирующий с человеком искусственный интеллект, как говорится в открытом письме, а ИИ, который станет умнее человека. Разница не будет заметна на первый взгляд, и ее нельзя будет просчитать заранее, до того, как станет уже поздно.

«Многие исследователи, и я в том числе, полагают, что самым вероятным исходом создания сверхчеловечески умного ИИ, при любых хоть отдаленно напоминающих современные условиях, будет буквальная гибель всех на Земле. Не „может быть, вероятно есть некоторый шанс“, а „очевидно, это произойдет“. В принципе невозможно пережить создание чего-либо намного более умного, чем мы сами», — утверждает Юдковский на страницах Time.

Если у такого ИИ не будет жестких мер сдерживания, он не станет действовать в интересах человечества и не станет в принципе думать о благе разумной жизни. Такого рода забота может быть, в принципе, стать частью принципов действия ИИ, но пока этого нет, и мы даже не знаем, как это сделать. А без этого ситуация выглядит так: «ИИ не любит вас и не ненавидит вас, вы состоите из атомов, которые он может использовать для чего-нибудь другого».

«Искусственный сверхинтеллект не станет долго оставаться запертым внутри компьютеров, — рассуждает эксперт. — В современном мире уже можно послать цепочки ДНК в лаборатории, чтобы там изготовили из них белки, которые позволят ИИ создать искусственную форму жизни. Или можно сразу загрузить себя в постбиологические молекулы».

Так что вероятный исход столкновения человечества с искусственным сверхинтеллектом — это полное поражение. Как если бы австралопитек попытался победить человека разумного, говорит Юдковский.

«Если кто-нибудь, в нынешних условиях, создаст слишком мощный ИИ, я считаю, все до единого представители человеческой расы и вся биологическая жизнь на Земле вскоре после этого погибнет», — предсказывает Юдковский.

При этом никто не знает толком, как этого можно было бы избежать. Но продолжают разрабатывать новые модели ИИ. За полгода моратория, о которых говорится в открытом письме, найти решение проблемы безопасности человечества от ИИ не удастся. На это уйдет, по мнению Юдковского, по меньшей мере 30 лет. При этом шанса исправить ошибку, если мы поспешим, и научиться на ней нам не дадут.

«Мы не готовы, — утверждает он. — Мы не близки к готовности в обозримом будущем. Никакого плана нет. Прогресс в возможностях ИИ движется быстро, намного обгоняя прогресс в регулировании ИИ, или даже прогресс в понимании, что, черт возьми, происходит внутри этих систем. Если мы и правда сделаем это, мы все умрем».

Юдковский предлагает ввести другой мораторий — на обучение всех крупных моделей, бессрочный и глобальный. Никаких исключений даже для правительств и военных. Единственным исключением могут быть ИИ для решения задач в области биологии и биотехнологии, но обученные не на текстах из интернета и без возможности планировать и разговаривать. Затем, необходимо отключить все крупные кластеры графических процессоров, которые используют наиболее мощные ИИ. Ввести ограничение на вычислительные мощности, допустимые для обучения алгоритмов. Отслеживать продажи процессоров. Если где-то нарушают эти запреты, быть готовыми уничтожить дата-центр авиационным или ракетным ударом.

«Отключите ИИ», — призывает Юдковский.