Первый сценарий — пессимистический. Бостром предупреждает: если ИИ не будет согласован с человеческими ценностями, он может «сойти с рельсов» и действовать вопреки нашим интересам. В этом случае мы потеряем контроль над собственной судьбой, а социальные и политические институты разрушатся. Второй сценарий представляет собой позитивную альтернативу — мир «постинструментального» изобилия. В этой утопии ИИ берёт на себя всю рутинную физическую и интеллектуальную работу — бедности больше нет, наступает экономика безусловного базового дохода. Человек освобождается от необходимости работать, а доступ к материальным благам и передовым медицинским технологиям становится всеобщим.

Но даже оптимистический сценарий несёт огромный риск — потерю смысла. Когда исчезает необходимость бороться за выживание, а знания можно загружать напрямую в мозг, труд и успех обесцениваются. Обществу придётся экстренно перестраивать культуру, учиться жить в условиях бесконечного досуга и искать новые ориентиры в мире, где бороться больше не за что.

Бостром видит в этом новую возможность: без постоянных насущных забот мы сможем разглядеть ценности, к которым сейчас слепы — эстетику, духовность, традиции, почитание предков. На смену борьбе за выживание придут игры, творчество и любопытство. Человечество вернётся к детскому мироощущению, но уже в масштабе цивилизации.

Изменение рынка труда неизбежно потребует полной реформы образования. Модель индустриальной эпохи, готовившая дисциплинированные «винтики» для работы в организациях, окончательно устареет, а дипломы обесценятся. Появятся миллионы образованных, но ничем не занятых молодых людей, способных стать мощной политической силой. Новая система обучения, считает Бостром, должна готовить людей не к выполнению инструкций, а к искусству жить: искать смысл, заниматься творчеством, спортом, дружбой и развивать критическое мышление.

Глубокая трансформация затронет биологическую и моральную природу человека. Наша нынешняя биология станет «бутылочным горлышком», поэтому людям придется меняться через генетику или загрузку сознания, чтобы успевать за ИИ. Победа над старением даст возможность жить тысячи лет и накапливать мудрость веками.

Появятся и этические вопросы: стоит ли генетически «выключать» жадность, ложь и агрессию? Если убрать страдания и инстинкты приматов, жизнь может стать пресной, ведь искусство и человеческое величие исторически рождались из боли и борьбы.

Параллельно обострится выбор между реальным и виртуальным мирами. Устройства предложат симуляции гораздо ярче реальности, и миллионы людей могут «закрыться» в виртуальных мирах и полностью потерять связь с физическим миром. Впрочем, Бостром считает, что выбор должен оставаться свободным: кто-то предпочтет виртуальный полет над горными вершинами, а кто-то — реальный подъем на Эверест.

Бостром предупредил об «интеллектуальном взрыве», который последует сразу за появлением общего искусственного интеллекта (AGI), когда алгоритмы начнут сами создавать еще более развитые версии себя. На этом фоне идея принудительно затормозить разработки выглядит крайне спорной.

С одной стороны, пауза дала бы время убедиться в безопасности систем. С другой — искусственная задержка прогресса может привести к тому, что человечество уничтожит себя само (например, в ядерной войне) до появления спасительного сверхинтеллекта, либо же бюрократия заблокирует развитие насовсем. Поэтому главной задачей остается поиск баланса — движение вперед с максимальным фокусом на безопасность AGI.