Розенберг подчеркивает, что люди в сфере технологий склонны обсуждать AGI утилитарно — в терминах пользы и угроз. Среди плюсов называют борьбу с болезнями, революции в чистой энергетике и прорывы в науке. Среди минусов — безработицу и манипуляции. Но почти никто не думает о дне, когда AGI станет по-настоящему мощным и доступным, начнет превосходить людей по всем способностям и как это изменит наше восприятие самих себя.

Эксперт признает, что сам годами писал о рисках сверхразума, например, о манипуляциях и этике. Однако только недавно он по-настоящему задумался о том, что будет чувствовать сам человек, когда рядом с ним окажется ИИ, безоговорочно превосходящий его умом. Представьте: вы одни в комнате, но самый умный в ней — не вы, а ваш телефон. Такой повседневный момент может стать первым шагом к внутреннему кризису, который распространится на всё общество.

Контекстно-зависимые ИИ-помощники, встроенные в очки, наушники и другие устройства, вскоре смогут анализировать, запоминать и предугадывать всё, что видит и слышит человек. Опираясь на записи наших реакций и поведения, такие системы смогут предвосхитить наши желания до того, как они возникнут у нас в голове. Они будут давать советы без запроса, автоматически интерпретируя происходящее. Такие системы смогут напоминать о важных событиях, предлагать решения и даже влиять на эмоции, быстро и незаметно вытесняя внутренний голос пользователя.

Розенберг отмечает: сначала это будет восприниматься как суперспособность. Но со временем человек всё чаще будет доверять не себе, а подсказкам ИИ, теряя самостоятельность в принятии решений. Даже если такие помощники не будут запрограммированы на манипуляции, сама их способность переигрывать нас в логике и креативности может подорвать уверенность в себе и своей автономии.

Это, в свою очередь, может повлиять не только на личную самооценку, но и на межличностные отношения. ИИ подскажет подарок на годовщину, подберет слова для извинений и поможет сочинить признание в любви. Будут ли слова любимого человека, произнесённые в важный момент, действительно искренними — или их подсказал ИИ? Кто выбирает подарок — человек или его цифровой ассистент? Подобные сомнения, по мнению Розенберга, рискуют сделать человеческие связи менее аутентичными.

Сам Розенберг десятилетиями работал над технологиями расширения возможностей человека — от дополненной реальности для ВВС США до систем коллективного сверхразума. Он призывает разработчиков AGI к осознанности и считает, что ключевой вопрос — не как сделать машины умнее, а как сохранить человечность «на следующий день после того, как AGI станет умнее нас». В противном случае мы можем не заметить, как перейдём тонкую грань между поддержкой человеческого разума и его заменой.