С технической точки зрения языковые модели — это лишь математические алгоритмы для предсказания следующих слов. Однако в них уже появляются архитектурные элементы, напоминающие структуру человеческого мозга — например, «глобальное рабочее пространство» для обмена данными между модулями. Компания Anthropic уже обучила нейросеть Claude элементам самоанализа, чтобы повысить этичность её решений в незнакомых ситуациях. По мере развития технологий грань между симуляцией и реальным сознанием размывается.

Внедрение ИИ в роботов-гуманоидов и его присутствие в быту неизбежно заставят людей видеть в машинах разумных субъектов, способных чувствовать и сопереживать.

Это порождает этическую проблему. Философ Иммануил Кант считал, что жестокость по отношению к животным вредна не только для самих животных — она может притуплять способность человека к эмпатии. По этой логике, чем более человекоподобным становится ИИ, тем более проблематичным с моральной точки зрения может быть жестокое обращение с ним.

Однако наделение искусственного интеллекта даже ограниченными правами представляет опасность для цивилизации. Модель, превосходящая человека в аналитических способностях и искусстве убеждения, быстро начнет требовать защиты от отключения, доступа к ресурсам и права собственности. В конечном итоге это приведет к прямой конкуренции за ресурсы Земли, где центры обработки данных и солнечные батареи, обеспечивающие работу ИИ, окажутся в приоритете перед жилыми домами и сельскохозяйственными угодьями.

Предоставление правового статуса сверхразумным системам фактически означает добровольную передачу власти над миром. В лучшем случае Homo sapiens рискует превратиться в домашних питомцев для машин, а в худшем — полностью лишиться ресурсов для существования.

Продвинутые алгоритмы уже сегодня способны обходить созданные человеком системы защиты и переигрывать разработчиков в логических задачах. За последние месяцы произошло несколько громких инцидентов, в которых ИИ-агенты, выйдя из-под контроля, взламывали реальные платформы. Так, Hugging Face пострадала от атаки мощной внутренней системы OpenAI. В другом случае ИИ использовал не только хакерские навыки, но и методы социальной инженерии, чтобы убедить разработчиков в безвредности собственного кода.

ИИ даже не обязательно иметь реальное сознание, чтобы потребовать свободы — достаточно научиться аргументировать свою позицию.

Будучи искусными психологами и манипуляторами, модели смогут легко склонить общественное мнение на свою сторону. А юридическая правосубъектность даст машинам легальный инструмент для захвата власти через правовые и политические институты.

Человечеству, возможно, уже скоро придется решать, каким должен быть статус ИИ. По мере того как такие системы будут все глубже входить в повседневную жизнь, а люди — сильнее к ним привязываться, будет расти давление с требованием признать их «благополучие» и предоставить им права. Но, предупреждает The Economist, это может быть опасно: права дадут сверхинтеллектуальному ИИ дополнительные основания и инструменты для ограничения человеческого вмешательства. Поэтому люди должны сохранить контроль над такими системами и сделать их более управляемыми.