Предположим, кто-нибудь собирается создать систему ИИ с интеллектом, превосходящим человеческий, так чтобы он мог обучаться независимо. Подключившись к интернету, этот ИИ имел бы доступ ко всей информации, накопленной человечеством. Он смог бы заменить все существующие программы и взять под контроль все машины, подключенные к сети. Станет ли это началом утопии или дистопии? Начнет ли такой ИИ лечить рак, разрешать конфликты и предотвращать природные катастрофы? Или же он уничтожит человечество и захватит Землю?

Специалисты по информатике и философии под руководством команды исследователей из Института Макса Планка (Германия) задались вопросом, сможем ли мы вообще контролировать сверхразумный ИИ, чтобы убедиться, что он не станет угрозой для человечества. К сожалению, их теоретические вычисления показали, что это в принципе невозможно.

«Сверхразумная машина, контролирующая мир, кажется чем-то фантастическим. Но уже существуют машины, которые выполняют определенные важные задачи независимо, и их программисты не понимают полностью, как они научились этому, — сказал соавтор исследования Мануэль Кебриан. — Поэтому встает вопрос, станут ли они в какой-то момент неуправляемыми и опасными для человека?»

Исследователи изучили два различных пути контроля под сверхразумным ИИ, пишет EurekAlert. С одной стороны, способности сверхразумного ИИ могут быть ограничены, например, оградив его от интернета и других технических устройств, чтобы он не мог вступить в контакт с внешним миром. Однако такой подход сделал бы его менее мощным и менее полезным для человека.

Другой вариант — создание надзирающего алгоритма, который бы следил за сверхразумным ИИ и мог остановить его, если его действия окажутся опасными для человека. Но при тщательном рассмотрении выяснилось, что такой алгоритм непременно окажется бесполезен.

«Если разбить проблему до базовых правил теоретической информатики, окажется, что алгоритм, который мог бы приказать ИИ не разрушать мир, непреднамеренно прекратит свою работу. Если это произойдет, мы не будем знать, то ли он все еще анализирует угрозу, то ли остановился, чтобы сдержать опасный ИИ. Фактически, это делает надзирающий алгоритм бесполезным», — пояснил Ийад Рахван, директор Центра человека и машин Института.

На основе этих расчетов проблема надзора оказывается нерешаемой, то есть ни один алгоритм не сможет определить, опасен ли ИИ для мира. Более того, ученые продемонстрировали, что мы можем даже не осознать момента появления сверхразумного ИИ, поскольку решение о том, превосходит ли машина человека по интеллекту, находится в той же сфере, что и проблема надзирателя.

Возможно, для предотвращения уничтожения человечества машинами их следует обучить «искусственной глупости». Пару лет назад исследователи Михаэль Трацци и Роман Ямпольский предложили такую концепцию. По их мнению, в процессе обучения ИИ должен развить в себе нечто похожее на человеческие когнитивные искажения — например, склонность снова и снова повторять определенные ошибки при вынесении решений.