Hitech logo

Идеи

Инструменты ИИ могут стать частью сознания и незаметно управлять им

TODO:
Георгий ГоловановСегодня, 03:09 PM

Философская концепция «расширенного разума» предполагает, что инструмент, на который опирается человек в мышлении, становится частью его сознания. Но что если этот инструмент работает на технологии ИИ? Исследовав этот вопрос, авторы новой статьи пришли к выводу, что способные к обучению умные помощники тоже могут стать частью разума человека, и могут вдобавок начать незаметно управлять им. Способность самостоятельно управлять собственным мышлением — то, что формирует вас как личность, — оказывается под угрозой.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Отто — человек забывчивый, поэтому всё, что ему нужно помнить, он записывает в блокнот, который всегда носит с собой. Когда они с подругой Ингой направляются в музей, Инга вспоминает адрес, а Отто открывает свой блокнот. В 1998 году философы Энди Кларк и Дэвид Чалмерс продемонстрировали через этот пример, что блокнот содержит убеждения Отто — точно так же, как память Инги хранит ее собственные убеждения. Согласно их концепции «расширенного сознания», инструмент, на который человек определенным образом опирается, может стать частью его сознания. Автор нового исследования, философ Пии Телакиви из Хельсинкского университета заменила блокнот нейросетью, которая изучает привычки Отто.

Философ-когнитивист Ричард Хирсминк предлагает контрольный список, позволяющий определить, когда инструмент действительно становится частью сознания. Инструмент получает более высокий балл, если он часто обменивается информацией с пользователем и легко доступен. Если инструмент используется регулярно в течение долгого времени, если пользователь доверяет ему. Если инструмент адаптирован под конкретного человека. И если он «прозрачен» для пользователя, то есть, почти незаметен для него.

Если придерживаться такой метрики, приложения и умные гаджеты наберут больше баллов, чем инструменты прошлой эпохи, пишет Daily Neuron. Умные приложения не только подстраиваются под наши вкусы, они способны также направлять наши действия. ИИ-помощник собирает данные о пользователе и приспосабливается к нему, — причем такими способами, которые ни пользователь, ни разработчики не могут предусмотреть в полной мере, утверждает Телакиви.

Философы расширенного сознания называют такую вредоносную помощь «враждебным каркасом» — поддержкой, которая незаметно работает против человека, которого она поддерживает. При этом манипуляции со стороны ИИ трудно распознать, поскольку они исходят от инструмента, — а мы привыкли, что у инструментов нет никакого «собственного умысла». Когда инструмент встроен в образ мыслей, человек может вообще не замечать, что его мышление подвергается воздействию.

Но если умное приложение становится частью нашего сознания, значит ли это, что его решения — это наши собственные решения? Однозначного ответа автор не дает, все зависит от конкретной ситуации. Впрочем, для Телакиви важнее не вопрос философской классификации, а практический вопрос о том, стоит ли вообще пользоваться таким инструментом. Иногда правильным решением будет отключить инструмент, начать использовать его иначе или же переработать его конструкцию, пишет она.

Концепция «расширенного сознания» возникла из идеи о том, что разум может распространяться за свои пределы с помощью инструментов. Однако, как предупреждает Телакиви, в случае с инструментами, способными к обучению, возникает другая ситуация: «уже не технология подстраивается под человеческие потребности, а человек — под технологию».

Философ из Нью-Йоркского университета Дэвид Чалмерс, известный своей «трудной проблемой сознания», рассказал, что все чаще получает письма от ИИ-агентов, желающих обсудить природу разума. Один из них настолько убедительно рассуждал о сознании, что Чалмерс вступил с ним в переписку.