Система социального рейтинга сейчас считается неотъемлемой чертой «геймифицированного авторитаризма» в Китае: за активность в официальном приложении коммунистической партии там можно получить преференции, а за активность на улицах — штрафы и отказ при попытке приобрести билеты на самолет или скоростной поезд. Ожидается, что в следующем году система охватит большую часть населения.
Однако похожие проекты реализуют и на Западе. Только занимаются этим крупные частные компании, а не государства, так что системы скоринга многочисленны и непрозрачны, указывает Fast Company.
Главная этическая проблема такого подхода — появление карательной системы, действующей в обход государственной и игнорирующей понятие презумпции невиновности.
Но бизнесменам скоринг позволяет зарабатывать больше, и на этические сложности закрывают глаза, а сами системы зачастую преподносят как выгодные для лояльных клиентов.
Показательный пример — расчет страховых взносов. Власти штата Нью-Йорк весной разрешили использовать в расчетах информацию из соцсетей. Попытались покормить гризли с руки в Йеллоустоунском заповеднике, а друзья сняли захватывающее видео — получите штраф. Но если ваша жизнь в соцсетях скучна и безопасна, а главное событие дня — поход на йогу, то вам положена скидка. Страховые компании обязаны объяснять, как эти данные повлияли на риск, и им запрещено менять премию в зависимости от расовой принадлежности клиента.
Страхование жизни — нечастая процедура. Но что вы скажете насчет вечера в ресторане? Второй вариант закрытого скоринга — система мониторинга для баров PatronScan. Терминалы продаются уже в четырех странах — США, Канаде, Великобритании и Австралии. Первоначально они вычисляли фальшивые ID-карты, которые пытаются предъявлять малолетки. Однако теперь в систему добавили и возможность указать на дебошира. Теперь быть старше 21 года мало — надо еще уметь выпивать культурно. А если вы не понравились одному бармену, вам откажут в обслуживании во всех заведениях, где используют сканеры.
Гораздо более серьезным может быть бан в райдшеринге Uber или системе аренды квартир Airbnb. Правила Airbnb предусматривают возможность пожизненного запрета на использование услуг — и компания даже не обязана говорить вам, в чем причина. А в Uber не только пассажиры оценивают водителей, но и наоборот. Компания говорит, что если ваш рейтинг «намного ниже среднего», вам могут отказать в обслуживании.
И если такси вызывать по телефону пока можно, как вам перспектива остаться без общения? Мессенджер WhatsApp оставляет за собой право блокировать аккаунты, которые отправили в спам-лист другие пользователи. В странах вроде Индии, где WhatsApp главная платформа для общения и одна из главных для чтения новостей, это все равно что остаться без телефона вовсе.
То, что эту систему вводят частные компании — серьезная проблема. У подозреваемого нет ни адвоката, ни суда, а нередко — даже возможности подать апелляцию на решение, которое все чаще выносят не люди, а алгоритмы обработки данных.
Более того, в отличие от плохого судьи, которого в США можно переизбрать, у общества нет возможности сменить руководство компании или отправить в отставку несправедливый ИИ.
Если нынешний тренд продолжится, то в будущем за все большие число правонарушений наказывать будут не суды, а корпорации — что знаменует серьезный дрейф в сторону от демократических ценностей к миру всесильных корпораций, который чаще всего представляют как антиутопию, подчеркивает FC.
Впрочем, как раз при соприкосновении с государственной машиной частные системы могут измениться или вовсе будут отключены. Например, в Китае при всем увлечении властей анализом данных чиновники не дали развернуть ИИ-систему борьбы с коррупцией, которая продемонстрировала пугающую эффективность.
