Многие считают, что алгоритмы пока не оказывают существенного воздействия на нашу жизнь, пишет колумнистка MIT Technology Review Карен Хао. Сервисы на базе машинного обучения стоят за новостными лентами в Facebook и поисковыми механизмами Google, но на наше будущее они влияют минимально.
Другое дело — алгоритмы в судебной системе, которые оценивают риск рецидива и определяют судьбу преступника.
В США каждый 38-й взрослый американец числится в каком-либо исправительном учреждении, и в определенный момент зависит от решений, принятых ИИ.
Изначально алгоритмы начали применять как раз для того, чтобы снизить количество заключенных в стране. Предполагалось, что программы, обученные на массивах данных, сразу поймут, какого преступника можно выпускать на свободу, а от кого общество лучше пока оградить.
Однако нынешние системы оценки риска строятся на элементарных принципах. Они анализируют персональные данные подсудимого, сверяются со статистикой и определяют вероятность совершения повторных преступлений. Эта оценка сопровождает человека на протяжении всех этапов судебных разбирательств. Показатель влияет на меру пресечения, срок заключения и вероятность выхода под залог.
Такая методика почти ничем не отличается от системы социального рейтинга, которую тестируют в Китае. Только если система работает на Западе — это новый виток демократии. А в Китае — признак технототалитаризма.
Считается, что алгоритмы помогают судье принимать взвешенное и непредвзятое решение, пишет Хао. Это особенно важно, если учесть недавние исследования, которые доказали, что даже высшие должностные лица регулярно выносят суждения под воздействием внешних факторов — погоды или настроения.
Корреляция не выявляет причину
Эксперты подчеркивают — несовершенные данные создают несовершенные алгоритмы. Главный источник информации для ИИ — это статистика преступлений, собранная за последние десятилетия. Анализируя ее, алгоритм учится прослеживать статистическую корреляцию. Но она не имеет никакого отношения к причинно-следственной связи.
Если ИИ обнаружит, что обладатели низкого дохода склонны к рецидивизму, то программа решит, что низкий доход толкает человека на преступление.
В результате группы людей, которые исторически чаще подвергались давлению со стороны полиции, вновь оказываются в уязвимом положении. В первую очередь это касается меньшинств и беднейших слоев населения.
Таким образом, машинный интеллект только усиливает предрассудки, прикрываясь строгим и справедливым расчетом. Подловить ИИ на ошибке нельзя, поскольку логика решений нейросетей остается за кадром.
Правозащитники уже выступают против алгоритмической оценки преступников. Призыв отказаться от использования подобных разработок подписало более 100 организаций, но пока безрезультатно — технология набирает популярность в США и постепенно охватывает другие страны.
Систему прогнозирования на базе ИИ применяют и социальные службы. Например, в Дании машинное обучение определяет риск жестокого обращения с детьми в семье. Эксперты предупреждают, что такие эксперименты порождают алгократию — власть алгоритмов, которая в перспективе способна уничтожить демократию.
