ИИ в США принимает решения о выдаче ипотечных кредитов и страховке, найме сотрудников и даже возможности и величине залога для правонарушителей. Однако ранее алгоритмы неоднократно уличали в «трансляции предвзятости» — прежде всего по отношению к представителям меньшинств.

Программу для анализа предвзятости алгоритмов представил Румман Чоудурри — глава подразделения Accenture под названием Responsible AI. Программа «Ревизор» делает три вещи.

Во-первых, позволяет провести исследование показателей, которые пользователь считает важными — например, расы, пола или возраста. На выходе он определит, насколько эти факторы сочетаются с другими характеристиками, которые учитывает ИИ. При этом раса, например, может получить высокую корреляцию с почтовым кодом — из-за наличия элитных «белых» районов и «черных» гетто. Так что потом придется разбираться еще и с этим показателем.

Во-вторых, программа визуализирует, как на модель повлияет «разрыв» взаимосвязи между определенными показателями — в случае, если это посчитают предвзятостью.

В-третьих, «Ревизор» вынесет вердикт о «предсказательном паритете» — то есть частоте ложноположительных и ложноотрицательных вердиктов для различных вводных данных.

Чоудурри, которого цитирует Bloomberg, говорит, что этот клубок предстоит распутывать людям, и простых решений здесь нет:

«Наши клиенты говорят, что они не готовы думать об экономических, социальных и политических последствиях применения алгоритмов и потому обращаются к нам».

«Люди, кажется, хотят решить проблему справедливости нажатием кнопки», — указывает он. И подчеркивает, что это невозможно.

Разработчик уверен, что анализом предвзятости ИИ надо заниматься, несмотря на все сложности и неизбежные компромиссы. Например, первые тесты показали, что с ростом «справедливости» ИИ часто снижается его надежность, то есть растет число ложных вердиктов. Впрочем, бывает и наоборот: в качестве эталона Чоудурри продемонстрировал исправление механизма кредитного скоринга из Германии, где более справедливый алгоритм стал еще и более эффективным.

Усиление роли ИИ-алгоритмов породило две гуманистические дискуссии. Первая — об этичности их использования в различных сферах. Самым громким итогом стало принятие в Google «заповедей разработчика», которые, например, запрещают компании использовать свои решения для создания оружия.

Вторая касается непосредственно важности обеспечения объективности выносимых ИИ решений. Ведь в противном случае нынешние стереотипы лишь еще больше укрепятся. Среди гигантов ИТ-индустрии много внимания проблеме качества работы ИИ уделяет Microsoft.