AIF360 — это комплексное решение с открытым кодом, с помощью которого можно проверить, есть ли у используемого алгоритма нежелательные предубеждения. Пакет состоит из девяти алгоритмов, среди которых программа для вынесения решений о выдаче кредитов, для прогнозирования медицинских расходов и для определения пола по фотографии.

Релиз должен помочь компаниям, использующим ИИ, не попадать впросак из-за того, что алгоритмы недостаточно хорошо обучены работать с представителями другой расы, отмечает Fortune. Такое может происходить, если обучающая выборка недостаточно велика или плохо сбалансирована.

ИИ-алгоритмы могут быть предвзяты, поскольку за их обучение отвечают люди. А значит, инженеры рискуют невольно им передать свои расовые, гендерные, половые и прочие предрассудки. Противники технологии считают, что повсеместное внедрение алгоритмов приведет не только к дискриминации, но и к другим пугающим последствиям.

Войну дискриминации объявили и другие разработчики ИИ. Программу защиты от предвзятости алгоритмов разрабатывают в Microsoft. Консалтинговая компания Accenture тоже предложила решение проблемы в виде ИИ-ревизора.