Алгоритмы искусственного интеллекта зачастую настолько сложны, что даже их создатели не могут понять, как именно они принимают те или иные решения. Между тем, это информация очень важна, ведь ИИ часто наследуют у своих разработчиков гендерные и расовые стереотипы.

Бин Ким, исследовательница из Google Brain, о работе которой рассказывает Futurism, предложила свое решение этой проблемы. Она создала своеобразный «переводчик» с машинного языка. Инструмент под названием TCAV внедряется в алгоритм и демонстрирует, как именно он использует различные факторы и типы данных при принятии решений.

Проще говоря, TCAV позволяет ИИ объяснить, как он пришел к тому или иному выводу. 

Например, с помощью TCAV можно протестировать алгоритм распознавания лиц на расовую предвзятость при поиске преступников или оценке заявления о работе. Пользователь получит возможность критически оценить выводы ИИ, а не слепо доверять машине.

По словам Бин Ким, никто не требует, чтобы инструмент подробно объяснял весь процесс принятия решений. Достаточно выявить потенциальные источники ошибок и учесть их при использовании алгоритма. Исследовательница сравнила TCAV с инструкцией к бензопиле, которая не расскажет вам о том, как она работает, но предупредит о необходимых мерах предосторожности.

Возможные ошибки алгоритмов становятся все более критичными, поскольку ИИ все шире распространяется по миру миру и быстро меняют его облик. По мнению некоторых экспертов, искусственный интеллект преобразит мир сильнее, чем появление электричества.