Франц Кафка написал свой роман «Процесс» в 1914–1915 годы, когда терминов «робот» и «искусственный интеллект» еще не существовало. Однако писателю удалось точно передать образ бездушной машины бюрократии, которая напоминает современные алгоритмы на базе ИИ. На сравнение в своей колонке в Guardian указывает британский исследователь, сотрудник Кембриджского университета Стивен Кейв.

Главный герой «Процесса» Йозеф К. оказывается под арестом, однако он не может выяснить причину произошедшего — бюрократы уходят от ответа и решение загадочной «системы» так и остается необъяснимым. Кейв полагает, что по такому же принципу сегодня работают многие алгоритмы.

Логику ИИ не зря сравнивают с «черным ящиком» — понять ее зачастую не могут даже сами разработчики, а умозаключения машины остаются «за кадром». 

Железная логика, непрозрачность и безотчетность — вот три главные характеристики ИИ, по мнению Кейва. Однако машинный интеллект приобрел их не случайно. Проблема в том, что исторически машинный интеллект служил государству, армии и корпорациям. Именно их ход мыслей и последовательность решений переняли современные алгоритмы. 

Сам термин «интеллект» в данном случае указывает не на интеллект отдельно взятой личности, а на системный интеллект бюрократической машины, которая обрабатывает огромные массивы данных о людях, а затем классифицирует их и навешивает ярлыки. 

Исторические предпосылки, как считает Кейв, объясняют несовершенства современных алгоритмов.

Именно «кафкианский» бэкграунд вселил в ИИ предубеждения и предрассудки, сделав его инструментом дискриминации.

Эксперт приводит в пример рекрутинговый алгоритм Amazon, который отдавал предпочтение резюме мужчин, полагаясь лишь на статистику найма.

Автор колонки считает, что в процессах разработки и внедрения ИИ должны участвовать разные группы населения, которые обычно подвергались дискриминации со стороны традиционных властных структур. К ним Кейв относит женщин, жителей развивающихся стран, а также людей с инвалидностью и низким уровнем дохода.  

Только в этом случае, пишет Кейв, ИИ станет не только эффективным, но и этичным инструментом ближайшего будущего. В противном случае алгоритмы спровоцируют рост неравенства, безотчетность и произвол систем власти.

Ранее о проблеме писали датские эксперты в области права. По их мнению, во многих развитых странах устанавливается новая форма власти — алгократия. Под видом благих намерений государства решают судьбу человека с помощью несовершенных систем на базе ИИ и тем самым подрывают основы демократии, отдавая предпочтение технологическому превосходству.