Известно, что уже в 2015 году треть цен на Amazon устанавливали алгоритмы. С тех пор их доля возросла. А алгоритмы, рассчитывающие цены на книги, авиабилеты или номера в гостиницах, настолько удобны и доступны, что их применяют повсеместно.

Однако технологии развиваются, и на смену программам с жестко заданными параметрами приходят системы машинного обучения, в которых логика принятия решения о размеры цены более не находится в ведении человека, пишет MIT Technology Review.

«Проблема в том, что эти автономные алгоритмы ценообразования могут самостоятельно прийти к выводу, что если им нужно получить максимальную выгоду, они должны избегать ценовых войн.

То есть, они могут научиться сговариваться, даже если их специально не обучали этому и даже если они не общаются друг с другом», — утверждает профессор Эмилио Кальвано и его коллеги из Болонского университета.

Чтобы проверить свою теорию, они разработали два автономные системы ценообразования и позволили им наблюдать друг за другом. И увидели, что даже «относительно простые алгоритмы методично обучаются изощренным стратегиям сотрудничества».

В начале эксперимента два алгоритма сражались друг с другом, понижая цены. Но это был временный этап, а затем цены снова выросли.

Постепенно один из алгоритмов начал проявлять «аутореактивное поведение», как говорят ученые. А это и есть признак тайного сговора.

В симуляции сговор был односторонним — алгоритмы не смогли договориться о монополии. Хуже то, он проявлялся целенаправленно, и его нельзя было заметить со стороны. «Они научились сговариваться чисто методом проб и ошибок, — пишут исследователи, — без предварительного знания об окружающих условиях, не общаясь друг с другом, безо всяких инструкций».

При этом алгоритмы не пытались нарушить никаких правил, они честно учились основам капитализма, пробуя разные стратегии. Ученые призывают разработчиков ИИ обратить внимание на эту проблему и продумать методы ее предотвращения.

Алгоритмы стартапа Humu используют законы поведенческой экономики, чтобы манипулировать сотрудниками компаний. Машинное обучение определяет «болевые точки» персонала и пытается решать проблемы к выгоде начальства.