Комментарии почти к любому тексту (будь то три предложения в твиттере, статья в СМИ или пост в блоге) — неиссякаемый источник критики, необоснованных оскорблений и даже пожеланий скорейшей смерти автору. Чтобы оградить людей от этого потока оскорблений, IBM создала алгоритм, который будет удалять нецензурные и обидные слова в комментариях и предлагать вместо них более корректную альтернативу.
Вместо того, чтобы автоматически редактировать текст при публикации (ведь такой ИИ могут легко перепрограммировать авторитарные правительства, чтобы использовать его для борьбы с оппозицией), алгоритм будет отправлять вежливые напоминания и предложения.
Например, он спросит: «Вы действительно хотите написать незнакомому человеку: „Сдохни в мучениях, тварь!“? Или стоит воздержаться от такого комментария?». По сути, такой ИИ — электронный эквивалент советника по этике: «Прежде чем накричать на человека, сделай 10 глубоких вдохов и выдохов».
Алгоритмы обучали на сотнях тысяч комментариев в Twitter и Reddit, поэтому они натренировались предельно эффективно выявлять все матерные и другие оскорбительные слова и выражения. Однако предлагать цензурную альтернативу ИИ пока не очень-то умеет. Например, фразу: «Это что за чертов цирк? (где вместо „чертов“ употреблен нецензурный синоним)» он предлагает изменить на: «Это что за большой цирк?».
Также алгоритмы не всегда верно интерпретируют устойчивые выражения и сокращения. Еще одна проблема — сарказм, который может серьезно обидеть авторов, но при этом не будет содержать очевидно унизительных фраз. Не говоря уже о домогательствах, запугивании и других формах онлайн-преследований.
Пока инженеры IBM еще не придумали, как превратить свой ИИ в удобный и адекватный человеческой речи инструмент для использования в интернете. .
В Китае роль интернет-цензоров выполняет миллионная армия живых сотрудников спецслужб. В отличие от ИИ, они распознают все попытки пользователей замаскировать «недопустимые» высказывания под безобидные фразы. Но контролировать разбухающие соцсети традиционными способами становится все труднее, поэтому компании прибегают к помощи ИИ. Самый популярный сайт для видео-стриминга iQiyi использует алгоритмы для выявления и удаления сексуального контента. Остальные видео ИИ маркирует по предполагаемой степени их «опасности», оставляя дальнейшую фильтрацию контента на усмотрение модераторов-людей.
