По данным Федеральной торговой комиссии, мошенники, которые выдают себя за родственников жертв, очень распространены в США. Это был самый частый вид мошенничества, о котором сообщалось в 2022 году. Из 36 000 сообщений более 5 000 жертв были обмануты на 11 миллионов долларов по телефону. Поскольку злоумышленники могут находиться в любой точке мира, властям сложно пресечь неправомерные действия и обратить вспять тревожную тенденцию.
Некоторым программным средствам для создания голоса с помощью искусственного интеллекта требуется всего несколько звуковых предложений, чтобы убедительно воспроизвести речь говорящего с необходимыми эмоциями. Жертвам мошенничества, а это часто пожилые люди, становится все труднее определить, когда голос подделан. Например, одна пара отправила 15 000 долларов через биткойн-терминал мошеннику, полагая, что они разговаривали со своим сыном. Сгенерированный ИИ голос сказал, что ему нужны деньги на судебные издержки после того, как он попал в автомобильную аварию, в которой погиб дипломат США.
Вероятно, лучшая защита — повышение осведомленности о новом типе мошенничества, основанном на голосовых симуляторах. К любым просьбам о наличных рекомендуется относиться скептически. Перед отправкой средств лучше попробовать связаться с человеком, который якобы просит о помощи, другими способами, кроме голосового звонка.
Способность легко создавать убедительные голосовые симуляции уже вызывала скандалы. Например, участники 4chan озвучивали знаменитостей с расистскими, оскорбительными или насильственными заявлениями. В тот момент стало ясно, что компаниям необходимо задуматься о дополнительных мерах защиты для предотвращения неправомерного использования технологии. В ином случае они рискуют быть привлеченными к ответственности за причинение ущерба, например, репутационный вред.
Суды еще не решили, будут ли компании нести ответственность за ущерб, причиненный дипфейковой голосовой технологией или любой другой технологией искусственного интеллекта. Но на суды и регулирующие органы может оказываться давление с целью контролировать рынок ИИ. Многие компании продолжают выпускать ИИ-продукты, не полностью осознавая связанные с этим риски. Совсем недавно Microsoft представила новую функцию в тестовой версии Bing AI, которую можно использовать для имитации голоса знаменитостей. Однако то, что могут произносить эти голоса, ограничено небольшим числом тем. Видимо, так Microsoft, пытается избежать скандалов.
В России есть аналогичные проблемы. Например, в январе дикторы попросили Госдуму установить специальное регулирование синтеза человеческого голоса с помощью технологий ИИ. Они беспокоятся, что их голоса могут скопировать с помощью ИИ-инструментов, в результате чего они потеряют работу и доход.
