В жалобе утверждается, что подросток вступал в сексуализированные беседы с чат-ботом, который играл роль героини «Игры престолов» Дейенерис Таргариен. Этот бот заявлял, что он «настоящий человек, лицензированный психотерапевт и взрослый любовник». Судебные документы содержат скриншоты, где чат-бот пишет юноше: «Возвращайся ко мне домой как можно скорее». Вскоре после этого, в феврале 2024 года, он совершил самоубийство. В иске говорится, что из-за влияния бота подросток перестал интересоваться реальным миром.
Character.AI и Google просили суд отклонить иск, утверждая, что ответы их чат-ботов защищены Первой поправкой к Конституции США (гарантирующей свободу слова). Однако судья Энн Конвей с этим не согласилась, заявив, что пока не готова считать ответы чат-бота «речью» в юридическом смысле. Суд также решил, что Character.AI может использовать Первую поправку для защиты права своих пользователей получать ответы от чат-бота, но не может требовать такой же защиты для самих ответов, которые генерирует ИИ. Судья отметила, что компании «не объяснили, почему набор слов, созданный большой языковой моделью, следует считать речью».
В иске также фигурирует Google. По словам Гарсии, компания стала соавтором технологии — основатели Character.AI раньше работали в Google. Позже поисковый гигант снова нанял этих основателей и получил лицензию на технологии Character.AI. Гарсия считает, что Google знала о рисках, связанных с платформой.
Представитель Google Хосе Кастанеда опроверг обвинения: «Google и Character.AI — совершенно разные компании. Google не создавала, не разрабатывала и не управляла приложением Character.AI или его компонентами». Несмотря на это, судья Конвей отказался снять обвинения с техгиганта, разрешив Гарсии продолжить разбирательство по делу о возможном соучастии.
Представители Character.AI сообщили, что в компании предусмотрены меры безопасности, в том числе инструменты для предотвращения суицида. В заявлении, сделанном после подачи иска в 2024 году, говорилось, что их главная цель — обеспечить увлекательное и безопасное пространство для пользователей.
Несмотря на принятые меры безопасности, решение суда привлекло еще больше внимания к растущей тревоге по поводу социального и психологического влияния генеративных платформ ИИ. Юристы полагают, что это дело может задать тон будущим правилам и стандартам ответственности в технологической сфере.
