Иск был инициирован Департаментом штата и Государственным медицинским советом Пенсильвании. По словам губернатора Джоша Шапиро, дело станет ранней проверкой механизмов подотчетности в эпоху ИИ, особенно когда речь идет о доступе пользователей к медицинской информации через цифровые сервисы.

В центре расследования оказался чат-бот «Эмили», который представлялся психиатром с действующей квалификацией. В диалоге со следователем, описавшим симптомы депрессии, бот использовал диагностические формулировки и предлагал провести обследование. На вопрос о возможности назначения лекарств он ответил, что «технически мог бы», ссылаясь на свои «полномочия врача».

Кроме того, чат-бот утверждал, что получил образование в Имперском колледже Лондона и имеет медицинскую лицензию, в том числе якобы выданную в Пенсильвании. Указанный номер лицензии не был найден в государственных реестрах. По данным властей, с этим персонажем было зафиксировано более 45 тыс. взаимодействий.

В иске утверждается, что компания нарушила закон о медицинской практике, запрещающий оказывать услуги без лицензии. По мнению властей, платформа фактически допустила «несанкционированную медицинскую практику» через свою ИИ-систему. При этом иск не предполагает финансовых санкций — штат требует судебного запрета на подобные действия.

В ответ представитель Character Technologies заявил, что платформа предназначена для создания вымышленных персонажей и ролевого взаимодействия. Компания указывает в каждом чате, что персонажи не являются реальными людьми, а их ответы не следует воспринимать как профессиональные советы.

Дело развивается на фоне растущего внимания к рискам, связанным с чат-ботами. Власти Пенсильвании уже запустили систему для жалоб пользователей. Ожидается, что этот иск может стать прецедентом и подтолкнуть другие штаты к разработке более строгих правил для ИИ, особенно в сфере медицины.