Свидетельства ошибок в работе системы «Watson для онкологии» были обнаружены в двух презентациях, представленных в июне и июле 2017 года бывшим заместителем руководителя проекта Эндрю Норденом. Они также были переданы в управление IBM Watson Health.
В документах сообщается, что Watson предлагает некорректные методы лечения, которые могут привести к смерти пациента. Это ставит под вопрос состоятельность технологии и используемых в ней баз данных.
Вот один из таких случаев. 65-летнему мужчине диагностировали рак легкого, обнаружилось сильное кровотечение. Watson предложил пациенту химиотерапию и лекарство бевацизумад. Однако этот препарат противопоказан людям с кровотечениями — он может вызвать тяжелое или смертельное кровоизлияние. К счастью, отмечает Gizmodo, эта рекомендация была дана в ходе тестирования системы, а не реальному пациенту.
Согласно документам, в ошибках Watson виноваты инженеры IBM и медики из Мемориального онкологического центра им. Слоуна-Кеттеринга (MSK), которые с 2012 года учат ИИ «думать как врач». Вместо того, чтобы в процессе тренировки «скармливать» алгоритму реальные истории болезней, они использовали искусственно сгенерированные «синтетические» случаи. В итоге Watson давал реальным пациентам рекомендации, основанные на гипотетических пациентах, придуманных в MSK.
Врачи быстро заметили проблемы с Watson: во внутренний отчет включены жалобы многих из них. Например, некий врач из клиники Джунипер, штат Флорида, не стесняясь называет его «кучей дерьма».
Он утверждает, что ИИ Watson бесполезен в большинстве случаев. При этом такая позиция противоречит интервью, которое представители клиники дали год назад изданию Gizmodo: в нем не содержалось никакой критики алгоритма.
Эндрдю Норден отказался комментировать информацию о врачебных ошибках Watson, ссылаясь на то, что больше не работает в IBM. Он покинул компанию ради поста в Cota — компании, специализирующейся на медицинской аналитике.
Представители MSK заявили, что содержащаяся во внутренних документах критика «отражает процесс настройки системы». В IBM добавили, что «Watson для онкологии» постоянно совершенствуется: только в прошлом году он получил 11 обновлений. В основе лежат обратная связь с клиентами и новые научные данные.
В настоящее время система «Watson для онкологии» используется в 230 больницах по всему миру и помогает лечению 13 видов рака у 84 000 пациентов.
Врачебные ошибки — не единственная проблема проекта Watson. Как отмечают эксперты, все подразделение IBM, занимающееся искусственным интеллектом, переживает кризис и медленно движется к краху. В конце мая в нем произошли массовые сокращения. Одна из их причин — в том, что Watson не приносит прибыли. По некоторым данным, в IBM уже не видят перспективы закрепиться на рынке услуг для здравоохранения. И вместо того, чтобы совершенствовать медицинский ИИ, Watson Health сосредоточилась на сотрудничестве со страховыми компаниями.
