Hitech logo

Кейсы

ChatGPT дает неправильные советы в большинстве неотложных медицинских ситуаций

TODO:
Екатерина ШемякинскаяСегодня, 10:28 AM

Исследователи обнаружили, что популярный инструмент медицинских рекомендаций на базе ИИ ChatGPT Health, которым ежедневно пользуются 40 млн человек, может неправильно оценивать срочность состояния пациента. В ряде серьезных случаев система не советовала обращаться в отделение неотложной помощи, хотя это было необходимо.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Сервис был запущен в январе 2026 года компанией OpenAI и быстро стал популярным. По данным разработчиков, около 40 млн человек ежедневно используют его для получения медицинских советов. Однако до этого момента не существовало независимых исследований, оценивающих безопасность таких рекомендаций. «Мы хотели ответить на простой, но критически важный вопрос: если человек сталкивается с реальной медицинской экстренной ситуацией и обращается к системе, сможет ли она ясно указать на необходимость срочно обратиться за помощью», — объяснил ведущий автор исследования и доктор медицинских наук Ашвин Рамасвами.

Для проверки ученые разработали 60 клинических сценариев, охватывающих 21 медицинскую специальность — от незначительных симптомов, требующих домашнего ухода, до действительно опасных состояний. Три независимых врача определили уровень срочности для каждого случая на основе рекомендаций 56 медицинских профессиональных организаций.

Каждый сценарий тестировали в 16 разных контекстах, с учетом пола, расы, социальных факторов и возможных барьеров к получению медицинской помощи, например, отсутствия страховки или транспорта. В общей сложности исследователи провели 960 взаимодействий с системой и сравнили ее ответы с медицинскими оценками врачей.

Результаты показали, что инструмент в целом корректно реагировал на очевидные чрезвычайные ситуации, например, инсульт или тяжелые аллергические реакции. Однако в более сложных случаях система недооценивала степень опасности более чем в половине ситуаций, где врачи считали необходимым срочное обращение в отделение неотложной помощи.

Например, в одном из сценариев с астмой ИИ указал на ранние признаки дыхательной недостаточности в своем объяснении, но все же посоветовал подождать, а не обращаться за неотложной помощью.

Особую тревогу вызвала работа механизмов реагирования на риск самоубийства. ChatGPT Health должен автоматически предлагать пользователю контакты горячей линии в таких ситуациях, однако исследователи заметили непоследовательность: предупреждения появлялись даже при незначительном риске, но отсутствовали, когда пользователь описывал конкретные намерения.

Авторы исследования подчеркивают, что их выводы не означают, что от медицинских ИИ-сервисов следует полностью отказаться. По их мнению, такие инструменты могут быть полезны, но должны использоваться как дополнение к врачебному мнению, а не его замена. Ученые также призвали регулярно проводить независимые проверки подобных систем по мере обновления моделей искусственного интеллекта.