Чат-бот ChatGPT выпустили в конце ноября прошлого года и за это время ИИ продемонстрировал выдающиеся результаты. Например, нейросеть уже написала научные статьи, которые даже группе экспертов не всегда удавалось отличить от написанных учеными. Теперь ChatGPT решили протестировать на возможность сдать экзамен на получение медицинской лицензии в США и ему это практически удалось, пишет EurekAlert.

ChatGPT сдавал серию экзаменов USMLE, которые на разных этапах карьеры сдают студенты-медики в США. Экзамен охватывает большинство медицинских дисциплин от биохимии до биоэтики и позволяет оценить готовность кандидата к медицинской практике. Проходной балл для каждого этапа составляет примерно 60%.

ChatGPT набрал от 52,4% до 75,0% по всем трем экзаменам USMLE. При этом согласованность его ответов составила 94,6%, а для 88,9% ответов удалось составить неочевидный и клинически значимый вывод.

Примечательно, что ChatGPT превзошел по производительности PubMedGPT — аналогичную модель, обученную исключительно на литературе в области биомедицины. PubMedGPT набрал только 50,8% по результатам USMLE.

«Достижение ChatGPT такого проходного бала в этом сложном экзамене знаменует веху в развитии клинического ИИ», — заявили авторы. Стоить отметить, что при написании данного исследования они также пользовались ChatGPT и высоко оценили вклад ИИ в проделанную работу.

Недавно ChatGPT легко сдал вступительный экзамен в одной из лучших бизнес-школ США. ИИ защищался по основному курсу программы MBA «Управление операциями».