Как показало исследование, представленное командой специалистов из Университета Пердью на конференции Computer-Human Interaction, ChatGPT — ненадежный советчик для программистов. Ученые выяснили, что 52% ответов, сгенерированных ChatGPT, содержат ошибки и неточности. Они проанализировали 517 вопросов со Stack Overflow и также обнаружили, что 77% ответов от ChatGPT более многословны, чем ответы людей, а 78% ответов отличаются от человеческих по степени несоответствия.

Исследование также включало лингвистический анализ 2000 случайных ответов ChatGPT. Команда обнаружила, что ответы ИИ более формальные и при этом выражают меньше негативных эмоций. Проще говоря, типичный ответ ChatGPT похож на параграф из доступно написанного учебника, а сам чат-бот не склонен критиковать спрашивающего. Он предельно вежлив даже если отвечает на самые глупые вопросы.

В ходе опроса 12 программистов выяснилось, что 35% из них предпочитают ответы ChatGPT и не замечают ошибок в 39% случаев. Вероятно, последнее происходит как раз из-за характерного тона речи ИИ, которому люди подсознательно склонны доверять. Исследователи отмечают, что многие пользователи снижают бдительность из-за вежливого обращения, четко сформулированных ответов в стиле учебника и их полноты. Это делает советы ChatGPT более убедительными, несмотря на содержащиеся в них ошибки. Кроме того, к чат-боту могут чаще обращаться люди, которые боятся критики и грубости со стороны консультантов-людей.

Исследование показывает, что у ChatGPT еще много недостатков. Однако это не утешает уволенных сотрудников Stack Overflow и программистов, которым приходится искать ошибки в коде, написанном ИИ.