Hitech logo

Кейсы

Оказалось, что ИИ-помощники не решают проблемы программистов

TODO:
Дарина Житова4 октября, 10:26

Согласно новому исследованию компании Uplevel, ИИ-инструменты, такие как GitHub Copilot, не помогают программистам работать продуктивнее и чувствовать себя счастливее. Разработчики должны были стать одними из основных бенефициаров растущего интереса к генеративному ИИ, но этого не произошло. Специалисты все также работают в авральном режиме и сталкиваются с выгоранием. Исследование охватило около 800 разработчиков и сравнило их производительность с использованием и без использования Copilot в течение 3 месяцев.

00
Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Удивительно, но, несмотря на ключевые метрики, такие как время цикла пулл-запросов и общая производительность, Uplevel не обнаружил значительных улучшений у пользователей Copilot. Матт Хоффман, аналитик данных в Uplevel, отметил в интервью изданию CIO, что их команда изначально предполагала, что разработчики смогут писать больше кода, а количество ошибок может уменьшиться благодаря использованию ИИ-инструментов для проверки кода перед его отправкой. Однако результаты опровергли эти ожидания.

«Если ИИ — это мозг робота, то RPA — его руки». Что умеют программные роботы

На самом деле, исследование показало, что разработчики, использующие Copilot, внесли на 41% больше ошибок в свой код. Uplevel также не нашел доказательств того, что ИИ-помощник помогал предотвратить выгорание разработчиков.

Эти выводы противоречат утверждениям создателей Copilot из GitHub и других сторонников ИИ-инструментов для программирования о значительном росте продуктивности. Ранее спонсируемое GitHub исследование утверждало, что разработчики пишут код на 55% быстрее с помощью Copilot.

В отчётах о первых днях работы Copilot говорилось, что почти 30% нового кода создавалось с помощью ИИ — и это число, вероятно, выросло. Однако дело не только в полезности инструмента: программисты просто ленятся. Сейчас ChatGPT и другие продвинутые модели по-прежнему делают ошибки в примерно четверти своих ответов на запросы разработчиков ПО.

Опыт работы с ИИ-помощниками по программированию оказался разным. Например, CEO компании Gehtsoft USA Иван Гехт сообщил, что в их компании сгенерированный ИИ код считают трудным для понимания и отладки, и иногда проще переписать его с нуля. Он добавил, что разработка программного обеспечения — это на 90% работа мозга: понимание требований, проектирование системы и учёт ограничений, в то время как преобразование всего этого в код — самая простая часть работы.

Однако в облачной компании Innovative Solutions CTO Трэвис Рехл сообщил о впечатляющих результатах, заявив, что продуктивность разработчиков увеличилась до 3 раз благодаря таким инструментам, как Claude Dev и Copilot.

Несмотря на противоречивые отзывы, эксперты считают, что индустрия находится на начальном этапе использования ИИ-помощников в программировании. С учетом быстрого развития этих технологий, возможно, в будущем они смогут оправдать свои ожидания и обеспечить реальную помощь разработчикам.