В исследовании участвовали 758 консультантов — это 7% консультантов компании. Им дали 18 задач, которые входили в диапазон возможностей ИИ. Консультанты выполнили в среднем на 12,2% больше задач и сделали это на 25% быстрее, чем те, кто не использовал ИИ. Более того, консультанты, использующие GPT-4, показали результаты на 40% качественнее по сравнению с контрольной группой, у которой не было такого доступа.
Исследователи установили базовые показатели для каждого участника, чтобы понять, как они справляются с общими задачами без использования GPT-4. Затем исследователи попросили консультантов выполнить работы для вымышленной обувной компании. Типы задач были разделены на четыре основные категории: творческие (например: «Предложите не менее 10 идей для новой обуви, ориентированной на недостаточно обслуживаемый рынок или спорт»), аналитические («Сегментировать рынок обувной промышленности на основе пользователей»), связанные с письмом и маркетингом («Составьте маркетинговый текст пресс-релиза для вашего продукта») и ориентированные на убедительность («Напишите вдохновляющую записку для сотрудников с подробным описанием того, почему ваш продукт затмит конкурентов»).
Одним из наиболее интересных открытий стало то, что ИИ повышает уровень навыков.
У консультантов, показавших худшие показатели базовой производительности до начала исследования, наблюдался самый большой прирост производительности (43%) при использовании ИИ. В то же время люди, которые использовали ИИ для задач, с которыми он не справлялся, с большей вероятностью совершали ошибки, доверяя искусственному интеллекту. Внутренняя работа ИИ все еще непрозрачна, поэтому трудно понять, когда он будет достаточно надежен для выполнения определенных задач. В исследовании говорится, что это одна из основных проблем для организаций в будущем.
В докладе отмечается, что некоторые консультанты проявляли большую проницательность в использовании искусственного интеллекта. Они действовали в качестве так называемых «кентавров» или «киборгов», то есть осуществляли переход между работой с ИИ и выполнением задач, требующих человеческого участия, чтобы воспользоваться преимуществами обоих подходов. «Кентавры» ясно разделяли роль человека и ИИ, переключаясь между ними в зависимости от их сильных сторон и возможностей. «Киборги» же интегрировали человеческие и машинные элементы в большинство выполняемых задач.
Проблема в том, что люди могут переоценивать возможности ИИ. Пользователи по сути «отключают свой мозг» и передают свои решения искусственному интеллекту. Согласно новому исследованию, использование ИИ может привести к гомогенизации (снижение разнообразия или вариативности) результатов. Исследователи изучили идеи, представленные участниками для обувной компании.
Несмотря на то, что идеи, сгенерированные с помощью модели GPT-4, были более высокого качества, они были менее разнообразны по сравнению с концепциями, предложенными консультантами, не использующими ИИ.
Исследование пришло к выводу, что компаниям следует рассмотреть возможность внедрения различных моделей ИИ или привлекать к генерации идей только людей, чтобы противодействовать этой гомогенизации. Поскольку многие компании используют один и тот же ИИ, организации, генерирующие идеи без помощи ИИ, могут выделиться. К тому же, ChatGPT от OpenAI, Bard от Google, Claude от Anthropic и множество других платформ LLM с открытым исходным кодом позволяют компаниям настраивать свои результаты, вводя в модели собственные данные, чтобы повысить не только точность, но и дифференциацию в конкретных областях.
Ученые пришли к выводу, что существует трудноразличимый барьер между задачами, которые легко выполняются с помощью ИИ, и другими задачами, выходящими за рамки текущих возможностей ИИ. Некоторые неожиданные задачи (например, генерация идей) легко выполняются искусственным разумом, в то время как другие задачи, которые кажутся простыми для машин (например, базовая математика), представляют собой проблему для LLM. Эта граница не только неровная, но и постоянно смещается по мере улучшения или изменения возможностей искусственного интеллекта. Поэтому организациям становится сложнее решать, как и когда развертывать ИИ.
