Но можно ли на самом деле поставить задачу своему ИИ-агенту и спокойно уйти пить кофе? И не приведет ли такое делегирование к ощущению, что вы забыли выключить утюг?

Короткий ответ: иногда можно. Но сначала придется ответить на другой вопрос: что случится, если ИИ ошибется?

В продуктах на базе ИИ, в том числе в финансовой сфере, даже неудачная формулировка — это не просто опечатка в приложении. Ошибка может повлечь реальные последствия: репутационные, финансовые и регуляторные.

Поэтому доверие к ИИ — не философская категория, а вполне практическая конструкция: какие данные мы дали системе, что разрешили ей сделать, как проверяем результат и кто будет нести ответственность за последствия.

Многое здесь зависит от контекста и конкретной задачи. Например, если вы делегируете ИИ-агенту анализ рынка, подготовку текста письма или разработку концепции, риск сравнительно невелик. В большинстве случаев человек самостоятельно проверит результат и будет использовать его, пропустив через фильтр собственного опыта и экспертизы.

Это наглядный пример подхода human in the loop: ИИ делегируются конкретные локальные задачи, но контроль и финальное решение остаются на стороне человека.

Если же мы используем технологию для задач с высокой ценой ошибки — например, для принятия решения о компенсации клиенту, постановки медицинского диагноза, юридической консультации или проектирования конструкции здания, — уровень риска существенно возрастает.

Это хорошо видно в исследовании Navigating the Jagged Technological Frontier, проведенном с участием 758 консультантов BCG (это около 7% консультантов компании). После базового теста участников случайным образом распределили в три группы: без ИИ, с GPT-4 и с GPT-4 плюс краткое обучение работе с моделью.

Результаты оказались очень показательными.

На 18 заданиях «внутри границы» возможностей модели — генерация продуктовых идей, анализ, написание текстов и аргументация — консультанты с GPT-4 выполнили на 12,2% больше заданий, работали на 25,1% быстрее, а качество ответов выросло в среднем на 32%.

На сложном стратегическом кейсе «за границей» возможностей модели эффект оказался обратным: правильный ответ дали 84,5% участников без ИИ, 70,6% с GPT-4 и только 60% с GPT-4 плюс обучением. В среднем использование ИИ снизило вероятность правильного решения на 19 процентных пунктов.

Особенно важно, что ошибочные ответы с ИИ могли выглядеть более логичными и убедительными для сотрудников, что снижало их внимательность при анализе. GPT-4 правильно обработал очевидные числовые данные, но пропустил важную информацию в материалах интервью, а консультанты доверились хорошо сформулированному выводу модели.

Для руководителя практический вывод выглядит так: внедрять нужно не абстрактный «ИИ в профессию», а ИИ в конкретные и проверенные элементы процесса.

Рабочий подход предполагает разделение процесса на отдельные задачи, тестирование каждой из них на реальных кейсах с известным правильным результатом и независимую проверку там, где цена ошибки высока. Одного обучения написанию промптов недостаточно: сотрудникам прежде всего необходим навык проверки выводов модели и понимание того, в каких ситуациях ей нельзя отдавать право принимать решения.

В рабочих продуктах я обычно мыслю тремя зонами. Зеленая зона — ИИ может действовать самостоятельно: например, расшифровать встречу, классифицировать документы или подготовить внутренний черновик. Желтая зона — ИИ готовит результат, но перед использованием его подтверждает человек. Красная зона — система не должна принимать финальное решение или совершать действие без ответственного специалиста. Чем выше последствия потенциальной ошибки и чем сложнее их исправить, тем ближе задача к красной зоне.

При этом само по себе участие человека еще не гарантирует качественного контроля.

Если сотрудник за минуту одобряет сто ответов модели, это не контроль, а формальность. Нужны понятные критерии проверки, доступные источники, ограничения на действия системы, журнал действий и возможность остановить процесс в любой момент. Именно поэтому реальное внедрение ИИ в бизнес-процессы компаний часто выглядит не так эффектно, как демонстрации вендоров. В нем гораздо больше тестирования, ограничений, этапов контроля и подготовительной работы.

Важно не просто обучить сотрудников работе с ИИ, но и хорошо понимать структуру бизнес-процессов, которые компания хочет с его помощью оптимизировать. Автоматизировать плохо выстроенный процесс не лучшая стратегия, какой бы современной ни была технология.

Так можно ли доверять ИИ рабочие задачи без проверки человека? Да, если мы заранее понимаем границы его автономности. Чем выше цена ошибки, тем важнее человеческий контроль и тем меньше оснований отдавать модели право принятия последнего решения.