В разделе FAQ под названием «Работают ли детекторы искусственного интеллекта?», OpenAI написала, что такие детекторы на данный момент неэффективны. Несмотря на то, что некоторые компании (включая OpenAI) представили инструменты для обнаружения контента, созданного искусственным интеллектом, ни один из них не доказал надежность в точном различении между контентом, сгенерированным искусственным интеллектом, и контентом, созданным людьми.
Такие детекторы контента ИИ, как GPTZero, часто дают ложные срабатывания, поскольку полагаются на недоказанные критерии. В конце концов, текст, написанный ИИ, ничем не отличается от написанного человеком, и детекторы можно победить путем перефразирования. OpenAI прекратила выпуск своего AI Classifier — экспериментального инструмента, предназначенного для обнаружения текста, написанного искусственным интеллектом. Его точность составляла всего 26%.
OpenAI разоблачила еще одно заблуждение: якобы сам ChatGPT может знать, написан текст искусственным интеллектом или нет. OpenAI пишет: «ChatGPT не имеет „понимания“ того, какой контент может быть сгенерирован искусственным интеллектом. Иногда он выдумывает ответы на вопросы типа: „Вы написали это [эссе]?“ или „Могло ли это написать ИИ?“. Эти ответы случайны и не имеют под собой никаких оснований».
OpenAI также борется со склонностью своих моделей ИИ выдумывать ложную информацию. «Иногда ChatGPT звучит убедительно, но может дать неверную или вводящую в заблуждение информацию („галлюцинации“). Он даже может выдумывать цитаты или ссылки, поэтому не используйте его как единственный источник для исследований», — пишут в компании.
Хотя автоматические детекторы ИИ не работают, это не означает, что человек никогда не сможет обнаружить «руку» искусственного интеллекта в тексте. Например, учитель, знакомый с типичным стилем письма ученика, может определить, когда его манера внезапно меняется. Кроме того, многие впопыхах забывают убрать фразу «как модель языка искусственного интеллекта» из своей работы. А недавно в одной научной статье заметили фразу Regenerate response («Сгенерировать новый ответ»), которая является кнопкой в ChatGPT.
При нынешнем состоянии технологий безопаснее всего полностью избегать автоматизированных инструментов обнаружения ИИ. «На данный момент ИИ-письмо невозможно обнаружить и, вероятно, так и останется», — сказал аналитик ИИ и профессор Уортона Итан Моллик. По его словам, детекторы искусственного интеллекта имеют высокий уровень ложных срабатываний.
