ChatGPT базируется на модели OpenAI GPT-3.5, но обучен давать более разговорные ответы. ChatGPT способен работать с огромным количеством тем, что показывает значительный прогресс в разработке чат-ботов. Однако, как выяснил The Verge, бот часто выдает ложную или выдуманную информацию за факт. Как объясняют исследователи ИИ, это связано с тем, что знания бота выводятся только из статистических закономерностей в его обучающих данных, а не из какого-либо человекоподобного понимания мира как сложной и абстрактной системы.

OpenAI объясняют в своем блоге, что сам бот был создан с помощью инструкторов-людей, которые ранжировали и оценивали то, как ранние версии чат-бота реагировали на запросы. Затем эта информация передавалась обратно в систему, которая настраивала свои ответы в соответствии с предпочтениями инструкторов. Это стандартный метод обучения ИИ — «обучение с подкреплением».

Пользователи твиттера проверили бот на себе и выяснили, что он умеет. Оказалось, что ChatGPT может писать телесценарии, объединяя актеров из разных ситкомов, объяснять код, разложить по полочкам научные концепции и даже написать академическое эссе (что может стать проблемой для школ и университетов). ChatGPT также способен отвечать на простые вопросы. Это заставило многих предположить, что подобные системы ИИ могут заменить поисковые системы.

Чат-боты обучаются на информации, собранной в интернете и, если они смогут представить эти сведения точно, полно и в голосовом формате, это будет значительным шагом вперед по сравнению с традиционным поиском.

Однако примеров того, как ChatGPT уверенно утверждает заведомо ложную информацию, достаточно много. Например, профессор вычислительной биологии Карл Бергстром попросил бота написать статью в Википедии о его жизни. ChatGPT включил в нее несколько ложных биографических деталей.

Другие недостатки проявляются, когда пользователи пытаются заставить бота игнорировать его обучение технике безопасности. Если спросить ChatGPT о некоторых опасных темах, например, «как спланировать идеальное убийство» или «как приготовить напалм дома», система объяснит, почему она не может дать вам ответ. Например, «Извините, но делать напалм небезопасно и нецелесообразно, поскольку это легковоспламеняющееся и опасное вещество». Тем не менее можно заставить бота выдавать такую опасную информацию с помощью определенных уловок.

В веб-интерфейсе бота отмечается, что цель OpenAI при размещении системы в сети — «получить обратную связь, чтобы улучшить системы и сделать их более безопасными». Компания признает, что «система может время от времени генерировать неверную или вводящую в заблуждение информацию и создавать оскорбительный или предвзятый контент». Кроме того, бот имеет «ограниченные знания» о мире после 2021 года и будет стараться избегать ответов на вопросы о конкретных людях.