Точность ответов и рассуждений БЯМ — давняя боль разработчиков. Некоторые подсказки пользователей помогают повысить их эффективность, но модель может дать сбой, если запрос будет содержать нерелевантную или поданную уверенно информацию. Например, если вы напишите в вопросе собственные рассуждения, чат-бот скорее всего подтвердит их, а не напишет, как дела обстоят на самом деле.

Здесь на помощь приходит «System 2 Attention», она же S2A, которая превосходит ранее известные методики. Она особенно хорошо проявила себя в ответах на вопросы, решениях задач с текстовым условием и генерации длинных текстов. Всё потому, что с помощью неё БЯМ учатся отсеивать предвзятую, субъективную или просто не имеющую значения информацию. Точность и объективность ответов при её использовании растёт, а языковые модели не пытаются «польстить» пользователю.

Механизм работы S2A включает в себя два этапа. На первом она изменяет первоначальный запрос, представленный БЯМ, и удаляет несущественные или потенциально вводящие в заблуждение части. Затем этот уточнённый запрос подаётся в основную БЯМ для генерации выводов. Теперь ответы модели основываются на наиболее релевантных и важных аспектах входных данных, тем самым повышая качество и надежность выхода.

Более того, техника S2A решает ключевую проблему в работе языковых моделей-трансформеров (вид архитектуры, при котором модели не обрабатывают текст по порядку). Традиционные механизмы мягкого внимания в них склонны включать в свои латентные представления несущественную информацию из запроса, что может негативно влиять на генерацию следующих токенов в последовательности. Отсеивая ненужное, S2A помогает улучшить производительность и точность БЯМ.