Новая версия YandexGPT 3 Lite значительно превосходит свою предшественницу, YandexGPT 2 Lite, по многим показателям. В тесте YaMMLU_ru, аналогичном международному эталонному тесту MMLU, новая модель продемонстрировала на 6% больше правильных ответов. При сравнении моделей по методу Side by Side, где обе нейросети отвечали на одни и те же вопросы, эксперты определили, что YandexGPT 3 Lite дает лучшие ответы в 68% случаев.

Эксперты также оценивали, как хорошо новая модель справляется с классификацией, генерацией контента и ответами на вопросы. В тестах YandexGPT 3 Lite показала более высокую точность и меньшее количество орфографических и фактических ошибок по сравнению с YandexGPT 2 Lite.

При создании YandexGPT 3 Lite разработчики улучшили все этапы обучения. Они тщательно отбирали данные для предварительного обучения, увеличивая долю полезной информации, и использовали технологию Curriculum Learning для постепенного усложнения задач. На этапе обучения с подкреплением была улучшена модель оценки качества ответов. В архитектуру нейросети добавили технологию Grouped Query Attention, которая ускоряет обработку данных без потери качества.

YandexGPT 3 Lite можно интегрировать в свои продукты через API в сервисе Foundation Models. Новая модель заменит предыдущую в течение месяца, но уже сейчас доступна для тестирования. Стоимость использования YandexGPT 3 Lite составляет 20 копеек за тысячу токенов, а новые пользователи Yandex Cloud могут протестировать её бесплатно в демо-режиме.