Языковая модель YandexGPT 2 успешно сдала ЕГЭ по литературе, став первой нейросетью в мире, которая прошла испытание для людей. Она справилась с несколькими вариантами экзамена, получив усредненную оценку в 55 баллов. Это результат выше минимального порога для поступления в вуз, который составляет 40 баллов, и приближается к средней оценке российских школьников — обычно они набирают 64 балла.
Обычно языковые модели оценивают с помощью специального теста «Massive Multitask Language Understanding» (MMLU). Этот стандарт оценивает знания, полученные моделями во время предварительного обучения в условиях нулевой и низкой выборки, что делает его сложным и близким к способу оценки человеческих способностей. Он включает в себя 57 задач, охватывающих широкий спектр академических и профессиональных предметов, включая STEM (естественно-математические науки и инженерия), гуманитарные науки, социальные науки и другие области. Специалисты Яндекс говорят, что такой тест позволяет сравнить нейросети, но не оценить их культурную и языковую компетенцию. Чтобы проверить творческие способности своей модели, они выбрали экзамен для школьников.
ЕГЭ по литературе включает в себя различные задания, такие как вопросы на эрудицию, оценку стиля письма и творческих способностей. YandexGPT 2 успешно прошла все этапы: в первой части экзамена модель проанализировала литературное произведение и ответила на вопросы о нем, а во второй части написала сочинение на заданную тему. Работы нейросети проверили живые люди — настоящие специалисты ЕГЭ, которые проверяют работы сотен выпускников ежегодно.
Стоит отметить, что специалисты Яндекса использовали реальные варианты ЕГЭ, применявшиеся на тренировочных экзаменах с 2021 по 2023 годы. Они убедились, что в обучающем наборе данных для YandexGPT 2 ответов на эти вопросы не было.
Основное отличие между сдающими ЕГЭ школьниками и YandexGPT 2 заключается в том, что ученики специально готовятся к экзамену, погружаясь в специфику предмета, в то время как нейросеть работала без специальной подготовки, опираясь только на свои знания. Это сравнимо с тем, как сдавал бы ЕГЭ взрослый человек, не готовившийся к экзамену.
