Тесты с множественным выбором дают учащимся возможность сравнить варианты ответов и выбрать правильный. Они помогают сузить зону поиска, отбросив варианты, которые верны лишь частично.

Один из них — тест стандартными прогрессивными матрицами Рейвена на интеллект, созданный еще в первой половине прошлого века и определяющий способность к обучению на основе обобщения собственного опыта и умения обрабатывать сложные события. Испытуемый должен последовательно выбрать правильный ответ на графические загадки, представленные в виде абстрактных изображений. Каждая задача состоит из восьми изображений, помещенных в решетку 3×3. Нужно проанализировать их и понять, каким должно быть девятое, отсутствующее изображение.

Прошлые попытки решать задачи теста Рейвена с помощью машинных методов касались исключительно выбора правильного ответа из предложенных вариантов. В данном случае исследователи из Университета Тель-Авива и Facebook научили модель генерировать ответ не видя вариантов, что намного сложнее, пишет VentureBeat. Предложенная модель нейронной сети сочетает достижения генеративных моделей и способна не только давать правильные ответы, но и конкурировать с новейшими методами решения задач с множественным выбором.

В ходе эксперимента с использованием набора данных RAVEN-FAIR исследователи добились точности ответов модели на уровне 60,8%. По их словам, это очень убедительный результат, несмотря на не-детерминистическую природу проблемы.

Помимо потенциального применения в образовании переход от выбора к генерации правильного ответа может привести к появлению более интерпретируемых методов машинного обучения, которые можно будет использовать, например, для оценки машинной логики.

Специалисты DeepMind разработали новый тип IQ-теста — генератора, создающего вопросы на основе абстрактного набора факторов, включая отношения прогрессии или такие характеристики, как цвет или размер.Он не только проверяет уровень абстрактного мышления, но и развивает эту способность у машин.