Исследование проанализировало способность больших языковых моделей к построению аналогий. Результаты показали, что при решении простых задач с буквенными последовательностями и цифровыми матрицами, где требуется определить пропущенный элемент, люди демонстрировали стабильно высокие результаты. А вот искусственному интеллекту это удавалось с трудом.

Отличие между человеком и ИИ проявилось при решении задач на сюжетные аналогии. Языковые модели показали два существенных ограничения — зависимость результатов от последовательности предлагаемых вопросов и тенденцию к механическому перефразированию вместо содержательного анализа.

GPT-4 справляется с простыми буквенными аналогиями, где требуется заменить последнюю букву в последовательности. Например, если дано преобразование «abcd» в «abce», модель верно изменяет «ijkl» на «ijkm». Но более сложные правила, такие как удаление повторяющихся букв, ИИ понимает хуже. Когда требуется преобразовать «abbcd» в «abcd» и применить это же правило к «ijkkl», система часто ошибается и не может получить правильный ответ «ijkl». У человека таких проблем нет.

Ученые заключили, что ИИ-модели не обладают способностью к «обучению с нуля» (zero-shot learning) — то есть не могут корректно анализировать данные из категорий, которых не было в обучающей выборке, и классифицировать их на основе поставленного вопроса.

В отличие от людей, языковые модели не способны выводить общие правила из конкретных паттернов. Они хорошо распознают и сопоставляют шаблоны, но не умеют обобщать их. Большинство ИИ-систем зависят от объема данных — чем больше обучающая выборка, тем больше закономерностей они выявляют. Однако распознавание шаблонов и абстрагирование принципиально различаются. Ключевым фактором здесь оказывается не объем доступных данных, а методика их обработки и анализа.

Это важно, например, для юриспруденции, где ИИ используют для анализа законов и вынесения приговоров. Из-за этого ограничения модель может неправильно применять прецеденты к новым делам.