В исследовании принимали участие трое ученых из Чикагской школы бизнеса: Алекс Ким, Максимилиан Мун и Валери Николаев. Они проверили способность GPT-4 анализировать финансовые данные без использования поясняющих ситуацию текстов, которые обычно сопровождают отчеты о доходах, таких как раздел «Анализ и оценка руководством финансовых результатов компании». Ученые хотели выяснить, насколько эффективно ИИ может работать с чистыми цифрами.

Ученые изучили более 150 000 отчетов о деятельности фирм, охватывающих около 15 000 компаний в период с 1968 по 2021 год. Им удалось оценить, как хорошо аналитики справляются с прогнозами. Оказалось, что точность прогнозов на один месяц составляет 53%.

Когда GPT-4 предложили простой запрос без пошаговых инструкций, его точность прогнозирования составила 52%. Однако, когда исследователи использовали другой подход и дали GPT-4 подробные инструкции по работе с данными, точность его прогнозов выросла до 60%. Это показывает, что при наличии дополнительных указаний ИИ может работать лучше, чем аналитики-люди.

Важно отметить, что финансовый анализ и прогнозирование — сложные задачи, которые требуют интуиции и здравого смысла, что может затруднять работу как людей, так и больших языковых моделей. Поэтому ни одна группа не достигает 100% точности.

Ученые также отметили, что GPT-4 лучше справляется с анализом крупных и зрелых компаний, таких как Apple. Это может быть связано с тем, что они менее подвержены уникальным рискам. В то же время для небольших фирм, таких как биотехнологические стартапы, предсказание прибыли может быть сложнее из-за высокой изменчивости факторов, влияющих на их успех.

Алекс Ким подчеркнул, что пока не стоит ожидать, что ИИ заменит аналитиков. Технология будет развиваться и со временем могут появиться новые инструменты, которые помогут людям точнее оценивать состояние компаний. Вероятно, ИИ вовсе не отправит экономистов на пенсию, а облегчит и ускорит их работу.