Цинхуа-Университет провел исследование, в ходе которого сотрудники оценили 14 различных БЯМ, широко используемых в чат-ботах. Для оценки моделей использовались различные методики, включая тесты на семантическое понимание, способность к написанию кода, а также адаптацию к командам человека. Оказалось, что между китайскими моделями и моделями первого класса из других стран существуют «очевидный разрыв», особенно в программировании и выполнении задач в реальных условиях.

Исследователи хотели предложить объективные и научно обоснованные критерии для оценки моделей, что становится все более важным в условиях растущего числа БЯМ на рынке. Ученые хотят точно оценивать способности моделей к обработке естественного языка, их умение логически рассуждать и способность к обучению без учителя.

Среди 200 моделей БЯМ, запущенных в Китае (где услуги OpenAI официально недоступны), высокие результаты в задачах на китайском языке показали Ernie Bot 4.0 и GLM-4. В этой категории также выделялись чат-боты Kimi от Moonshot AI и Tongyi Qianwen 2.1 от Alibaba, которые заняли топовые позиции, хотя и GPT-4 продолжает оставаться лидером в области рассуждений на китайском языке.

Кроме того, китайские разработчики столкнулись с новыми препятствиями из-за недавних изменений в американском законодательстве об экспортном контроле, которые ограничили доступ к передовым процессорам и оборудованию для производства полупроводников.

За последние годы Zhipu AI привлек инвестиции в размере 2,5 миллиарда юаней, а Moonshot AI — $1 миллиард. Эти стартапы, наряду с Baichuan и MiniMax, в Китае называют «четыре новых тигра ИИ» за их вклад в развитие индустрии.