Baichuan считается одним из самых многообещающих разработчиков языковых моделей (LLM) в Китае, поскольку основателем компании является выпускник Университета Цинхуа, который создал поисковую службу Sogou, впоследствии поглощённую местным технологическим гигантом Tencent. Ван ушел из Sogou в конце 2021 года. После огромного успеха ChatGPT в апреле предприниматель запустил Baichuan и быстро получил финансирование в размере $50 млн от группы бизнес-ангелов.
Как и другие китайские языковые модели, Baichuan основана на архитектуре Transformer (которая также лежит в основе GPT) и имеет 13 млрд параметров — переменных, которые используются при генерации текста. Модель была обучена на данных на китайском и английском языках. Согласно странице на GitHub, модель имеет открытый исходный код и оптимизирована для коммерческого применения.
Baichuan-13 обучается на 1,4 трлн токенов. Ранее в интервью Ван сообщил, что его стартап готовится к выпуску крупномасштабной модели, сравнимой с OpenAI GPT-3.5, к концу этого года.
Запустившись всего три месяца назад, Baichuan уже стремительно развивается. К концу апреля команда выросла до 50 человек, а в июне опубликовала свой первый LLM — предтренировочную модель Baichuan-7B с 7 млрд параметров.
Теперь базовая модель Baichuan-13B доступна бесплатно для ученых и разработчиков, получивших официальное разрешение на ее использование в коммерческих целях. Создатели учли введённые США санкции, и модель можно запускать на системах с комплектующими потребительского класса, включая видеокарты NVIDIA GeForce RTX 3090.
Большие средства в крупные языковые модели вложили и другие китайские компании — гигант поисковой системы Baidu, дочерняя компания Университета Цинхуа Zhipu.ai, а также исследовательский институт IDEA.
