Hitech logo

Кейсы

China Telecom обучила 2 БЯМ полностью на отечественных чипах

TODO:
Дарина Житова1 октября, 12:48

Государственный оператор связи КНР China Telecom сообщил об успешной разработке двух больших языковых моделей (БЯМ), которые были полностью обучены на чипах, произведённых в Китае. Это очередное свидетельство прогресса Китая в технологической независимости на фоне ограничений США на поставки передовых полупроводников. Санкции усложнили китайским компаниям доступ к современным чипам, таким как Nvidia A100 и H100, что подтолкнуло Китай к развитию собственных решений.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Одна из новых моделей, название которой пока не раскрыто, содержит 1 триллион параметров, что делает её одной из самых крупных в мире. Вторая модель, TeleChat2-115B, имеет более 100 миллиардов параметров. Количество параметров напрямую влияет на способность модели обрабатывать большие объемы данных и выполнять сложные задачи, такие как генерация текстов и ответы на вопросы, с высокой точностью и эффективностью. Обучение таких моделей требует значительных вычислительных ресурсов: мощных процессоров и графических ускорителей.

China Telecom не раскрыла всех поставщиков чипов для обучения этих моделей, но подтвердила использование чипов Ascend, разработанных Huawei Technologies. Эти процессоры разрабатываются компанией уже несколько лет и стали важной альтернативой для китайских производителей в условиях ограниченного доступа к западным технологиям. Huawei также начала тестировать новый чип Ascend 910 °C с крупными китайскими серверными компаниями и интернет-гигантами.

Кроме чипов Huawei, China Telecom также использует чипы, разработанные стартапом Cambricon. Эта компания специализируется на производстве процессоров для задач машинного обучения и искусственного интеллекта. Использование чипов от Cambricon и Huawei позволяет значительно снизить зависимость от импортных компонентов и уменьшить риск дефицита оборудования для выполнения вычислительных задач. Это особенно важно в условиях растущих потребностей в вычислительных мощностях для создания и эксплуатации БЯМ.

Помимо технологических достижений, China Telecom также фокусируется на повышении эффективности использования моделей ИИ. Сотрудничество с различными китайскими технологическими компаниями направлено на оптимизацию процессов обучения и интеграции БЯМ в приложения для конечных пользователей. В частности, компании стремятся улучшить алгоритмы, чтобы обеспечить более точные и быстрые ответы, оптимизировать потребление энергии и повысить эффективность использования ресурсов, что становится особенно важным в условиях роста размеров и сложности моделей.