Одна из самых передовых нейронных сетей с открытым исходным кодом — модель обработки естественного языка GPT-NeoX. У нее 20 млрд параметров, которые определяют, как модель ИИ обрабатывает данные. Обучение настолько сложной нейронки требует настолько высоких вычислительных мощностей, что эта задача обычно выполняется только при помощи большого числа графических процессоров.
Компания Cerebras заявила, что теперь обладает технологией, способной обучить GPT-NeoX при помощи одного-единственного устройства GS-2. И на сегодня только она обладает такими возможностями. Также GS-2 можно использовать для обучения других моделей обработки естественного языка — GPT-3XL или GPT-J с 1,3 млрд и 6 млрд параметров, соответственно.
Главное достижение Cerebras — чип WSE-2 с 2,6 трлн транзисторов, организованных в 850 000 ядер. Это в сто раз больше, чем количество ядер в самом быстром из графических процессоров на рынке. Есть также 40 ГБ памяти для хранения нейронной сети и обрабатываемых данных.
В памяти чипа можно хранить различные типы нейросетей, однако, некоторые модели ИИ с более чем миллиардом параметров требуют более 40 ГБ свободного места. Для них компания разработала технологию Weight Streaming. Она позволяет добавить к WSE-2 до 2,4 ПБ внешней памяти, что позволяет чипу обрабатывать более сложные модели, у которых до триллиона параметров.
Разработка призвана упростить обучение моделей искусственного интеллекта и оптимизировать работу ПО.
В начале года калифорнийская компания BrainChip объявила о начале продаж своих плат Mini PCIe на базе нейорморфного чипа AKD1000. разработчик электроники намерен стать главным поставщиком оборудования на принципиально новой архитектуре. Системы BrainChip способны проводить обучение ИИ на самом устройстве, независимо от подключения к облаку.
