Архитектура трансформера, лежащая в основе популярных ИИ вроде ChatGPT, крайне ресурсоемкая: затраты на обучение растут квадратично с длиной последовательности, а память вывода — линейно. SpikingBrain 1.0 использует иной подход — так называемые «спайковые вычисления», имитирующие работу нейронов мозга.
В отличие от моделей вроде GPT, где активируется вся сеть, SpikingBrain реагирует только на конкретные входные сигналы. Такой принцип позволяет резко снизить энергозатраты и повысить скорость обработки. По словам авторов, система обучалась на менее чем 2% данных, обычно необходимых для моделей такого масштаба, и при этом показала сопоставимые результаты в тестах по пониманию языка и рассуждениям.
Команда протестировала две версии модели — с 7 и 76 млрд параметров. Обе были обучены на сравнительно небольшом объеме данных — 150 млрд токенов. Эффективность технологии особенно заметна при обработке длинных последовательностей. В ходе одного из тестов меньшая модель среагировала на подсказку из 4 млн токенов более чем в 100 раз быстрее стандартной системы. В другом тесте SpikingBrain 1.0 показал ускорение в 26,5 раза по сравнению с традиционной архитектурой трансформера при генерации первого токена из контекста объёмом в 1 млн токенов.
Тесты показали и устойчивую производительность: система несколько недель стабильно работала на установке из сотен микросхем MetaX — платформы, разработанной шанхайской компанией MetaX Integrated Circuits. Это подчеркивает потенциал SpikingBrain для масштабного внедрения без зарубежных технологий.
Исследователи считают, что новая модель особенно полезна там, где нужно обрабатывать гигантские объемы данных: в анализе юридических и медицинских документов, экспериментах по физике и биоинформатике, включая секвенирование ДНК. «Эти результаты показывают, что обучение больших моделей может быть эффективным и на альтернативных платформах, отличных от Nvidia», — пишет исследовательская группа.
В прошлом году ученые Института автоматики совместно со швейцарскими коллегами представили энергоэффективный нейроморфный чип Speck, имитирующий работу нейронов и синапсов человеческого мозга. Чип потребляет всего 0,42 мВт в режиме ожидания, практически не расходуя энергию без входных сигналов. Для сравнения, человеческий мозг, обрабатывающий сложные нейронные сети, использует около 20 Вт.
