Библиотека GPipe организует два приема обучения ИИ. Первый — синхронный стохастический градиентный спуск. Это алгоритм оптимизации, который применяется для того, чтобы обновить параметры модели ИИ. Второй — конвейерный параллелизм. Это система выполнения задач, в которой выходные данные одного шага образуют входные данные следующего, рассказывает VentureBeat.

«Глубокие нейронные сети (DNN) выполняют множество задач машинного обучения, включая распознавание речи, визуальное распознавание и обработку языка. Более крупные модели DNN приводят к улучшению работоспособности, а прошлый опыт показывает, что существует прямая зависимость между размером модели и точностью классификации, — пишет инженер Google AI Хуан Яньпин в блоге. — В GPipe мы (…) демонстрируем применение конвейерного параллелизма для того, чтобы увеличить эффективность обучения DNN и обойти эти ограничения».

Большая часть прироста производительности GPipe основана на лучшем распределении памяти для ИИ-моделей.

На тензорных процессорах Google TPU второго поколения с восемью ядрами и 64 ГБ памяти каждый GPipe снизил использование промежуточной памяти почти вдвое — с 6,26 ГБ до 3,46 ГБ. Это позволило повысить число параметров модели с 82 млн до 318 млн на одном ядре.

Оптимизация процесса обучения — не единственное преимущество библиотеки. Она также распределяет модели по различным ускорителям и автоматически делит миниатюрные пакеты обучающих примеров на «микропакеты». Это позволяет ядрам работать параллельно, не снижая качества модели.

Осенью прошлого года Microsoft открыла доступ к фреймворку Infer.NET, с помощью которого ученые или программисты смогут решать задачи машинного обучения. А Facebook поделилась возможностями платформы обучения с подкреплением Horizon, которая умеет обрабатывать огромные массивы реальных данных.