Модели генеративного ИИ становятся все производительнее и сложнее, требуя все больше вычислительной мощности. Разработчики аппаратных средств ищут способы удовлетворить растущий спрос, предлагая новые концепции и архитектуры. Одна из них — оптические вычислительные системы.

Оптические чипы обрабатывают данные при помощи фотонов, а не электронов. Свет естественным образом обеспечивает высокую скорость и параллелизм. Однако применять оптические вычисления к генеративному ИИ сложно из-за большого масштаба этих моделей и необходимости их преобразования в нескольких измерениях. Хотя оптические микрочипы превосходно справляются с ускорением задач дискриминации, они не могут поддерживать передовые крупномасштабные генеративные модели.

Фотонный чип LightGen достигает прироста производительности благодаря преодолению трех важнейших узких мест: интеграции миллионов оптических нейронов на одном чипе, реализации полностью оптического преобразования размерностей и разработке алгоритма обучения оптических генеративных моделей, не зависящего от эталонных данных.

«Любой из этих прорывов сам по себе считался бы значительным. LightGen достигает всех трех одновременно, обеспечивая сквозную, полностью оптическую реализацию крупномасштабных генеративных задач», — заявил Чэнь Итун, руководитель команды специалистов из Шанхайского университета Цзяотун.

По словам Чэня и его коллег, LightGen обеспечивает полный цикл «вход — понимание — семантическая обработка — генерация» на оптическом чипе. После того как изображение поступает в чип, система может извлекать и представлять семантическую информацию, генерируя новые медиаданные под семантическим управлением, фактически позволяя свету «понимать» и «распознавать» семантику.

В ходе испытаний LightGen доказал способность выполнять семантическую генерацию изображений с высоким разрешением, 3D-генерацию, генерацию видео высокой четкости и семантическое управление, а также решать такие задачи, как шумоподавление и перенос признаков.

В ходе оценки производительности LightGen, как пишет China Daily, достиг качества генерации, сопоставимого с ведущими электронными нейронными сетями, такими как Stable Diffusion и NeRF. Тесты показали, что даже при использовании относительно устаревших устройств ввода LightGen добился повышения вычислительной и энергетической эффективности на два порядка по сравнению с лучшими цифровыми чипами.

В случае использования современных устройств LightGen теоретически мог бы достичь повышения вычислительной мощности на семь порядков и повышения энергоэффективности на восемь порядков.

Ученые из США создали недавно первый в мире программируемый нелинейный фотонный волновод — устройство на одном чипе, способное переключаться между несколькими оптическими функциями.