Одним из нововведений станет специальный блок Element Accelerator, который дополнит уже используемые в NPU скалярные, векторные и тензорные блоки. Блок предназначен прежде всего для ускорения вывода трансформерных моделей и должен позволить ИИ-агентам быстрее обрабатывать запросы и реагировать на действия пользователя без дополнительного энергопотребления.

Qualcomm также увеличила объем общей памяти, доступной четырем вычислительным блокам NPU. Это позволит хранить больше данных, необходимых модели для работы с контекстом, непосредственно рядом с вычислительными блоками, и реже обращаться к оперативной памяти смартфона. Это особенно важно для длинных запросов и ИИ-агентов, которые должны удерживать большой объем контекста.

Еще одно изменение связано с поддержкой архитектуры Mixture-of-Experts. Она позволяет большой модели разделять параметры на специализированные блоки, «экспертов», и активировать для конкретного запроса только часть из них. Благодаря этому на устройстве можно запускать более крупные модели без необходимости одновременно задействовать все их параметры. Qualcomm заявляет, что новый NPU сможет локально работать с MoE-моделями размером до 30 млрд параметров.

Компания также обещает прирост скорости обработки ИИ-моделей. По данным Qualcomm, новый NPU обеспечивает на 50% более высокую производительность на этапе предварительной обработки входных данных, а также повышает скорость декодирования и эффективность спекулятивного декодирования — метода, при котором небольшая модель заранее предлагает несколько следующих токенов, а основная модель проверяет их. Эти показатели получены при работе с моделями в формате INT4, который уменьшает объем вычислений и памяти. Поэтому заявленный прирост нельзя напрямую интерпретировать как общее ускорение работы ИИ на 50%.

Новые возможности NPU Qualcomm связывает прежде всего с развитием агентного ИИ на устройствах. ИИ-агент может разбивать задачу на несколько шагов, обращаться к приложениям и данным смартфона и выполнять действия без постоянных указаний пользователя. Ускорение обработки контекста и снижение требований к памяти должны сделать такие сценарии быстрее и отзывчивее.

Новое поколение NPU станет частью следующего семейства флагманских Snapdragon, которое Qualcomm представит 22 сентября на Snapdragon Summit. Компания уже раскрыла отдельные детали будущих чипов: ранее она сообщила об обновлении CPU и GPU, а теперь показала, что одновременно усиливает специализированную ИИ-часть платформы. Таким образом, производитель стремится перенести на смартфоны более сложные модели и агентные ИИ-сценарии, которые сегодня во многих случаях требуют облачных вычислений.