Пользователь может запросить дословную стенограмму, преобразование произнесенных чисел в письменный формат, перевод, краткое изложение решений, принятых во время разговора, или задать вопросы по содержанию записи. Модель также умеет учитывать специальные термины, например, названия лекарств, и переключение между языками. Для этого не требуется дополнительное обучение — достаточно описать задачу в запросе.
Nemotron 3.5 Transcribe определяет говорящих даже в записях, где собеседники перебивают друг друга. Модель поддерживает аудио с участием до восьми человек. После создания стенограммы она может сопоставить текст с аудиозаписью и добавить временные метки к отдельным словам. Качество распознавания и определения говорящих зависит от языка и условий записи, поэтому имена и моменты смены собеседников рекомендуется проверять.
В рейтинге Open ASR Leaderboard на платформе Hugging Face модель заняла первое место среди систем с открытыми весами. Этот рейтинг сравнивает точность автоматического распознавания речи: чем ниже доля ошибок распознавания слов (WER), тем лучше результат.
По данным NVIDIA, средний WER составил 4,71% на девяти англоязычных тестовых наборах и 4,62% в многоязычном тестировании. На тесте ContextASR-Bench модель в шесть раз реже ошибалась при распознавании имен и других сущностей, если ей заранее предоставляли их список. В независимом бенчмарке Artificial Analysis ее показатель составил 2,81% — близко к 2,77% у Mistral Voxtral Small.
В основе системы лежит архитектура, объединяющая специализированный кодировщик речи, модуль определения говорящих и языковую модель Nemotron 3.5 Lightning 30B-A3B — всего она содержит около 30 млрд параметров, из которых при обработке каждого фрагмента активны примерно 4 млрд.
На одном графическом процессоре RTX PRO 6000 Blackwell Server Edition модель с квантованием NVFP4 способна обрабатывать 100 часов аудио менее чем за три минуты. NVIDIA также выпустила набор данных Granary v2, включающий 844 тыс. часов аудиозаписей на 48 языках, и инструменты для подготовки данных и адаптации модели к специализированным задачам. Например, при настройке на медицинские записи с участием индийских врачей и студентов-медиков доля ошибок снизилась с 30,8 до 11,8%.
Модель, набор данных Granary v2 и руководство по дообучению доступны на Hugging Face. NVIDIA также предоставляет демонстрационную версию. В комплект входят инструменты, которые помогают адаптировать распознавание к новым языкам и предметным областям.
