Обычно производители квантовых машин описывают их в терминах числа кубитов, точности и скорости вентилей. Эти показатели важны для понимания качества отдельных компонентов, но не всегда отражают, как машина справляется с серьезными вычислениями. Система с множеством кубитов не всегда использует их эффективно при высоком уровне ошибок; машина с быстрыми вентилями может потерять преимущество из-за ограниченных связей между кубитами; а меньший процессор с более точными кубитами и лучшей связностью способен выполнить больший контур, несмотря на медленную работу.

Бенчмарк QUOPS (Quantum Universal Operations Performance System) рассматривает квантовый компьютер как единую систему. Он скармливает ему рандомизированные схемы разной ширины (число кубитов) и глубины (число последовательных слоев операций), а затем проверяет, проходит ли вывод процессора заданный порог успеха. Затем вся производительность сводится к двум параметрам: Q — самая большая схема, которую способна выполнить система, и омега — эффективное число квантовых операций в секунду при таком масштабе. Высокий Q без соответствующей скорости означает систему, выполняющую большие схемы, но медленно; высокая скорость при малом Q — быструю машину, ограниченную короткими или узкими вычислениями.

Исследователи протестировали бенчмарк на процессорах Quantinuum, Google и IBM. Google Willow и IBM Boston на сверхпроводящих кубитах выполняли операции быстрее, но имели меньшие области возможностей и более низкие Q; Quantinuum Helios на ионах в ловушке достигал больших контуров и более высокого Q, но работал медленнее.

Сравнение не выявило явного фаворита в архитектуре квантовых компьютеров — оно показало, что системы достигают производительности разными сочетаниями точности, скорости и связности, пишет The Quantum Insider. Тест также учитывает стоимость подавления ошибок: оно улучшает качество результата, но дополнительная выборка снижает эффективную скорость вычислений. Все три системы потенциально могли бы обрабатывать большие схемы с подавлением ошибок, но это уменьшало их эффективные операции в секунду.

Сопоставив требования к ресурсам для решения таких эталонных задач, демонстрирующих практическую ценность квантовых вычислений, с эффективным размером схем в единицах QUOPS, исследователи обнаружили, что характеристики современного оборудования уступают этим целевым значениям примерно в 100 000 раз. Этот результат подкрепляет актуальность перехода к отказоустойчивым квантовым вычислениям, в которых для защиты расчетов от накопленного шума применяются методы коррекции ошибок.

Вдобавок, исследователи применили QUOPS к процессору на Helios-1 с восемью логическими кубитами. Этот эксперимент показал, что один и тот же бенчмарк способен оценивать и системы на физических кубитах, и только появляющиеся системы на логических.

Группа зарубежных исследователей разработала игру, в которой квантовый компьютер должен дать правильный ответ, на миг взглянув на список из сотен миллиардов вариантов. В сотнях раундов он справлялся с этой задачей почти идеально, тогда как обычный компьютер при таком же мгновенном взгляде оказывался не лучше броска монеты.