Компания «Аватар Машина» при поддержке Ассоциации лабораторий искусственного интеллекта (АЛРИИ) запустила RRNCB (Russian RAG Normative-Corporate Benchmark) — первый в России открытый продуктовый бенчмарк для комплексной оценки RAG-решений. Инициатива призвана решить проблему отсутствия прозрачных критериев оценки эффективности ИИ-решений для бизнеса: RRNCB протестирует полные RAG-пайплайны на реальных корпоративных задачах.

 «В России уже есть бенчмарки, которые проверяют работу отдельных компонентов ИИ-системы — например, качество LLM-моделей. Но таких бенчмарков, которые бы оценивали весь пайплайн ИИ-продукта и могли бы дать объективное представление о его сильных и слабых сторонах для потенциальных заказчиков — то есть людей, которые с помощью ИИ хотят решить свои бизнес-задачи, — просто нет. RRNCB оценивает весь пайплайн целиком: от извлечения данных до финальной генерации. Мы проверяем, насколько разработчики ИИ-решений квалифицированы в настройке всех компонентов, и даем компаниям объективный инструмент для принятия решений о закупке того или иного решения», — Захар Понимаш, Технический директор «Аватар Машина».

Принять участие в бенчмарке призывают все российские компании, разрабатывающие и продающие собственные ИИ-продукты бизнесу. Участие в первом независимом российском бенчмарке дает компаниям объективное подтверждение качества продукта и инструмент для продаж. Организаторы ожидают заявки от команд разработки из Сбера («GigaChat»), Яндекса («Нейроэксперт»), МТС («Cotype»), Softline («Preferentum»), Авито, Точка Банка, Just AI и других ключевых игроков рынка. Свое участие подтвердили разработчики ИИ-решений от «Дюк Технологии», AutoFAQ.ai, AI Research, Новосибирского государственного университета, Simbirsoft и других.

Компании-разработчики RAG-решений могут подать заявку на участие до 21 ноября через форму на сайте бенчмарка. Первый этап тестирования пройдет с 22 по 28 ноября, второй — с 29 ноября по 10 декабря. Публикация результатов и рейтинга лучших ИИ-решений запланирована на 12 декабря. Подробная информация о методологии, датасетах и процессе участия доступна на сайте бенчмарка.

Бенчмарк проводится при поддержке Ассоциации лабораторий разработки искусственного интеллекта (АЛРИИ), которая обеспечивает экспертное сопровождение и методологическую поддержку проекта.

«Бенчмарк решает важную задачу для индустрии — создает единый стандарт оценки RAG-продуктов. Сейчас компании сталкиваются с проблемой: как объективно сравнить решения, если существующие инструменты тестируют только языковые модели? RRNCB оценивает готовые продукты целиком, что дает рынку прозрачный механизм сравнения и помогает заказчикам принимать обоснованные решения при выборе поставщика», — Вячеслав Береснёв, Исполнительный директор Ассоциации Лабораторий Разработки Искусственного Интеллекта (АЛРИИ), Директор ЦТИИ «Нейролаб», Федеральный эксперт АЦ Минобрнауки России.

Эксперты участвуют в оценке результатов участников и формировании финальных выводов бенчмарка.

Для чего России независимый бенчмарк RAG-решений для бизнеса? На российском рынке работают десятки RAG-решений для обработки корпоративных документов — от систем анализа регламентов до помощников по нормативной документации. Однако компаниям, выбирающим решение для внедрения, не хватает объективного инструмента для сравнения — существующие бенчмарки (MERA, SuperGLUE и др.) оценивают только отдельные компоненты (к примеру, языковые модели), а не решения целиком. Качество RAG-решения зависит не только от языковой модели, но и от всех компонентов пайплайна — системы поиска, обработки документов, формирования контекста. В результате лица, принимающие решения о закупке, не могут объективно оценить, насколько хорошо то или иное решение справится именно с их задачами — работой с техническими ГОСТами, юридическими кодексами или внутренними регламентами.

Как работает первый в России независимый бенчмарк RAG-решений? RRNCB (Russian RAG Normative-Corporate Benchmark) — первый в России бенчмарк, который оценивает не языковые модели, а готовые RAG-продукты целиком. Бенчмарк специализируется на корпоративном применении и работает с реальными типами документов: технической документацией, юридическими кодексами, ГОСТами, СНИПами, строительными нормативами, регламентами и финансовыми отчетами. Методология RRNCB обеспечивает прозрачность и объективность: часть датасета публикуется открыто, для оценки используются гибридные метрики и зарубежные языковые модели в качестве независимых судей.

Бенчмарк проходит в два этапа. На открытом этапе компании получают часть датасета и могут улучшать свои решения в течение двух недель, повторно отправляя результаты. Затем проводится закрытое тестирование на данных, которые участники не видели. Прозрачность методологии обеспечивается публикацией части датасета и открытым описанием системы оценки — любой участник может проверить корректность результатов.

По итогам бенчмарка будет опубликован публичный лидерборд — рейтинг RAG-решений по их эффективности в работе с корпоративной документацией. Организаторы представят детальный анализ результатов в публичных материалах, включая методологию оценки, сравнение подходов участников и экспертные комментарии.