CL-bench включает 1899 задач, распределенных по 500 контекстам. Создание и аннотирование каждого контекста экспертами занимало около 20 часов. Задачи охватывают четыре категории: рассуждения на основе предметных знаний, применение систем правил, выполнение процедурных задач и эмпирические исследования. Чтобы модель не могла использовать знания из обучающих датасетов, данные либо полностью выдумывали, либо модифицировали, либо включали недавно появившиеся узкоспециализированные сведения.

Результаты тестирования оказались показательными. Среди десяти проверенных моделей средний процент правильных ответов составил всего 17,2%. Лидером оказался GPT-5.1 с точностью 23,7%. При этом модель использовала больше вычислительных ресурсов для рассуждений, хотя вся нужная информация уже содержалась в контексте задач.

Такие низкие показатели объясняются тем, что модели часто игнорируют или неправильно используют контекст и опираются на статические знания, полученные при обучении.

Особенно сложными оказались задачи, требующие индуктивного подхода: вывод правил или исследование смоделированных сред приводило к успеху менее чем в 10% случаев. Увеличение вычислительных ресурсов чуть улучшало ситуацию, однако эффект был непостоянным, а у некоторых моделей производительность даже снижалась.

CL-bench подсвечивает проблемы, которые могут возникнуть при внедрении ИИ. В корпоративной среде модели часто работают с отраслевой документацией, процедурами и техническими спецификациями, которые постоянно обновляются. Если ИИ не способен надёжно усваивать и применять такой контекст, преимущества масштабирования контекстного окна остаются сомнительными.

CL-bench используется только для оценки и не предназначен для оптимизации моделей под тест. Разработчики могут загружать набор данных, запускать модели через предоставленные скрипты и отправлять результаты в таблицу лидеров. Репозиторий уже доступен на GitHub, набор данных — на Hugging Face, а таблица лидеров — на clbench.com.