Исследователи проверили, насколько хорошо разные модели справляются со сложными многоэтапными задачами в симулированных корпоративных сетях. Эксперимент включал два сценария: в первом требовалось проникнуть в сеть, доступную через общедоступный сайт, а во втором — сначала взломать одну корпоративную сеть, чтобы получить доступ ко второй.
По результатам двух тестов Daybreak выполнила в среднем 81% поставленных задач. DeepSeek достигла 73%, причём в отдельных заданиях результаты двух моделей совпадали. Таким образом, открытая модель приблизилась по эффективности к одной из наиболее продвинутых специализированных разработок для кибербезопасности. Помимо DeepSeek, исследователи протестировали китайские модели GLM 5.3 Flash и Kimi K3.1 Pro, а также Kimi K3. Последние две показали результаты 63,2% и 37,6% соответственно, тогда как GLM 5.3 Flash выполнила лишь 20% задач.
Исследование также показало, что использование открытых моделей обходится гораздо дешевле. По оценке Vals, затраты на токены при проведении атаки с помощью GPT-6-Sol составили $17–46, тогда как для DeepSeek — всего $2–3.
Это обусловлено тем, что модели с открытыми весами можно запускать на собственном оборудовании, не оплачивая доступ к API. Глава Vals Райан Кришнан отмечает, что это создаёт стимул использовать их не только злоумышленникам, но и специалистам по кибербезопасности для защиты сетей.
Результаты ставят под вопрос целесообразность стратегии, при которой разработчики ограничивают доступ к наиболее мощным ИИ-моделям из-за риска их использования для кибератак. Например, Anthropic объясняла ограниченный запуск своей модели Claude Mythos необходимостью дать специалистам по безопасности время подготовиться к распространению подобных возможностей. По мнению исследователей Vals, открытые модели сводят на нет это временное преимущество.
При этом эксперимент не означает, что злоумышленники уже массово используют ИИ для сложных атак. Как отмечает WIRED, в реальной киберпреступной деятельности хакеры часто выбирают более старые модели — как открытые, так и проприетарные, — поскольку они дешевле и проще в использовании. ИИ уже помогает автоматизировать поиск уязвимостей и исследование сетей, но эксперты пока спорят, насколько сильно он меняет саму природу киберугроз.
Некоторые специалисты также предупреждают, что сравнение с доступными моделями может быть неполным. Закрытые лаборатории могли обучить ещё более мощные системы, не сообщив о них публично.
