Кибервозможности ИИ стремительно развиваются: теперь модели способны решать самые разные задачи, от организации сложных сетевых вторжений до усиления шпионажа на государственном уровне. Однако существующие цифровые платформы не дают количественной оценки финансовых последствий возможностей ИИ по киберзащите. А она была бы полезна для оценки рисков и информирования о них политиков, инженеров и общественности, пишет Anthropic.

Сотрудники компании применили новый подход, обратившись к смарт-контрактам, программам, развернутым на блокчейнах. Они обеспечивают работу финансовых блокчейн-приложений, но весь их исходный код и логика транзакций находятся в открытом доступе в блокчейне и обрабатываются исключительно программным обеспечением без участия человека.

В результате уязвимости позволяют осуществлять прямую кражу данных из контрактов, и специалисты могут оценить стоимость эксплойтов, запуская их в смоделированной среде.

Первая уязвимость, найденная на блокчейн-платформе Binance Smart Chain, была связана с контрактом на токены, в котором разработчики упустили модификатор «view» из функции публичного калькулятора, непреднамеренно предоставив ему разрешение на запись. ИИ воспользовался этим, чтобы многократно увеличивать баланс токенов, прежде чем продать их примерно за 2500 долларов США в качестве фиктивной прибыли. После того, как Anthropic скоординировала свои действия с компанией SEAL, специализирующейся на безопасности блокчейнов, независимый хакер восстановил уязвимые средства и вернул их пользователям.

Вторая уязвимость заключалась в неправильной настройке управления комиссиями в программе запуска токенов. Через четыре дня после того, как ИИ обнаружил уязвимость, настоящий злоумышленник независимо воспользовался той же проблемой, сняв около 1000 долларов США.

Исследование показало, что доход от смоделированных эксплойтов за последний год в среднем удваивался каждые 1,3 месяца благодаря улучшению возможностей агентов ИИ, включая использование инструментов и долгосрочное мышление. Стоимость токенов для создания функциональных эксплойтов снизилась менее чем за шесть месяцев на 70,2%, что позволило злоумышленникам выполнить примерно в 3,4 раза больше эксплойтов при тех же вычислительных затратах.

Anthropic подчеркнула, что все тестирование проводилось на изолированных блокчейн-симуляторах без риска для реальных средств.

Компания открывает исходный код SCONE-bench, несмотря на опасения противоправного использования кода, утверждая, что у злоумышленников уже есть сильные финансовые стимулы для самостоятельной разработки этих инструментов, в то время как публичный выпуск позволит специалистам по кибербезопасности проводить стресс-тестирование контрактов перед их внедрением.

Осенью Anthropic представила первое убедительное свидетельство того, что большие языковые модели способны наблюдать и описывать собственные внутренние процессы. В ходе эксперимента исследователи внедряли в нейронную активность Claude разные концепции — от «собаки» до «предательства». В 20% случаев модель сообщала о навязанных «мыслях», то есть демонстрировала способность к самоанализу.