Safeguarded AI получит финансирование в размере 59 миллионов фунтов стерлингов в течение следующих 4 лет. Основной задачей проекта является разработка ИИ-системы, которая сможет проверять безопасность других ИИ-систем, используемых в критических областях. Бенджио займет пост научного директора, где будет оказывать ключевую научную поддержку и давать консультации.

Дэвид Далримпл, руководитель программы Safeguarded AI в ARIA, пояснил, что цель проекта — создать ИИ-системы, способные давать количественные гарантии безопасности, такие как оценка риска. В проекте предполагается сочетание научных моделей мира с математическими доказательствами, чтобы обеспечить проверку ИИ-систем на потенциальную опасность. Люди-эксперты будут проверять корректность таких выводов.

Бенджио подчеркнул, что важно предотвратить возможность серьезного вреда от будущих ИИ-систем. Он отметил, что на данный момент у научно-технологических компаний нет способа предоставить математические гарантии того, что ИИ-системы будут работать строго по заданной программе, что может привести к катастрофическим последствиям.

Существующие методы минимизации рисков, такие как Red Team, где специалисты ищут уязвимости в ИИ-системах, имеют серьезные ограничения. Safeguarded AI планирует предложить новые способы защиты ИИ-систем, основываясь на математической достоверности, а не на человеческих усилиях.

В проекте рассматривается создание «сторожевого» ИИ, который будет отвечать за снижение рисков безопасности других ИИ-агентов, особенно в таких секторах, как транспорт и энергетика.

Следующий шаг программы — построение моделей, способных проверять другие ИИ-системы. ARIA также предоставляет финансирование для людей или организаций в высоко рискованных секторах, таких как транспорт, телекоммуникации, цепочки поставок и медицинские исследования, чтобы они могли воспользоваться механизмами безопасности ИИ. В первый год будет выделено 5,4 миллиона фунтов, а в последующий — 8,2 миллиона фунтов. Крайний срок подачи заявок — 2 октября.

ARIA также планирует создать некоммерческую организацию для разработки механизмов безопасности ИИ, выделив на это до 18 миллионов фунтов. Эта организация будет иметь разнообразный совет директоров, включающий представителей различных секторов, и будет ответственна за принятие решений по исследованиям и публикациям.

Проект Safeguarded AI является частью плана Великобритании по позиционированию себя в качестве пионера в области безопасности ИИ. В ноябре 2023 года страна провела первый саммит по безопасности ИИ, собрав мировых лидеров и технологов для обсуждения безопасного развития технологий.

Йошуа Бенджио — один из ведущих мировых экспертов в области глубокого обучения, на котором базируется современный ИИ. Его исследования в области многослойных нейронных сетей позволили значительно улучшить распознавание изображений, обработку естественного языка и другие задачи ИИ. В 2018 году он вместе с Йаном Лекуном и Джеффри Хинтоном получил премию Тьюринга, которую часто называют «Нобелевской премией по информатике».