Компании — разработчики систем машинного зрения, такие как Mobileye или Nvidia — уже предложили свои фреймворки для безопасного и разумного принятия решений. Теперь свое решение представила и OpenAI, некоммерческая калифорнийская организация. Это Safety Gym — набор инструментов для разработки ИИ, тщательно соблюдающего все требования безопасности, и для сравнения алгоритмов между собой для выявления угроз и ошибок.

Safety Gym предназначен для обучения с подкреплением, или ИИ, который постепенно учится чему-то новому методом пряника и кнута. В процессе такого тренинга агенты нередко пробуют совершать рискованные действия, которые в дальнейшем могут привести к ошибкам, пишет Venture Beat.

Для того чтобы этого не случилось, OpenAI предлагает подвид обучения с подкреплением — обучение с ограниченным подкреплением (constrained reinforcement learning), в котором присутствует цена функций, сдерживающая ИИ.

В среде Safety Gym агент движется по ограниченному пространству и всякий раз, выполняя какое-либо небезопасное действие, видит красный свет и подвергается штрафу. Есть несколько уровней сложности, от самых простых до настолько сложных, что современным ИИ они могут оказаться пока не по зубам.

«Мы надеемся, что такие системы, как Safety Gym, упростят разработчикам ИИ сотрудничество в области безопасности ИИ путем создания открытых, общих систем», — говорится на сайте OpenAI.

Открытость ИИ — это принцип, за который OpenAI выступает с момента своего основания. Судя по темпам роста вычислительных мощностей для обучения моделей ИИ, разработка ИИ скоро сосредоточится в руках частных компаний. Государства должны адекватно финансировать эту отрасль, призывают эксперты.