Команда будет работать над смягчением «химических, биологических и радиационных угроз», а также «автономного воспроизводства» ИИ. Кроме того, группа будет заниматься такими рисками, как обман людей и угрозы в области кибербезопасности.

Возглавит команду по обеспечению готовности Александр Мадри, который занимает должность директора Центра развертываемого машинного обучения Массачусетского технологического института. OpenAI отмечает, что группа также будет работать над «политикой разработки с учетом рисков», которая будет описывать подход компании к оценке и мониторингу моделей ИИ.

«Мы считаем, что передовые модели искусственного интеллекта, которые превысят возможности, присутствующие в настоящее время в самых передовых существующих моделях, принесут пользу всему человечеству. Но они также несут все более серьезные риски», — пишет OpenAI.

Генеральный директор OpenAI Сэм Альтман ранее предупреждал о возможности катастрофических событий, вызванных ИИ. В мае Альтман и другие видные исследователи ИИ опубликовали заявление, в котором говорится, что «снижение риска исчезновения человечества из-за ИИ должно стать глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война». Во время интервью в Лондоне Альтман также предложил правительствам относиться к ИИ так же серьезно, как и к ядерному оружию.

Между тем глава DeepMind и руководитель ИИ-подразделения Google Демис Хассабис, как и ряд других экспертов в ИИ, считает, что эта технология способна открыть «невероятные возможности» перед медициной и наукой, но признает, что она несет и реальные экзистенциальные риски. В первую очередь, речь о появлении так называемого «универсального ИИ», который превзойдет человека по интеллекту и окажется неподвластен человеку.