Hitech logo

искусственный интеллект

OpenAI: «Есть три неизбежных риска при создании сильного ИИ»

TODO:
Александр Носков18 апреля 2019 г., 14:34

Ради главной цели — создания сильного ИИ — OpenAI отказалась от некоммерческой модели работы. Создатели компании в интервью Vox объясняют, зачем им нужны миллиарды на исследования и почему политика тотальной открытости себя изжила.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Абсолютное большинство нынешних алгоритмов ИИ созданы в рамках коммерческих организаций и для их выгоды. На этом фоне выделялась организация OpenAI, которую с момента создания поддерживал Илон Маск. Только за последнее время в OpenAI создали два алгоритма, новости о достижениях которых разошлись по всему интернету: это лучший генератор фальшивых текстов GPT-2 и ИИ-команда по Dota 2, обыгравшая чемпионов мира.

Однако после этого OpenAI объявила, что победа над OG была последней публичной демонстрацией возможностей алгоритма. А сама организация становится коммерческой. Теперь создатели надеются привлечь от инвесторов миллиарды.

Вложившимся обещают возвратить инвестиции вплоть до 100-кратного размера, а все что выше — использовать как и раньше, в некоммерческих проектах.

Увеличение инвестиций в 100 раз лишь кажется космическим — для самых успешных IT-проектов это вполне умеренный рост, отмечает Vox. Например, в 1998 году Джефф Безос вложил в Google $250 000. Сейчас эта доля оценивалась бы в $3 млрд. При той же динамке OpenAI отдал бы Безосу $25 млн, а $2,975 млрд использовал бы на благо общества.

Но пока до капитализации Google ИИ-компании далеко, и многое будет зависеть от того, насколько успешной OpenAI будет в достижении своей главной цели — создании сильного, или общего ИИ. В интервью Vox создатели компании — Илья Суцкевер и Грег Брокман — рассказали о том, зачем было принято решение превратить некоммерческую организацию в «партнерство с ограниченной ответственностью».

Суцкевер подчеркнул, что достижение новых горизонтов в ИИ тесно связано с двумя факторами: привлечением лучших талантов и огромных вычислительных мощностей. И то, и другое — деньги. «В какой-то момент мы поняли, что достигли предела по сбору средств в форме чистой некоммерческой организации».

Брокман указывает, что был еще один фактор. Представляя GPT-2, в OpenAI впервые не раскрыли все материалы. Компания опасалась, что интернет наводнят неотличимые от настоящих фейковые тексты — от новостей до отзывов. Когда речь идет о создании мощных алгоритмов, контроль над ними становится все более важным, говорит он.

Наступает этап, когда «все знают об ИИ все» больше не лучшая политика.

Три риска сильного ИИ

Использование ИИ открывает перед человечеством море возможностей. Суцкевер так описывает главную прелесть подхода: «У вас есть очень ограниченный набор инструментов с огромным спектром применения. Одни и те же подходы решают огромное количество проблем. И они не только универсальные, но и наиболее компетентные [из всех, что у нас есть]: чтобы разобраться с очень многими сложным проблемам и получить наилучший результат, вы должны использовать глубокое обучение».

Но технология несет с собой и столько же новых рисков, предупреждают боссы OpenAI. И оценить их быстро можно далеко не всегда. Брокман приводит в пример создателя лампы накаливания Томаса Эдисона.

Он анонсировал свое изобретение, когда еще не достиг успеха. Акции газовых компаний на бирже серьезно упали, и парламент начал расследование. Комитет направил к Эдисону экспертов, чтобы все проверить.

«Они вернулись с вестью, что исследования Эдисона — мираж. Ничего этого не будет, все хорошо. Проходит год — и он представляет [лампу]».

С сильным ИИ может произойти то же самое, только мир преобразится намного быстрее.

В ответ на уточняющий вопрос Брокман назвал три уровня риска, причем не все можно удержать под контролем только благодаря технологии. Вмешивается человеческий фактор. Первый уровень — это создание систем, которые преследуют неправильно определенные цели. Второй вариант — вмешательство в правильно работающую систему, которое ее разрушает. Современные нейросети не показывают механизма принятия решения, так что неясно, как быстро мы сможем заметить воздействие.

Но самой плохой будет неэффективность на третьем уровне.

«Мы справляемся с этими двумя проблемами. Делаем верный алгоритм. Его нельзя деформировать и он действует именно так, как мы и думали — но почему-то общество не становится лучше».

Суцкевер и Брокман настаивают, что новая уникальная структура партнерства — с ограничением роста инвестиций — это именно то, что поможет, с одной стороны, аккумулировать достаточно средств, с другой — держать под контролем риски.