Некоммерческая организация OpenAI опубликовала год назад статистику, согласно которой вычислительная мощность, необходимая для обучения самых крупных моделей искусственного интеллекта, удваивается каждые 3,4 месяца, начиная с 2012 года. Теперь аналитики добавили в анализ новые данные. Они подсчитали, каким был рост мощностей с момента зарождения ИИ, пишет MIT Technology Review.
В период с 1959 по 2012 год количество необходимой энергии удваивалось каждые два года, в соответствии с законом Мура. Это значит, что сейчас этот процесс происходит в семь раз быстрее.
Такой существенный рост потребностей подчеркивает, насколько затратными стали достижения в области ИИ. За последние семь лет использование компьютеров для обучения алгоритмов выросло в 300 000 раз.
Следует подчеркнуть, что в расчет не взяты самые последние прорывы в этой области, например, масштабная языковая модель Google BERT, модель OpenAI GPT-2 или AlphaStar, созданная DeepMind для игры в Starcraft II.
В течение последнего года все больше специалистов выказывают тревогу по поводу роста расходов на глубокое обучение. В июне ученые из Университета штата Массачусетс показали, как увеличивающиеся затраты вычислительной мощности оборачиваются эмиссией углекислого газа и как обостряется проблема приватизации исследований ИИ, потому что научные лаборатории не выдерживают конкуренции с богатыми частными компаниями.
OpenAI рекомендует законодателям повысить финансирование академических исследований, чтобы сократить разницу в ресурсах между научными и корпоративными исследовательскими группами.
Летом Microsoft вложила в OpenAI $1 млрд. Эти средства пойдут на усиление облачного сервиса Azure умными технологиями, но стратегическая цель куда амбициознее: создание сильного искусственного интеллекта.