Под капотом поиска
Клиенты онлайн-магазинов ищут нужный товар по двум-трем ключевым словам, но сопоставить запрос с искомым продуктом крайне непросто, пишет EurekAlert. К примеру, в английском языке около миллиона слов, но в сетевых торговых точках намного больше 100 млн товаров. Их ищут миллионы людей, и каждый делает это по-своему. Одни задают вопросы. Другие — ключевые слова. Многие вообще не знают точно, чего они ищут.
Ежедневно Amazon или Google сталкиваются с миллионами подобных запросов, успешных и не очень. В таких случаях системы глубокого обучения имеют дело с проблемами предельной классификации, то есть множеством возможных результатов и, как следствие, с огромным числом параметров. Тренировка таких моделей обычно требует суперкомпьютеров и нескольких дней вычислений.
Распределение ресурсов
Даже самой простой нейросети, которая осуществляет поиск по 100 млн продуктов, обычно должна учитывать по 2000 параметров каждого из них. В финальном слое нейросети этих параметров будет уже 200 млрд. На их хранение понадобится 500 ГБ памяти. При этом даже лучшие графические процессоры предлагают только 32 ГБ памяти, так что обучение такой модели — дело крайне трудоемкое, объясняют авторы.
Система MACH, разработанная ими, использует другой подход. Главная особенность: она не требует коммуникации между параллельными процессами.
В принципе, такую нейросеть можно обучить на одном графическом процессоре, что невозможно для не-независимых методов.
А если распределить ресурсы, время обучения сокращается в 7-10 раз, а объем требуемой памяти — в 2-4 раза по сравнению с лучшими образцами крупномасштабных, распределенных систем глубокого обучения, рассказал Аншумали Шривастава, руководитель проекта.
Высокий расход энергии и неэкологичность искусственного интеллекта вызывает серьезное беспокойство у ученых. По данным OpenAI, вычислительные ресурсы, необходимые для обучения масштабных моделей, увеличиваются вдвое каждые три — четыре месяца, а обучение одной нейросети оставляет такой же углеродный след, как пять автомобилей.
