В ходе обычного процесса обучения ИИ сначала читает и расшифровывает входящие данные, а затем перемешивает их, применяя преобразования, группирует примеры по категориям и многократно обновляет параметры, чтобы снизить количество ошибок. Метод эхоотражения добавляет в процесс новую фазу повторения исходящих данных из предыдущей фазы до обновления параметров. При этом теоретически расходуются простаивающие вычислительные мощности, пишет VentureBeat.
Во время испытаний подхода специалисты Google Brain оценили его на примере двух задач моделирования языка, двух задачах классификации изображений и одной задачи обнаружения объекта. Они измерили время обучения по числу «свежих» примеров, необходимых для достижения нужных показателей.
Результаты показали, что во всех случаях, кроме одного, метод эхоотражения данных требует меньшего числа свежих примеров, чем обычно, и сокращает время обучения. Более того, было отмечено, что чем раньше эхоотражение будет введено в процесс, тем меньше примеров понадобится.
«Эхоотражение данных — эффективная альтернатива оптимизации процесса обучения или добавления дополнительных исполнителей для обработки восходящих данных, что не всегда бывает возможно или желательно», — пишут авторы статьи, опубликованной на Arxiv.org.
Израильский стартап Run: AI предлагает решение, которое позволяет ускорить обучение моделей ИИ в 100 раз или пожертвовать скоростью, но сэкономить. Для этого управление ресурсами передается в руки клиентов.
