Главная проблема в обучении роботов заключается в фундаментальном различии механики движений людей и машин. Человеческие движения плавные и быстрые, тогда как роботизированные — жёстко детерминированы. При обучении по видеодемонстрациям даже малейшее отклонение от запрограммированных паттернов приводит к сбою. Ученые искали способ преодолеть это несоответствие.

В результате был создан RHyME. Система позволяет роботам распознавать паттерны и адаптироваться. Даже при неполном соответствии демонстрационных видео запрограммированным действиям, алгоритм восполняет пробелы, используя память о предыдущем опыте.

Например, когда робот видит ролик, где человек берет кружку и ставит её в раковину, он обращается к «памяти» о схожих действиях, например, взятии другой чашки или перемещении ложки. После он определяет последовательность операций, даже если никогда не выполнял эту конкретную задачу. Принцип напоминает перевод с одного языка на другой — алгоритм преобразует человеческие действия в роботизированные команды.

При этом RHyME нужно совсем немного данных для обучения. Если обычно роботам требуются долгие часы управления человеком, чтобы научиться чему-то одному, то RHyME достаточно всего 30 минут демонстрации. Роботы, обученные по новой системе, стали справляться с задачами на 50% лучше, чем раньше.