Авторы исследования, которое будет представлено на конференции в Брисбене, Австралия, создали на базе графических процессоров Nvidia Titan X нейронную сеть с тремя последовательными компонентами: сверточная нейронная сеть распознает вершины объектов, затем эти данные получает система автоматизированного написания программного кода, которая разрабатывает схему действий, а исполнительная сеть руководит реализацией этой схемы.

Проще говоря, человек может показать, как выполнять задачу в реальном мире, а машина, оснащенная камерами и датчиками, увидит это, измерит взаимоотношения объектов в пространстве и создаст план, который позволит ей повторить действия человека.

В демонстрационном ролике человек ставит друг на друга цветные кубики, а робот должен правильно оценить взаиморасположение предметов на столе и повторить эту последовательность, не перепутав цвета.

По словам исследователей, метод Nvidia — первый, который объединяет искусственные данные со зрительным восприятием реальных предметов, пишет ZD Net.