Команда опиралась на недавние достижения в разработке ИИ-агентов, которые уже умеют работать с программами вроде браузеров или электронных таблиц. Однако САПР требует гораздо более сложных действий: выбирать точные инструменты, выделять области, масштабировать, корректировать углы и выполнять операции с формой.

Для обучения ИИ этим шагам исследователи сначала изучили существующий набор данных проектов САПР, созданных человеком. Этот дата-сет включал высокоуровневые команды вроде «нарисовать линию» или «вытянуть», которых оказалось недостаточно для обучения ИИ. Реальный агент должен понимать, какие действия с интерфейсом лежат в основе каждой инструкции.

Тогда команда создала систему, сопоставляющую эти команды с конкретными действиями пользователя на экране. В результате было создано более 41 000 обучающих видеороликов, фиксирующих каждый клик, перетаскивание и выбор инструмента в реальном времени. Эти видео стали основой набора данных VideoCAD, который использовался для обучения ИИ работе с интерфейсом САПР.

После тренировки на VideoCAD ИИ-агент смог работать как с простыми эскизами, так и с более сложными конструкциями, например, планами домов. Все операции в САПР система выполняла самостоятельно — от кликов до перетаскивания и выбора инструментов.

ИИ показал, что может не только повторять действия пользователя, но и предлагать последовательность шагов, автоматизируя рутинные операции. Система выступает в роли «второго пилота» САПР, помогая ускорить работу инженеров и сделать создание 3D-моделей доступным для новичков. Будущие системы смогут поддерживать сразу несколько платформ САПР и более продвинутые рабочие процессы.