Ранее основное внимание уделялось ловкости робота, но теперь в Boston Dynamics подчеркивают: для автономности критически важно зрение. Atlas должен взаимодействовать с разными объектами, и даже простое действие вроде захвата детали требует развитого восприятия. Компания разработала зрительную систему, которая сочетает 2D- и 3D-восприятие, отслеживает положение объектов и точно калибрует связь между тем, что робот видит, и тем, что делает.
Сначала Atlas сканирует окружение с помощью 2D-системы распознавания предметов. Она находит важные объекты и потенциальные опасности, выделяя каждый из них рамкой и ключевыми точками. В частности, на заводах Atlas часто работает со стеллажами разных форм и размеров. Для их анализа система использует внешние и внутренние ключевые точки. Внешние определяют общую форму стеллажа, а внутренние точно указывают на расположение отдельных ячеек. Это позволяет роботу определять положение каждой ячейки.
Чтобы брать детали из стеллажа, Atlas определяет, где он находится относительно этого объекта. Для этого специальная программа сравнивает то, что видит робот (ключевые точки объекта), с заранее сохраненной моделью стеллажа. Также учитываются движения робота, чтобы определение положения оставалось точным. Такой подход помогает, когда часть ключевых точек не видна или когда ракурс может ввести в заблуждение. Использование как внутренних, так и внешних ключевых точек позволяет точнее определить положение всего стеллажа и каждой его ячейки. Даже если полки выглядят одинаково, Atlas может различать их, опираясь на свою «память» о пространстве и текущую ситуацию.
Как только Atlas захватывает деталь, он начинает отслеживать её движение в пространстве. Для этого используется система SuperTracker, которая объединяет сведения о движении, визуальную информацию и показания датчиков силы.
Благодаря этому робот понимает, не соскальзывает ли объект и остаётся ли он в поле зрения. Положение объекта определяется с помощью синтетических обучающих данных: система сравнивает реальные изображения с CAD-моделями. Затем она проверяет точность оценки с учетом ограничений движения робота. В результате положение объекта отслеживается с миллиметровой точностью.
Чтобы выполнять мелкие движения, Atlas нуждается в точной калибровке. То, как робот «видит» свои руки, ноги и тело через камеру, должно почти идеально совпадать с его внутренним представлением о том, где они находятся. Эта точность компенсирует износ деталей, изменения температуры и небольшие различия при производстве роботов.
Boston Dynamics заявляет, что это только начало. Следующий шаг — создать единую фундаментальную модель, где зрение и действие будут не раздельными задачами, а частью одного и того же процесса.
