Главный разработчик автопилота Tesla в последние несколько лет Андрей Карпати подробно остановился на заседании секции, посвященной автономному транспорту, на том, как компания разрабатывает системы глубокого обучения, которым достаточно только видеоданных. Также он объяснил, почему компания находится в самом выгодном положении среди производителей беспилотников на основе машинного зрения, пишет Venture Beat.

Глубокие нейросети — один из основных компонентов технологии автономного управления. Они анализируют видеоданные, поступающие с установленных на машине камер, и распознают дорожные знаки, автомобили, препятствия и людей. Однако системы ИИ могут совершать ошибки в распознавании изображений. Вот почему большинство компаний, в том числе Waymo, подразделение Alphabet, использует лидары. Они создают 3D-карты при помощи лазерных лучей, и заполняют пробелы в знаниях нейросетей.

Однако добавление лидаров создает определенные сложности. «Приходится составлять предварительную карту окружения лидаром, затем — карту с высоким разрешением, и нужно внести все полосы, и как они связаны, и все светофоры», — пояснил Карпати.

Крайне сложно будет создавать точные карты всех локаций, по которым будет двигаться робомобиль, считает он. Поддерживать эту инфраструктуру в актуальном состоянии также очень затратно. Поэтому Tesla отказалась от технологии лидаров. «Все, что происходит, происходит для автомобиля впервые, на основе видео с восьми камер вокруг машины», — сказал Карпати.

То есть система должна сама понять, где расположена дорожная полоса, где светофоры, каков их статус, как он касается данного автомобиля и многое другое — не имея заранее собранной информации о дороге, по которой машина движется.

Карпати признает, что такая система технически более сложная, потому что требует точного взаимодействия нейронных сетей на основании одних только видеоданных. «Но как только она начинает работать, она становится универсальной визуальной системой, и ее можно применять повсюду на Земле», — пояснил главный разработчик ИИ в Tesla.

С такой системой не нужно никакое дополнительное оборудование, и Tesla уже движется в этом направлении. Ранее компания использовала для беспилотного режима комбинацию радара и камер, но недавно отказалась и от радаров. Инженеры хотели убедиться, может ли ИИ обходиться в оценке ситуации одним только зрением, как это делает человек. И на основании полученных в последние месяцы данных ответ положительный.

Для тренировки системы глубокого обучения компании нужна огромная база данных из миллионов видео, с точными аннотациями объектов и их свойств. Создать такую непросто, но у Tesla если миллионы камер на электромобилях по всему свету, которые постоянно записывают и отправляют видео. Команда разработчиков уже собрала 1,5 петабайт данных из миллиона 10-секундных роликов и 6 млрд объектов с указанными габаритами, глубиной и скоростью.

Для разметки такого количества данных Карпати решил не использовать ручной труд — это очень медленно и дорого. Вместо этого Tesla применила сочетание нейросетей, данных радара и отчетов людей. И все равно на это ушло четыре месяца.

Несмотря на успехи Tesla и других компаний в области автономного управления вопрос о том, способен ли ИИ в его нынешнем состоянии преодолеть все препятствия на пути к полному автопилотированию, остается открытым. Человеческое зрение выполняет множество сложных функций, не все из которых до конца поняты нейробиологами.