Система VISTA (Синтез и трансформация виртуальных изображений для автономности), созданная разработчиками из MIT, нужна для того, чтобы беспилотные машины выезжали на реальные дороги уже подготовленными. А до тех пор могли бы набраться опыта в виртуальной среде, специально предназначенной для обучения, с бесконечными вариантами ситуаций на выбор, пишет New Atlas.

Особенно это полезно для отработки пограничных случаев: редких инцидентов, для которых собрано не так-то много реальных данных. Например, когда едва удается избежать столкновения или когда машину выталкивают с полосы. Внутри VISTA такие моменты можно пережить без риска аварии.

Когда контроллер беспилотного автомобиля отправляется в путь внутри симуляции, он получает лишь небольшой набор данных с примерами из реального мира, и должен сам понять, как добраться из пункта А в пункт Б, не попав в аварию. Чем длительнее поездка — тем больше вознаграждение.

Симуляторы и раньше использовались для обучения беспилотников, но обычно возникали неточности между искусственным миром, созданным инженерами и художниками, и реальным. В случае VISTA новые элементы синтезируются из реальных данных. Сверточная нейронная сеть создает фотореалистичные трехмерные сцены, на которые может реагировать автопилот.

Другие движущиеся объекты в сцене, включая людей и машины, также управляются нейросетью. В этом отличие от традиционных моделей обучения, которые либо следуют правилам, созданным людьми, либо пытаются имитировать поведение водителей.

«По сути, мы просто сказали: „Вот среда. Можешь делать что хочешь, только не врезайся в машины и не выходи за полосы“, — пояснил Александер Амани из лаборатории CSAIL. И подход сработал: после 10 000 км в симуляторе контроллер, перенесенный в настоящий робомобиль, смог двигаться по улицам, которые до того ни разу не видел, и не допустил столкновения. Следующий этап — повышение уровня сложности в виде плохой погоды или непредсказуемого поведения участников движения.

Пару месяцев назад в MIT разработали технологию, которая позволяет сканировать профиль дороги под ее полотном глубиной до трех метров и использовать его как навигационную карту. Новый радар позволяет видеть дорогу даже если она засыпана толстым слоем снега, залита водой или скрыта плотным туманом.