В недавно опубликованном исследовательском докладе Waymo описала свою разработку как «сквозную мультимодальную модель для автономного вождения» (EMMA), которая обрабатывает данные с датчиков автомобиля и помогает роботакси принимать решения о движении, обходя препятствия. Компания, как отмечает The Verge, уже давно подчеркивает своё преимущество благодаря доступу к научным исследованиям Google DeepMind, что выгодно выделяет её среди конкурентов в сфере автономных технологий.

EMMA использует уникальный подход к обучению беспилотных систем. В отличие от традиционного модульного подхода, который делит функции на восприятие, планирование и другие задачи, новая модель обрабатывает данные комплексно, что помогает снизить количество ошибок, возникающих из-за разделения задач между модулями, и облегчает адаптацию к неожиданным ситуациям в реальном времени.

Одним из основных преимуществ использования моделей ИИ, таких как Gemini, является способность обобщать знания, накопленные в ходе обработки огромного объема интернет-данных. Это позволяет моделям эффективнее справляться с нестандартными ситуациями на дороге, включая встречу с животными или объезды строительных зон. Кроме того, Gemini использует технику «цепочки рассуждений», которая помогает разбивать сложные задачи на логические шаги и улучшает принятие решений.

Waymo отмечает, что EMMA показывает отличные результаты в прогнозировании траекторий, распознавании объектов и анализе дорожных графов, что особенно важно для безопасного маневрирования в сложных городских условиях. Однако компания признает и ограничения модели. На данный момент EMMA не может обрабатывать 3D-данные с лидаров и радаров из-за высокой нагрузки на вычислительные ресурсы и работает с ограниченным числом кадров изображений одновременно.

Хотя достижения очевидны, Waymo также осознает возможные риски, связанные с использованием ИИ для управления беспилотными автомобилями. Такие модели, как Gemini, иногда допускают ошибки при выполнении простых задач, что на дороге недопустимо. В Waymo надеются, что дальнейшие исследования помогут минимизировать эти ограничения и позволят модели выйти на более высокий уровень в автономных системах.