Для системы управления применяется сквозное обучение нейросетей. Разработка позволяет автомобилю напрямую, без сложной ручной обработки, интерпретировать данные с камер и лидаров, прогнозировать траекторию и выдавать команды для движения.

Как поясняют разработчики, традиционный подход предполагает отдельное преобразование сигналов каждого датчика и настройку алгоритмов вручную.

Нейросеть TransFuser была натренирована на исходных изображениях с камер и точках облака с лидара. Ее архитектура включает две подсистемы, имитирующие когнитивные процессы водителя: сеть синтеза и модуль прогнозирования.

Сеть синтеза на основе трансформера выступает в роли мозга, отвечающего за восприятие окружающей обстановки. Она разделена на две параллельные ветви, обрабатывающие информацию разного типа.

Ветвь изображения анализирует картинку с камеры при помощи серии сверточных кодировщиков, а ветвь вида обрабатывает облако точек с лидара. Это дает системе точное геометрическое и пространственное понимание трехмерной структуры окружающего мира. Модуль трансформера совместно обрабатывает и синтезирует информацию от обеих ветвей.

Доказательство эффективности предложенной архитектуры было получено в разных условиях. Первичное обучение и тестирование проходили в симуляторе городского движения CARLA. Для оценки способности модели работать с реальными данными специалисты использовали набор данных KITTI Vision.