Международный коллектив ученых с участием МФТИ создал систему стереозрения Un-ViTAStereo с применением нейросетей. Она предназначена для определения расстояния до объектов и может быть задействована в роботах и автономных автомобилях.

В разработке используется собственный фреймворк для обучения нейросетей — в этот процесс введен наставник в виде модели Depth Anything V2. Алгоритм отбирает предсказания Un-ViTAStereo, которые согласуются с подсказками наставника, и учит повышать точность.

В системе используются алгоритм оценки диспаратности (смещения, DDCV), функция потерь на основе локального ранжирования глубины (LDR) и двойная функция потерь сглаживания диспаратности (DDS). Разработку протестировали на стандартных датасетах. На тесте беспилотников KITTI 2015 доля ошибок была снижена до 5%. Как отмечают авторы, при движении будет на 23% меньше опасных ошибок в определении расстояния до объекта.

Ученые в будущем планируют разработать самообучающуюся нейросеть, которая будет адаптироваться под специфику разных сред. Они также намерены использовать измерения лидаров в качестве маяков для обучения.