Выложенная в открытый доступ модель компьютерного зрения способна распознавать трехмерные объекты. Архитектура UniDet3D основана на чистом трансформере-энкодере и позволяет обучать модель на нескольких датасетах, а не использовать какой-либо один специализированный.

UniDet3D была обучена на датасетах ScanNet, S3DIS, ARKitScenes, MultiScan, 3RScan и ScanNet++. Разработчики провели переразметку использованных для обучения модели наборов данных, сократив число уникальных классов объектов и унифицировав их.

Разработчики подчеркивают, что UniDet3D можно постепенно научить работать с большим числом разнородных наборов данных и одинаково эффективно распознавать объекты в разных типах «облаков точек» — наборов координат, полученных при помощи лазерных радаров и других типов трехмерных сканеров.

Модель была представлена исследователями из Института AIRI в январе 2025 года.

Препринт на arXiv

👤 Максим Колодяжный