SG DETR
Модель компьютерного зрения
Задачей модели SG DETR (Saliency-Guided DETR) является поиск по текстовому запросу требуемого пользователю момента в видеоролике.
В основе модели лежит гибридная архитектура, которая включает в себя видеокодировщик и детектор на основе DETR (Detection Transformer). К последнему был добавлен модуль — механизм перекрестного внимания (Сross‑Attention), который улучшает качество сопоставления признаков видеоклипов и пользовательских запросов.
Нейросеть была обучена на специально созданном для нее с помощью нового метода автоматической разметки датасете InterVid-MR.
Модель SG DETR была представлена разработчиками из компании SberDevices в октябре 2024 года. По их заявлениям, в будущем планируется выложить модель в открытый доступ.