Задачей модели SG DETR (Saliency-Guided DETR) является поиск по текстовому запросу требуемого пользователю момента в видеоролике.

В основе модели лежит гибридная архитектура, которая включает в себя видеокодировщик и детектор на основе DETR (Detection Transformer). К последнему был добавлен модуль — механизм перекрестного внимания (Сross‑Attention), который улучшает качество сопоставления признаков видеоклипов и пользовательских запросов.

Нейросеть была обучена на специально созданном для нее с помощью нового метода автоматической разметки датасете InterVid-MR.

Модель SG DETR была представлена разработчиками из компании SberDevices в октябре 2024 года. По их заявлениям, в будущем планируется выложить модель в открытый доступ.

Препринт на arXiv

👤 Александр Гордеев

👤 Максим Купрашевич

👤 Ирина Толстых