Исследователи МФТИ совместно с Институтом искусственного интеллекта AIRI и Университетом Иннополис разработали метод Dynamic Graph Encoding (DyGEnc), который позволяет LLM отвечать на сложные вопросы о происходящем на видео, отслеживая движения объектов и их взаимодействие. Разработка будет востребована в робототехнике, задействованной в логистике, производстве или в бытовом сервисе.

По словам ученых, традиционные системы компьютерного зрения хорошо справляются с задачами со статичными объектами на изображениях, но испытывают трудности, когда необходимо понять меняющиеся действия.

DyGEnc сжимает происходящее на видео в граф событий, где каждый объект-вершина связан с другими объектами и предметами. Затем эта структура кодируется и передается в языковую модель, которая отвечает на вопросы. В результате общая картина события собирается из отдельных составляющих.

Эффективность метода оценили на международных базах данных, которые используются для сравнения ИИ-систем. Например, на тестах с графовой разметкой STAR (9 тысяч видеороликов с бытовыми сценами) DyGEnc правильно ответил на 99% вопросов о том, как объекты взаимодействуют друг с другом, и на 97% — при прогнозировании того, какое действие будет следующим.

Более сложные испытания на базе AGQA, где требовалось ответить на 2,27 млн вопросов разного типа, показали, что после дообучения нейросеть понимает вопросы, требующие развернутого ответа, с точностью 93%, тогда как без использования нового метода этот показатель составлял 54%.

Исследователи уточнили, что их метод сохраняет высокую точность при ошибках в описании видео, что важно для практического применения, когда идеальное описания окружающей обстановки получить затруднительно.

Следующим этапом может быть исследование единой нейросетевой архитектуры, которая на вход принимает видео, без промежуточного шага для получения графовой текстовой разметки.

Исследование опубликовано в научном журнале Technologies. Исходный код доступен на GitHub.