В «Сбере» создали метод мультимодального анализа эмоций с оптимизацией вычислений. В своей работе специалисты лаборатории искусственного интеллекта компании предложили использовать комбинацию визуальных, акустических и текстовых данных для повышения точности эмоционального анализа на основе ИИ-моделей.

Подход основан на трех аспектах. Он предполагает использование обученных на открытых наборах фотографий нейросетей (EmotiEffNet, MobileViT, MobileFaceNet) для анализа мимики, что позволяет эффективно работать в режиме реального времени на смартфонах. Кроме этого, для снижения нагрузки на систему и повышения точности проводится фильтрация кадров, эмоции на которых распознаются с помощью предобученных моделей. Также специалисты доказали, что комбинирование данных из разных источников (текст, аудио, видео) с помощью метода «позднего слияния» (Late Fusion) ускоряет адаптацию модели к решению новых задач.

В компании отмечают, что на международном конкурсе ABAW такой подход занял 1-е место в задачах распознавания выражений лица и амбивалентности и 3-е место в оценке интенсивности эмоций и детектировании микровыражений. Точность выросла на 1,5–15% по сравнению с базовыми методами.