Холдинг VK разработал решение Discovery для глубокого понимания контента и внедрил его в свои продукты. Оно объединяет мультимодальную языковую и кросс-форматную контентную модели, а также рекомендательную ML-систему.

Кросс-форматная модель анализирует название, обложку, аудио и видеоряд ролика по отдельности и объединяет данные в едином пространстве. Это позволяет рекомендательной системе понимать смысл контента. Модель, например, может предложить ролик в «VK Видео» на основе понравившегося текстового поста во «ВКонтакте» или короткого видео в «VK Клипах».

Мультимодальная языковая модель обучена больше чем на 3 млн русскоязычных материалов. Она может анализировать видео, изображения, тексты и аудио. Модель сравнивает контент по смыслу и тематике, объясняет комментарии, описывает интересы пользователя к сценам и учитывает эмоциональный тон материалов. С помощью этой нейросети рекомендательные алгоритмы подбирают новый контент в продуктах VK без необходимости получения первых пользовательских реакций.

Рекомендательная система в Discovery построена на двух моделях машинного обучения: одна анализирует видеоряд, вторая определяет на кадрах лица. Система распознает известных людей, что также влияет на персонализацию контента.

Discovery работает в продуктах несколько месяцев. За это время число позитивных реакций на контент увеличилось на 7%. Утверждается, что рекомендации похожих по смыслу видео стали на 60% точнее. Планируется, что Discovery будут использовать и в других продуктах VK с пользовательским контентом, в том числе в сервисах для коротких видео и музыки.