Модель USER (Universal Sentence Encoder for Russian) применима для получения эмбеддингов (векторных представлений) предложений и параграфов из текстов на русском языке. Разработчики дообучили на русскоязычной части датасета mMARCO две модели, а затем объединили их с помощью метода LM-Cocktail.

Модель была представлена разработчиками из VK в декабре 2024 года. В апреле 2025 года выпущена обновленная версия USER2, обученная на основе модели-кодировщика RuModernBERT. Она поддерживает длинный контект (до 8,2 тыс. токенов) и существует в двух версиях двух версиях: USER2-base и USER2-small размерами в 149 и 34,4 млн параметров соответственно.

Разработчики подчеркивают что модели поддерживают подход матрешечное обучение представлений (Matryoshka Representation Learning, MRL), позволяющий уменьшать размер эмбеддинга с минимальными потерями в качестве. Доступна как открытое ПО.

Репозиторий на Hugging Face

👤 Егор Спирин