Выложенная в открытый доступ модель маскированного языкового моделирования (Masked Language Model, MLM) RuModernBERT предназначена для задач классификации и анализа текста на русском и английском языках.

Она представляет собой дообученную для работы на русском языке нейросеть ModernBERT. Обучение проводилось на 2 трлн токенов. Также для модели был создан новый токенизатор.

У RuModernBERT есть две версии: RuModernBERT-small размером в 35 млн параметров и RuModernBERT-base размером в 150 млн параметров. Длина контекста для обеих моделей составляет 8,1 тыс. токенов, а размер словаря — 50,3 тыс. токенов.

Модель RuModernBERT была представлена разработчиками из Deep VK и VK Lab в феврале 2025 года.

👤 Борис Малашенко

👤 Андрей Соколов

👤 Егор Спирин