ruBERT
Языковая модель
Описание:
Модель-энкодер (кодировщик) размером в 127 млн параметров была создана на базе созданной в Google архитектуры BERT. Она обучалась на 16 процессорах NVIDIA V100 в течение 7—8 дней с использованием SberSQUAD и ряда других датасетов.
ruBERT была представлена SberDevices и DeepPavlov в июле 2021 года. Доступна как открытое ПО.
Участвует в спецпроектах ICT.Moscow:
Проект запущен:
2021
1459
Последнее обновление:13.11.2025