RuSentEval
Бенчмарк для оценки эмбеддингов на русском языке
Бенчмарк тестирует текстовые эмбеддинги (векторные представления текстов) и эмбеддеры (модели, позволяющие их строить) на русском и английском языках.
RuSentEval выявляет, какими лингвистическими свойствами обладают эмбеддинги при работе с русским и английским языками.
Он включает в себя 14 заданий по различным лингвистическим явлениям — от поверхностных (число слов в предложении) до синтаксических (глубина синтаксического дерева) и семантических (число и род подлежащего и сказуемого). Каждое задание состоит из 100 тыс. предложений обучающего набора и 10 тыс. предложений набора для валидации.
Посвященный RuSentEval препринт был опубликован специалистами из НИУ ВШЭ и «Сбера» на arXiv в феврале 2021 года. Бенчмарк доступен как открытое ПО.
