Выложенный в общий доступ бенчмарк тестирует текстовые эмбеддинги — векторные представления текстов — и эмбеддеры, модели, позволяющие их строить, на русском и английском языках.

RuSentEval выявляет, какими лингвистическими свойствами обладают эмбеддинги при работе с русским и английским языками.

Он включает в себя 14 заданий по различным лингвистическим явлениям — от поверхностных (число слов в предложении) до синтаксических (глубина синтаксического дерева) и семантических (число и род подлежащего и сказуемого). Каждое задание состоит из 100 тыс. предложений обучающего набора и десяти тысяч предложений набора для валидации.

Посвященный RuSentEval препринт был опубликован специалистами из НИУ ВШЭ и «Сбера» на arXiv в феврале 2021 года.

Датасет

👤 Владислав Михайлов