Бенчмарк тестирует текстовые эмбеддинги (векторные представления текстов) и эмбеддеры (модели, позволяющие их строить) на русском и английском языках.

RuSentEval выявляет, какими лингвистическими свойствами обладают эмбеддинги при работе с русским и английским языками.

Он включает в себя 14 заданий по различным лингвистическим явлениям — от поверхностных (число слов в предложении) до синтаксических (глубина синтаксического дерева) и семантических (число и род подлежащего и сказуемого). Каждое задание состоит из 100 тыс. предложений обучающего набора и 10 тыс. предложений набора для валидации.

Посвященный RuSentEval препринт был опубликован специалистами из НИУ ВШЭ и «Сбера» на arXiv в феврале 2021 года. Бенчмарк доступен как открытое ПО.

Репозиторий на GitHub

Датасет на Яндекс Диске

Препринт на arXiv

👤 Владислав Михайлов

• Смотреть