Выложенный в общий доступ LIBRA (Long Input Benchmark for Russian Analysis) помогает оценить способности языковой модели оперировать длинным контекстом: резюмировать, вычленять основные идеи текста, проводить реляционную операцию с объемной таблицей.

Задачи бенчмарка подразделены на четыре группы сложности. Датасеты в первой предназначены для оценки работы по поиску короткого важного фрагмента в большом нерелевантном тексте, во второй — по поиску ответа на вопрос, в третьей — по поиску ответа, распределенного среди нескольких релевантных фрагментов. Четвертая же группа наборов данных требует от модели понимания всего контекста, а также решения математических задач.

Тесты проводятся в формате Zero-shot, при котором модели даются задачи, ранее не использовавшиеся при обучении. Это, по словам исследователей, позволяет избежать выходов за пределы допустимой длины контекста.

Разработчики отмечают, что пользователи бенчмарка при тестировании моделей могут использовать как созданные ими промпты, так и свои собственные наборы инструкций.

LIBRA представлен в августе 2024 года разработчиками из AIRI, ecom.tech, SberDevices и МФТИ.

Репозиторий на GitHub

Датасет на Hugging Face

Лидерборд

👤 Игорь Чурин