Выложенный в общий доступ SLAVA (Sociopolitical Landscape and Value Analysis) призван помочь в оценке того, учитывают ли большие языковые модели в своей работе особенности культуры и законодательства России.

Бенчмарк включает в себя около 14 тыс. вопросов по истории, обществознанию, политологии, географии и национальной безопасности, взятых из официальных баз, разработанных для государственных экзаменов и проверочных работ. Для каждого вопроса учитывалась также его чувствительность: является ли тема общепризнанным фактом, спорной или вызывает в обществе конфликты.

Бенчмарк презентован в сентябре 2024 года Институтом общественных наук РАНХиГС и Институтом системного программирования РАН.

Репозиторий на GitHub

Датасет на Hugging Face

Лидерборд

👤 Андрей Четвергов