Выложенный в общий доступ Лабораторией анализа данных Александра Кукушкина бенчмарк помогает в оценке русскоязычных больших языковых моделей, являющихся аналогами моделей OpenAI ChatGPT.

По принципу работы rulm-sbs2 похож на бенчмарки AlpacaEval и MT-Bench. Судья (большая языковая модель OpenAI GPT4) оценивает по десятибалльной шкале ответы двух моделей —испытуемой и базовой (OpenAI GPT-3.5 Turbo) — на 500 заданий из более чем 15 категорий. Испытания взяты из открытых датасетов Alpaca и Vicuna, а также частично почерпнуты из заданий бенчмарка Chatbot Arena.

Для исключения предвзятости оценки судьи каждое сравнение делается два раза с последующей перестановкой ответов моделей. После этого получившиеся дельты оценок для каждой модели складываются, и полученное число делится на количество заданий.

Бенчмарк был представлен в сентябре 2023 года.

👤 Александр Кукушкин