RuArenaGeneral
Бенчмарк для русскоязычных больших языковых моделей
Бенчмарк типа SBS (Side by Side) может использоваться для тестирования общедоступных больших русскоязычных языковых моделей.
В RuArenaGeneral без участия человека оценивается поединок — генерация параллельных ответов на заданный промпт — прошедших тонкую настройку больших языковых моделей.
В его основе лежит бенчмарк LMSYS Arena-Hard-Auto. Однако в отличие от оригинальной версии в качестве судьи в RuArenaGeneral выступает большая языковая модель OpenAI GPT-4o. Благодаря этому оценки бенчмарка хорошо коррелируют с рейтингом Chatbot Arena. Разработчики могут получить оценку RuArenaGeneral в течение часа. Для тестирования применяется фиксированный набор из 500 промптов, разбитый по 50 темам. Ответы оцениваемой модели сравниваются с результатами модели OpenAI GPT-3.5 Turbo. Чтобы исключить предвзятость судьи, каждое сравнение делается два раза — ответы моделей переставляются местами.
О создании бенчмарка разработчики из Vikhr Models сообщили в августе 2024 года. Доступен как открытое ПО.
Репозитории на GitHub, Hugging Face
