simple-evals-ru применим для оценки качества работающих на русском больших языковых моделей.

Оценка производится с помощью содержащихся в популярных англоязычных бенчмарках (MGSM, MATH, HumanEval, MBPP, BBH, MMLU-Pro, QPQA) заданий по математике, программированию и логике.

В simple-evals-ru сравнивается как средний результат решения задач, так и цена за использование 1 млн токенов для каждой из моделей.

Бенчмарк был представлен «Лабораторией анализа данных Александра Кукушкина» в феврале 2025 года. Доступен как открытое ПО.

Репозиторий на GitHub

👤 Александр Кукушкин

• Смотреть

#бенчмарк#искусственный_интеллект#генеративный_ИИ#нейросети#машинное_обучение#open_source

#Лаборатория_анализа_данных_Александра_Кукушкина