Бенчмарк предназначен для оценки работы больших языковых моделей в различных отраслях промышленности, в частности в сельском хозяйстве и медицине.

По состоянию на июнь 2025 года доступны три датасета для оценки знаний модели в различных сферах по подобию бенчмарка MMLU:

• ruTXTAgroBench состоит из 2935 оригинальных вопросов по различным аспектам агрономии;

• 1102 задания ruTXTAquaBench позволяют оценить знания модели, приобретенные в процессе предобучения в области аквакультуры;

• ruTXTMedQFundamental включает 270 вопросов и 30 тренировочных задач по 17 областям медицины, что, по мнению разработчиков, позволяет сопоставлять уровень знаний моделей с уровнем выпускника медицинского вуза.

Общая оценка модели считается по среднему результату решения задач.

Специалисты из «Сколтеха», КубГАУ, НМИЦ им. В.А. Алмазова, РАНХиГС и ННГАСУ представили бенмарк MERA Industrial на площадке Альянса в области искусственного интеллекта в июне 2025 года.

По заявлениям разработчиков, в будущем в открытый доступ будут выложены код и датасеты бенчмарка, а также станет доступным функционал для тестирования пользовательских моделей и самостоятельной оценки.

Лидерборд

• Смотреть