С помощью бенчмарка «Шлепа» можно проверить то, насколько хорошо большие языковые модели могут учитывать в своей работе русскоязычный контекст: информацию о культуре и законах России.

В него входят наборы данных с российскими законами, русскоязычными книгами, музыкой и фильмами, а также русифицированный датасет MMLU для проверки знаний нейросети, приобретенных в процессе предобучения. Модели проверяются с помощью задач на многовариантный выбор (Multiple Choice), которые генерируются из датасетов нейросетью OpenAI GPT-4. В первых четырех случаях на выбор предоставляется 12 ответов, в случае MMLUpro-ru — 10.

Проект представлен командой Vikhr Models в сентябре 2024 года. Доступен как открытое ПО.

Репозиторий на Hugging Face

Лидерборд

👤 Александр Николич

• Смотреть

#искусственный_интеллект#генеративный_ИИ#нейросети#машинное_обучение#бенчмарк#open_source

#Vikhr_Models