GOAT
Датасет для валидации больших языковых моделей
Описание:
GOAT (Generalized Occupational Aptitude Test) представляет собой набор из 10, 3 тыс. нормализованных заданий ЕГЭ по литературе, русскому языку и социологии и предназначен для использования при оценке производительности больших языковых моделей.
Датасет был представлен разработчиками из лаборатории искусственного интеллекта VK Lab в сентябре 2024 года. Доступен как открытое ПО.
Репозитории на GitHub и Hugging Face
Участвует в спецпроектах ICT.Moscow:
Тематика:
Разработчик:
Проект запущен:
2024
250
Последнее обновление:12.11.2025