RealCode_eval
Бенчмарк для оценки генерации кода
Описание:
Бенчмарк применим для того, чтобы проверить, насколько хорошо большие языковые модели генерируют программный код в условиях реальной разработки.
RealCode_eval представляет собой датасет из 219 функций языка Python, опубликованных в 22 репозиториях, выложенных на GitHub с июня по август 2023 года. Для создания необходимых условий для каждого репозитория используется общедоступная система Conda. Модель должна написать функцию, которая декларирована в одном из репозиториев. Сгенерированное тело функции подставляется в файл, и запускаются тесты репозитория. После этого сравнивается количество пройденных тестов между сгенерированным и настоящим телом функции. Для оценки используется метрика Pass@k.
RealCode_eval был представлен специалистами команды NLP Core R&D SberDevices в декабре 2023 года. Доступен как открытое ПО.
Участвует в спецпроектах ICT.Moscow:
Проект запущен:
2023
Последнее обновление:13.11.2025
Материалы о разработчике
Другие проекты разработчика:
Похожие проекты:
Главное про цифровые технологии в Москве
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
Что такое ICT.Moscow?
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.