Бенчмарк RusCode помогает оценить насколько модели для генерации изображений по текстовому запросу (Text-to-Image Models) учитывают в своей работе особенности русского культурного кода.

Датасет бенчмарка состоит из 1,2 тыс. промптов на русском языке и их переводов на английский. Промпты разделены на 19 категорий, которые, по мнению разработчиков, наилучшим образом отображают визуальную культуру России.

Сгенерированные моделями изображения оценивались группой из 48 человек. Пары изображений (каждая созданная разными моделями) оценивались на точность соответствия промпту.

Бенчмарк RusCode был представлен исследователями из Лаборатории искусственного интеллекта «Сбера» и SberDevices в марте 2025 года. Доступен как открытое ПО.

Репозиторий на GitHub

Препринт на arXiv

👤 Вячеслав Васильев

👤 Александр Капитанов

• Смотреть