Выложенный в открытый доступ бенчмарк RusCode призван оценить, насколько модели для генерации изображений по текстовому запросу (Text-to-Image Models) учитывают в своей работе особенности русского культурного кода.

Датасет бенчмарка состоит из 1250 промптов на русском языке и их переводов на английский. Промпты разделены на 19 категорий, которые, по мнению разработчиков, наилучшим образом отображают визуальную культуру России.

Сгенерированные моделями изображения оценивались группой из 48 человек. Пары изображений (каждая созданная разными моделями) оценивались на точность соответствия промпту.

Бенчмарк RusCode был представлен исследователями из Лаборатории искусственного интеллекта «Сбера» и SberDevices в марте 2025 года.

Препринт на arXiv

👤 Вячеслав Васильев

👤 Александр Капитанов