Синтетический датасет WEIRD может применяться в оценке способности моделей ИИ находить противоречащие реальности изображения.

В качестве основы создатели WEIRD использовали изображения датасета WHOOPS!. С помощью модели OpenAI GPT-4o на основании картинок исходного датасета были сгенерированы новые подписи, после чего к ним посредством модели DALL-E были созданы соответствующие изображения.

Получившийся датасет содержит 400 пар нормальных и нарушающих здравый смысл изображений. Каждой из них присвоен один из десяти промптов, требующих от модели определить правдоподобность изображений.

Датасет WEIRD был представлен исследователями из Института AIRI и «Сколтеха» в октябре 2025 года. Развернутая версия датасета интегрирована в бенчмарк MERA. Доступен как открытое ПО.

Репозиторий на Hugging Face

👤 Василий Коновалов

👤 Елисей Рыков

• Смотреть