Выложенный в открытый доступ синтетический датасет WEIRD призван помочь в оценке способности моделей ИИ находить нарушающие здравый смысл, т.е противоречащие реальности, изображения.

В качестве основы создатели WEIRD использовали изображения датасета WHOOPS! С помощью модели OpenAI GPT-4o на основании картинок исходного датасета были сгенерированы новые подписи, после чего к ним с помощью модели DALL-E были сгенерированы соответствующие изображения.

Получившийся датасет содержит 400 пар нормальных и нарушающих здравый смысл изображений. Каждой из них присвоен один из десяти промптов, требующих от модели определить, нарушается ли в изображении здравый смысл.

Датасет WEIRD был представлен исследователями из Института AIRI и Сколтеха в октябре 2025 года. Развернутая версия датасета была интегрирована в бенчмарк MERA.

👤 Василий Коновалов

👤 Елисей Рыков