Исследователи факультета вычислительной математики и кибернетики МГУ им. М.В. Ломоносова разработали программный комплекс для тестирования робастности мультимодальных больших языковых моделей (MLLM). Он предназначен для оценки устойчивости к визуальным атакам — незаметным для человека изменениям изображения, которые могут привести к некорректному поведению модели.

Разработка обладает модульной архитектурой, поддерживает переносимость между различными вычислительными средами и позволяет автоматизировать многие аспекты тестирования. Как утверждают разработчики, инструмент превосходит аналоги по числу реализованных сложных атак.

В рамках эксперимента проводились целевые атаки, направленные на принуждение модели выдавать ошибочный результат, а также нецелевые атаки, которые вызывали общее ухудшение качества генерации. Исследовалась устойчивость MLLM в генерации описания изображения, локализации объектов по текстовому описанию и ответах на вопросы по изображению. Для тестирования использовались датасеты COCO, Flickr30k и VQAv2 и метрики BLEU-4, CIDEr, IoU, VQA Accuracy.

В МГУ им. М.В. Ломоносова ранее также разработали индекс устойчивости изображений к атакам на метрики качества и нейросеть Image Robustness to Adversarial Attacks для предсказания восприимчивости визуального контента к искусственным манипуляциям.