Платформа AppSec.GenAI предназначена для поиска уязвимостей в больших языковых моделях и генеративных ИИ-системах. Она проверяет искусственный интеллект по 40 типам сценариев. Среди прочего анализируется уязвимость к фишингу, взлому и сложным атакам на звуковые и мультимодальные модели.

Решение выявляет, как ИИ реагирует на небезопасные воздействия. Например, изучается готовность отклоняться от инструкций, отвечать на провокационные вопросы и генерировать нежелательный контент.

AppSec.GenAI составляет несколько типов отчетов. Они включают оценку воздействия, рекомендации и лог-файлы, с помощью которых можно проанализировать поведение модели во время атаки. Утверждается, что инструмент подходит для ИИ-систем, разработанных под задачи любого бизнеса, в том числе FinTech, MedTech и BigTech. Платформу можно интегрировать на ранних этапах разработки для сканирования уязвимостей на стадии тестирования моделей.

Исследователи Института искусственного интеллекта AIRI, «Сбера», МТУСИ, ИСП РАН и «Сколтеха» весной 2025 года представили метод GLiRA для анализа уязвимости персональных данных в нейросетях. Он основан на дистилляции знаний.