Ассоциация ФинТех представила результаты опроса, посвященного анализу текущего состояния и перспектив развития безопасности искусственного интеллекта (AI Security) в российских FinTech-компаниях. В исследовании приняли участие представители банков, страховых и инвестиционных компаний: ИТ- и ИБ-руководители, специалисты в сферах ИИ и Data Science.

Опрос был направлен на изучение практик, зрелости и подходов к обеспечению AI Security в FinTech-организациях, а также на выявление ключевых рисков, ролей и организационных моделей в области безопасности ИИ.

Под AI Security авторы исследования понимают обеспечение и защиту систем искусственного интеллекта от угроз, атак и злоупотреблений. В это понятие включаются методы обнаружения уязвимостей, предотвращения атак, а также обеспечение конфиденциальности и целостности используемых данных. Направление объединяет кибербезопасность, инженерию надежных систем и управление рисками в сфере ИИ.

Ключевые выводы:

• по мнению авторов исследования, фреймворки становятся структурным каркасом, который помогает организациям перевести разрозненные меры безопасности в системную модель зрелости. При этом отмечается, что они сами по себе не решают проблему и должны быть адаптированы под процессы, культуру и уровень зрелости конкретной организации, а не использоваться как универсальный стандарт или чек-лист;
• авторы исследования рекомендуют повышать компетенции, выстраивать процессы и развивать инструменты защиты ИИ. Подчеркивается необходимость целенаправленного обучения специалистов, внедрения сквозных фреймворков управления рисками, регулярного аудита и тестирования моделей, а также интеграции технологических и организационных мер безопасности в жизненный цикл ИИ;
• 81% организаций определяют машинное обучение и большие языковые модели как ядро своих ИИ-стратегий. При этом рынок демонстрирует спрос и на узкоспециализированные решения: глубокое обучение используется в 51% компаний, обработка естественного языка — в 49%, компьютерное зрение — в 37%;
• более 25% респондентов уже несколько раз сталкивались с инцидентами безопасности, связанными с атаками на ИИ-системы. Как отмечают авторы исследования, такие атаки носят регулярный характер и воспринимаются как системный риск, а не как единичные случаи;
• 75% FinTech-организаций называют утечки конфиденциальных данных ключевой угрозой безопасности при использовании искусственного интеллекта. Среди других значимых рисков указываются некорректная работа моделей, несанкционированный доступ к ИИ-системам и инъекции промптов;
• 62% предприятий применяют гибридный подход к оценке результатов и выводов ИИ. Компании в целом доверяют искусственному интеллекту, но сохраняют ручной контроль над критически важными процессами и проводят дополнительную проверку выводов моделей;
• лишь 12% демонстрируют высокий уровень доверия к ИИ;
• 12% компаний внедряют системную оценку этических рисков ИИ. Большинство организаций находятся на стадии обсуждения и подготовки этических принципов, ограничиваясь эпизодическими практиками;
• 74% организаций концентрируют меры AI Security на этапе подготовки данных и тестирования моделей. Одновременно фиксируется рост внимания к безопасности на всех этапах жизненного цикла ИИ;
• более 80% компаний планируют масштабные обучающие программы по AI Security. Развитие культуры безопасности ИИ обозначено как приоритет наряду с формированием внутренних политик и усилением технологического контура защиты;
• 60% организаций уже внедряют комплексные меры по защите ИИ-систем. Наиболее распространенные практики включают регулярный мониторинг и аудит моделей, тестирование на уязвимости, разработку внутренних стандартов безопасности и обучение сотрудников основам AI Security;
• как показали результаты опроса, при выборе инструментов AI Security компании отдают приоритет специализированным платформам. Параллельно с этим набирает силу тренд на развитие собственных разработок. Авторы связывают это с дефицитом готовых решений на рынке и потребностью бизнеса в максимально адаптированных системах защиты.

Расскажите знакомым: