Ученые НИЯУ МИФИ представили архитектуру нейросети MambaShield, которая сохраняет высокую точность при атаках Data Poisoning (отравление данных). Она основана на селективных моделях пространства состояний (sSSM).

В основе архитектуры — три компонента. Первый — прогрессивная дистилляция устойчивости (PARD), где несколько моделей-учителей специализируются на разных типах атак, а затем «ученик» перенимает их знания.

Второй — иерархическое обучение с подкреплением (HRL). Система самостоятельно адаптирует стратегию защиты в реальном времени. Третий — PAC-Bayesian-сертификация, которая дает математические гарантии устойчивости.

Эксперименты на крупных наборах данных о кибератаках (CIC-IoT-2023, CSE-CICIDS2018, UNSW-NB15) показали, что точность обнаружения MambaShield достигла 99,1% (у аналогов — около 97%).

При этом по скорости архитектура обрабатывает последовательности в 4,2 раза быстрее классического трансформера благодаря линейной сложности алгоритма. При этом система работает на отрезках до 1 тыс. шагов, но при длине последовательности более 5 тыс. шагов накапливаются ошибки округления, а точность может снизиться.