Ученые НИЯУ МИФИ разработали подход, который позволяет нейросети оценивать уверенность в своих решениях и повышает ее устойчивость к попыткам обмана.

Метод основан на идее стохастического трансформера — нейросети со случайными параметрами. Это позволяет получить множество различных прогнозов для одного и того же входного объекта. Если прогнозы примерно одинаковы, нейросеть считает свое решение надежным. Значительные различия в результатах указывают на высокую неопределенность.

Авторы утверждают, что случайность может создать дополнительное препятствие для злоумышленника, поскольку при случайном изменении внутренних параметров модели одна и та же атака не будет одинаково эффективна.

Подход также сокращает объем данных, требующих ручной разметки, так как нейросети она требуется только в сложных ситуациях.

Авторы проверили модель на нескольких типах атак, включая FGSM, PGD и C&W. Стохастический трансформер показал более высокую устойчивость к состязательным атакам по сравнению с базовыми моделями. В экспериментах ученые использовали показатель ECE (Expected Calibration Error) для оценки соответствия прогнозируемой уверенности реальной точности. Среднее значение ECE составило 0,043, что свидетельствует о близости оценки уверенности к фактической частоте правильных решений.

Результаты исследования опубликованы в журнале Knowledge and Information Systems.

В июле 2026 года в НИЯУ МИФИ создали гибридную архитектуру TA-BN-ODE с применением LLM для анализа развития кибератак во времени.