Ученые факультета вычислительной математики и кибернетики МГУ им. М.В. Ломоносова применили методы анализа чувствительности к различным типам нейросетевых моделей. Они выявили, какие входные параметры оказывают наибольшее влияние на результаты работы ИИ.

Метод глобального анализа чувствительности Соболя применили к небольшой полносвязной нейросети, обученной на клинических табличных данных по сахарному диабету. Удалось выявить четыре наиболее значимых параметра, которые определяют результат классификации. Исследователи смогли обучить еще более простую нейросеть на этих четырех параметрах без существенной потери итоговой точности.

Для сверточных нейросетей, таких как VGG-16 и ResNet-18, которые применяются для обработки изображений, использовались локальные методы: тепловые карты и техника максимизации активации. Ученым удалось продемонстрировать, что VGG-16 хорошо распознает контуры объектов, а ResNet-18 помогает сохранять чувствительность на глубоких слоях.

К модели VGG-16, которая использовалась для классификации ультразвуковых изображений легких, применили метод максимизации активации и технику GradCam. Авторам удалось выявить паттерны, влияющие на работу обученной нейросети. По словам ученых, метод максимизации активности позволяет лучше локализовывать зоны на снимке, которые влияют на итоговый результат работы классификатора.

Исследователи отмечают потенциал методов анализа чувствительности для повышения прозрачности решений, принимаемых нейросетями. Предполагается, что подход будет особенно полезен в клинических задачах.