В ИТ-компании «Криптонит» предложили способ избежать ошибок нейросетей. Новая методика базируется на изучении того, как «мягко» нейросети реагируют на изменения данных или параметров.

Во время проведенного исследования были обнаружены схожие тенденции в поведении различных нейросетей, что позволило предложить критерии оценки обобщающей способности. Эти критерии позволяют выполнить корректную оценку нейросетей, а также могут использоваться при создании моделей для минимизации потенциальных ошибок.

Как отмечают разработчики, «проявления ошибок ИИ могут быть самым разными, но причины их часто одинаковы и кроются в слабой предсказуемости поведения нейросетей при смене данных». Кроме того, обученные модели могут демонстрировать «впечатляющие метрики в лабораторных условиях, но резко снижать качество вывода при переходе к реальным данным», уточняют они.

Для реализации предложенной методики в компании написали библиотеку Loss Landscape Analysis для более гибкого подхода к построению и последующему анализу обобщающей способности нейросетей.

Карточки решений:
Loss Landscape Analysis