Выложенный в общий доступ библиотека Loss Landscape Analysis (LLA) призвана помочь в оценке эффективности решения задачи классификации нейросетями. При ее создании разработчики опирались на две библиотеки — Loss Landscapes и PyHessian. Однако в отличие от последлних, LLA позволяет работать с такими архитектурами нейросетей, как вариационные автоэкодеры и визуальные трансформеры.

Библиотека помогает рассчитать ландшафт (визуальное представление) функции потерь (показывающей, насколько сильно предсказанный моделью результат отличается от реального) по случайным осям, осям-моментам алгоритма оптимизации нейросетей Adam, осям-собственным векторам гессиана (иначе известного как матрица Гессе) для разных типов нормализации, разных уравнений модификации весов, с заморозкой отдельных слоев или же без нее. Кроме того, LLA позволяет оценить собственные значения и собственные вектора гессиана, его след, построить его спектр. Также возможна оценка гессиана определенных блоков и слоев нейросети.

Библиотека была представлена компанией «Криптонит» в январе 2025 года.

Препринт на arXiv

👤 Никита Габдуллин