Библиотека Loss Landscape Analysis (LLA) предназначена для помощи в оценке эффективности решения задачи классификации нейросетями. При ее создании разработчики опирались на две библиотеки — Loss Landscapes и PyHessian. Однако в отличие от последних, LLA позволяет работать с такими архитектурами нейросетей, как вариационные автоэнкодеры и визуальные трансформеры.

Библиотека помогает рассчитать ландшафт (визуальное представление) функции потерь (показывающей, насколько сильно предсказанный моделью результат отличается от реального) по случайным осям, осям — моментам алгоритма оптимизации нейросетей Adam, осям — собственным векторам гессиана (иначе известного как матрица Гессе) для разных типов нормализации, разных уравнений модификации весов, с заморозкой отдельных слоев или же без нее. Кроме того, LLA позволяет оценить собственные значения и собственные вектора гессиана, его след, построить его спектр. Также возможна оценка гессиана определенных блоков и слоев нейросети.

Библиотека была представлена компанией «Криптонит» в январе 2025 года. Доступна как открытое ПО.

Репозиторий на GitHub

Препринт на arXiv

👤 Никита Габдуллин

• Смотреть