Исследователи «Сбера» и НИУ ВШЭ представили метрику Persistence для оценки качества эмбеддингов в ИИ-моделях. Она основана на методе топологического анализа данных. Решение помогает подбирать оптимальный размер эмбеддинга, количество слоев, функцию потерь и указывает, на какой эпохе обучения нужно остановиться, чтобы не допустить переобучения или недообучения.

Метрика предназначена для помощи в выборе лучшей архитектуры модели. Без нее бизнесу требуется тестирование каждой конфигурации на размеченных данных. Persistence работает при малом количестве разметки или при ее отсутствии. Решение подходит для любых бизнес-задач, утверждают разработчики.

Persistence превосходит зарубежные аналоги RankMe, α-ReQ, NESum, SelfCluster по корреляции с качеством на прикладных задачах — в финансовой аналитике, поведенческом моделировании и коллаборативной фильтрации. Как считают исследователи, метрику будут использовать для рекомендаций в онлайн-кинотеатрах и маркетплейсах, для улучшения работы голосовых помощников и внедрения ИИ в медицину. Решение снизит барьер применения моделей без учителя в областях с дефицитом разметки: здравоохранении, социальных науках и гуманитарных дисциплинах.