Ученые из ИТМО разработали цифровое решение «Полиокс», предназначенное для анализа возможностей ИИ-моделей, предсказания затрат на их дополнительное обучение и оценки качества работы, включая экстремальные условия эксплуатации.

«Полиокс» также проводит сравнение ИИ-продуктов с аналогичными разработками, доступными в открытых репозиториях и внутренней библиотеке разработчиков. Исследователи подчеркивают, что качественная оценка новых ИИ-моделей требует значительных ресурсов, однако заказчики часто не обладают достаточными знаниями для объективной оценки приобретаемых технологий, что нередко приводит к разочарованиям на этапе внедрения.

Тестирование моделей проводится с учетом специфики применяемых задач, эксплуатационных условий и требуемой точности. После этого система генерирует синтетические данные для проверки моделей и запускает серию испытаний согласно установленным критериям. Завершающий этап включает анализ тестовых данных с использованием машинного обучения и статистических методов, что дает возможность сделать обоснованные выводы о работе новой ИИ-системы.

Классическая проверка обычно ограничивается двумя-тремя показателями точности, тогда как выводы «Полиокса» содержат десятки различных метрик, оцениваемых в разных сценариях, уточняют ученые. Отчет также описывает принципы работы модели и предоставляет числовые характеристики, необходимые для сертификации ИИ-систем.