Целью сервиса инференса (старта работы на конечном устройстве) ставится упрощение запуска моделей машинного обучения в промышленную эксплуатацию и повышение их производительности.

С помощью него можно загружать желаемые модели в S3-контейнеры (Simple Storage Service) объектного хранилища, а в результате получать готовые API-интерфейсы без разработки. Также решение дает возможность с помощью сценария Canary Deployment (постепенного и контролируемого внедрения изменений) регулярно обновлять версии моделей машинного обучения без прекращения обработки поступающих пользовательских запросов. При необходимости система самостоятельно добавляет вычислительные ресурсы для модели.

Inference-платформа построена на базе кластеров графических ускорителей на основе Kubernetes и дополнена популярными общедоступными инструментами NVIDIA Triton Inference Server, Ray Serve Cluster и Istio Ingress Controller.

Сервис был представлен Selectel в октябре 2024 года. По состоянию на ноябрь продукт доступен в режиме бесплатного бета-тестирования.