Платформа Inference Valve предназначена для внедрения, мониторинга, эксплуатации и обновления моделей искусственного интеллекта.

Пользователь может как развернуть свои модели, так и использовать доступные в сервисе Open Source — модели размером до 30 млрд параметров. Решение поддерживает одновременную работу сразу с несколькими моделями с соответствующим выделением квот вычислительных ресурсов.

После запуска кластера артефакты модели загружаются в платформу. Далее Inference Valve формирует образ (контейнер) и публикует эндпойнты (Endpoint, конечная точка запроса, в частности по API).

Платформа позволяет проводить версионирование модели, маршрутизацию трафика между версиями и масштабирование под нагрузку как на GPU, так и на CPU. В Inference Valve доступны инструменты измерения задержек и пропускной способности, мониторинга доступности. Платформа позволяет отслеживать телеметрию качества моделей, в том числе дрейф их данных и отклонение от целевых метрик.

Решение интегрировано с ML Platform, инструментами непрерывной разработки (CI/CD, Continuous Integration / Continuous Deployment) и другими MLOps-инструментами (в частности, MLflow и Kubernetes, платформами мониторинга Prometheus и Grafana). Inference Valve поддерживает популярные фреймворки машинного обучения, такие как PyTorch, TensorFlow, Scikit-learn, и любые библиотеки на языках Python и R.

Inference Valve может быть развернута на частном облаке, на серверах пользователя по модели On-Premise, а также в составе программно-аппаратных комплексов на базе GPU NVIDIA в закрытом контуре.

Платформа Inference Valve была представлена компанией MWS Cloud в августе 2025 года.