Evolution ML Inference
Сервис инференса моделей машинного обучения
Облачный сервис Evolution ML Inference предназначен для инференса (работы на конечных устройствах) больших языковых моделей (Large Language Model, LLM) и других моделей машинного и глубокого обучения.
Пользователь может разворачивать собственные и выложенные в открытый доступ на платформе Hugging Face модели на базе облачных графических процессоров (Graphics Processing Unit, GPU).
Модели могут запускаться как без необходимости сборки образа напрямую из Hugging Face, так и c помощью собственных образов Docker со своим кодом инференса и окружением. Также поддерживается работа с библиотеками vLLM, TGI, Ollama, Diffusers, Transformers для более эффективного инференса.
При этом с помощью опции совместного использования графического ускорителя (Shared GPU) может использоваться только то количество видеопамяти процессора, которое необходимо для работы модели, с возможностью динамически перераспределять ресурсы в зависимости от текущих потребностей клиента.
Тарификация за использование модели начинается только в момент обращения к ней.
Облачный сервис Evolution ML Inference был представлен на конференции GoCloud в апреле 2025 года.
