LLM-платформа предназначена для ускорения цикла разработки и сокращения издержек на генерацию токенов большими языковыми моделями (LLM).

Решение позволяет запускать эксперименты по их дообучению при помощи LoRA-адаптеров, отслеживать прогресс и результаты.

Платформа использует фреймворки инференса, которые, по заявлениям разработчиков, позволяют снизить задержку до первого ответа в 2–5 раз и ускорить генерацию отдельного запроса в 3–10 раз. Также в LLM-платформе имеется настроенный пайплайн генерации с дополненной выборкой (RAG), который позволяет большим языковым моделям генерировать ответы по документам пользователя.