Разработчик Red_mad_robot разработал платформу red_mad_router для подключения больших языковых моделей и управления ими в бизнесе. Она собирает доступ к LLM в одной системе, предоставляет инструменты для контроля затрат и обеспечивает управление безопасностью данных. Модели и провайдеры подключаются через интерфейс, совместимый со стандартом OpenAI, без отдельной интеграции под каждого из них.

Используется механизм автоматического переключения между большими языковыми моделями, если одна из них недоступна. Через модуль Guardrails настраиваются правила работы с чувствительной информацией. В системе можно задать лимиты и квоты на уровне команд и отдельных ключей, отслеживать использование токенов и распределение нагрузки по моделям.

Платформа разворачивается в защищенной инфраструктуре компании и поддерживает единый вход для сотрудников. Она ориентирована на организации, в которых LLM используются в нескольких сценариях. Разработчики считают, что в первую очередь red_mad_router будет актуальна для организаций, в которых одновременно применяются локальные и облачные модели.