Старший инженер-разработчик ИИ-платформы в «Циан» Роман Песков выступил на конференции Smart Data 2026 с презентацией о способах измерения производительности ИИ-моделей, развернутых локально. Он выделил основные метрики, по которым необходимо производить изменения.

Спикер также обратил внимание на влияние механизма кэширования промежуточных вычислений (KV Cache) на скорость задержки ответа модели.