В своем докладе на на конференции Heisenbug 2026 Autumn руководитель направления руководитель направления по тестированию в «Сбере» Евгений Гребенщиков на примере мультиагентной системы MultiTester рассказал о способах экономии токенов для LLM-систем.
В презентации рассмотрена структура стоимости запроса: системного промпта, истории диалога, файлов, описаний функций, изображений и ответа модели. Гребенщиков разобрал такие приемы экономии токенов, как сокращение промптов, автоматическое сжатие требований, кеширование контекста и использование моделей разного размера для задач различной сложности.
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.