Ученые Института искусственного интеллекта AIRI, «Сбера» и «Сколтеха» представили детектор ошибок сжатия в работе систем на базе искусственного интеллекта. Исследование направлено на улучшение обработки длинных диалогов. Разработка решает проблему переполнения токенов (Token Overflow) — искажения данных при превышении пороговых значений сжатия.

Детектор — это обучаемый классификатор. Он проверяет токены до того, как они попадут в большую языковую модель, и не пропускает испорченный контекст. В этом случае система может использовать несжатый текст или найти актуальные документы.

«Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестает быть оптимизацией и ведет к ошибкам, вызывая потерю устойчивости модели», — объяснил директор Центра практического искусственного интеллекта «Сбера» Николай Тиден.

Классификатор задействовали при обновлении GigaChat Ultra от «Сбера». С помощью детектора модель научилась запоминать факты о пользователях и применять их для персонализации общения.