Команда Kandinsky (входит в «Сбер») выложила в открытый доступ семейство токенизаторов KVAE-2.0. Решения предназначены для диффузионных моделей генерации изображений и видео.

Преимуществом новой версии называется фокус на создание семантически устойчивых представлений — кодов, которые отражают смысл изображения. Утверждается, что они лучше сохраняют значимые элементы сцены, такие как текст, лица и структурные объекты. KVAE-2.0 дополнительно обучили работе с русским текстом в кадре.

По данным разработчиков, новое решение позволяет сжимать видео до четырех раз сильнее по сравнению с предыдущей версией при лучшем качестве восстановления изображения. Как отмечается, это ускоряет обучение диффузионных моделей, улучшает качество работы ИИ-решений и снижает требования к вычислительной архитектуре. KVAE-2.0, по информации создателей, по ключевым метрикам качества работает лучше аналогов от Tencent и Alibaba.