«Сбер» разработал и опубликовал первую диффузионную языковую модель GFusion на основе GigaChat. Это экспериментальный проект. Ожидается, что он будет полезен исследователям и разработчикам, которые создают собственные аналогичные модели.

Разработчики уточнили, что классические LLM генерируют текст последовательно, слово за словом (авторегрессия), поэтому, чтобы исправить одну ошибку, модель вынуждена переписывать весь ответ заново. GFusion сначала создает «набросок» ответа, а затем пошагово дорабатывает его — так же, как нейросети генерируют изображения и видео.

Диффузионные модели также извлекают больше информации из ограниченного объема данных, обучаясь на одном и том же датасете несколько раз. За счет параллельной генерации GFusion пишет текст быстрее: по тестам «Сбера» — до 45% быстрее GigaChat 3, на основе которого она обучалась.

Диффузионные модели развиваются в мире с конца 2025 года. На данный момент они обеспечивают автодополнение кода в реальном времени, агентные сценарии и поддерживают приложения, критичные к задержкам.

В июле «Сбер» разработал и выложил в открытый доступ вариационный автоэнкодер KVAE-Audio для задачи токенизации (преобразования данных в математический формат) звука.