Ученые НИУ ВШЭ и «Т-Технологии» представили метод G-Star+ для корректировки ошибок во время генерации текста и кода с помощью искусственного интеллекта. Подход направлен на улучшение работы моделей маскированной диффузии — они не генерируют текст слева направо, как классические языковые модели, а постепенно заменяют замаскированные элементы на токены. В стандартных методах выбранный токен обычно фиксируется навсегда, и ошибки исправлять сложно, отмечают исследователи.

G-Star+ (Guided Star-Shaped Sampler) работает по принципу внутреннего редактора: находит подозрительные токены, маскирует их и дает модели возможность переписать проблемные места позже. В методе используется обучаемый модуль, который подсказывает, какие фрагменты нужно пересмотреть.

Как считают разработчики, их решение может применяться как дополнительный слой улучшения модели маскированной диффузии, так как оно не требует полного переобучения. Предполагается использование метода в задачах, где генеративным моделям нужно быстро и качественно создавать текст или код при ограниченных вычислительных ресурсах. Например, при разработке ИИ-ассистентов, чат-ботов, инструментов генерации и автодополнения кода.

«Сбер» в июле 2026 года выложил в открытый доступ экспериментальную диффузионную языковую модель GFusion и метод ее обучения.