Исследователи МФТИ, Университета Иннополис, MIRAI, Sber AI Lab и «Т-Технологий» разработали метод SimplexLoRA для дообучения больших языковых моделей. Он автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов.

В начале дообучения SimplexLoRA оценивает, каким участкам нейросети нужны более крупные адаптеры, а каким достаточно меньших. Общий объем параметров при этом не меняется. После этого распределяются ресурсы в соответствии с проведенным анализом, а затем выполняется стандартное LoRA-обучение с новыми размерами.

Эффективность SimplexLoRA проверили на 12 задачах — от анализа эмоциональной окраски текста и ответов на вопросы до математических рассуждений и автоматического реферирования. Метод также показал устойчивость к выбору настроек.

Метод повышает качество моделей без роста затрат на обучение и без дополнительной нагрузки при их дальнейшем использовании. Он может быть полезен при настройке языковых моделей в условиях ограниченной вычислительной мощности.

Репозиторий доступен на GitHub.

В апреле 2026 года в VK и Университете ИТМО представили метод обновления генеративных рекомендаций без полного переобучения.