Исследователи факультета компьютерных наук НИУ ВШЭ и AIRI разработали способ построения ортогональных матриц «Группируй и перемешивай» (Group-and-Shuffle). На их основе создан метод для ортогональной донастройки нейросетей GSOFT.

Способ построения матриц «Группируй и перемешивай» вместо работы со всеми данными предполагает деление параметров на небольшие группы, их обработку и перемешивание. По словам ученых, созданные GS-матрицы позволяют моделям точнее подстраиваться под задачу и требуют меньше вычислений и памяти по сравнению с другими популярными методами ортогональной донастройки.

Утверждается, что метод донастройки GSOFT сохраняет стабильность и качество обучения при малом объеме данных. Ученые также предложили двусторонний вариант — Double GSOFT. Он позволяет изменять параметры сразу с двух сторон. Это повышает гибкость и точность модели.

Подходы протестировали на трех типах задач: на дообучении языковой модели RoBERTa, генерации изображений с сохранением элементов оригинала и на сверточных нейросетях, которые используются для анализа изображений и видео. Как утверждается, во всех случаях метод работал лучше аналогов.

Исследование было представлено на конференции NeurIPS 2024.

Ученые AIRI, «Сколтеха», Томского политехнического университета и «Сбера» ранее в июне 2025 года предложили подход для ускорения разработки новых материалов с помощью искусственного интеллекта. Их подход снижает количество расчетов при дообучении графовых нейросетей предсказанию свойств материалов.