Алгоритм JAGUAR направлен на улучшение тонкой настройки гиперпараметров в ИИ-моделях, сокращая количество шагов, необходимых для их оптимизации. Метод полезен при решении проблем, связанных с высокой вычислительной сложностью расчетов градиентов, часто встречающихся при разработке приложений и обучении LLM.

По словам исследователей, JAGUAR сохраняет свою эффективность в сложных и гладких функциях, функциях с особыми свойствами, а также ситуациях, когда расчет сопровождается случайными ошибками.

Разработчики подчеркнули, что новый алгоритм позволяет оптимизировать процессы, состоящие из нескольких этапов. Один из примеров — обучение нейросети для извлечения эмбеддингов данных, которые впоследствии улучшают точность классификации или регрессии на следующем этапе. Также метод можно использовать в случаях, когда вычисление градиента целевой функции затруднительно из-за нехватки вычислительных мощностей или памяти при дообучении LLM.

Документы по теме:
Исследование