Специалисты МФТИ и Университета Иннополис разработали алгоритм HARP (Hadamard-preconditioned Adaptive Rotation Processor) для сохранения качества моделей при квантовании. В основе метода лежат структурированные ортогональные повороты. Эти обратимые математические преобразования изменяют представление данных без изменения самой модели.

HARP работает поверх существующих методов квантования. В начале калибровки он полностью совпадает со стандартным преобразованием, а затем подстраивает повороты под конкретный слой модели и выбранный метод сжатия.

Алгоритм проверили на моделях разного масштаба. В экспериментах на Llama 2–70B (разработана Meta, которая признана экстремистской и запрещена в России) и Qwen3-8B он стабильно улучшал показатели относительно стандартного подхода. HARP сохранял 90% скорости стандартного сжатия и работал примерно в 2,1 раза быстрее полной версии. В будущем ученые планируют исследовать работу алгоритма и на других компонентах инференса.

Препринт исследования опубликован на arXiv, код выложен в открытый доступ на GitHub, а готовые сжатые модели опубликованы на Hugging Face.

В июне 2026 года ученые МФТИ, Университета Иннополис и ИСП РАН предложили метод децентрализованной оптимизации обучения нейросетей.