Исследователи Центра практического искусственного интеллекта Сбербанка и МФТИ представили метод ускорения обучения распределенных и федеративных моделей машинного обучения. В основе подхода — сокращение времени на обмен данными между устройствами в распределенных системах. Для этого используются гомогенность (однородность) локальных выборок и сжатие передаваемой информации.

По словам ученых, решение позволяет реже синхронизировать устройства и передавать меньше данных. При этом, как утверждается, качество обучения не снижается. Метод сокращает затраты на вычислительные ресурсы и ускоряет внедрение ИИ-моделей.

«Нашей целью было объединить современные подходы к эффективным коммуникациям — ускорение, сжатие и учет похожести данных — в единый алгоритм с четкими теоретическими гарантиями», — рассказал директор Исследовательского центра агентных систем искусственного интеллекта МФТИ Александр Безносиков. По его словам, новый метод поможет внедрить ИИ в средах с ограниченными ресурсами, в таких как сети с Edge-устройствами.

«Сбер» и ИТМО осенью 2024 года представили инструмент Stalactite для федеративного обучения ИИ-моделей. Он позволяет обучать ИИ-модели и делать прогнозы с использованием информации, которая хранится на устройствах и принадлежит разным владельцам.