Ученые факультета вычислительной математики и кибернетики МГУ им. М.В. Ломоносова предложили новый способ оптимизации транспортных потоков в наложенных сетях. Метод основан на многоагентном обучении с подкреплением.

Метод Multi-Agent Routing using Hashing (MAROH) объединяет идеи децентрализованного обучения с подкреплением и консистентного хеширования. Каждому порту маршрутизатора присваивается вес. Он рассчитывается с использованием машинного обучения так, чтобы нагрузка по сети распределялась равномерно. Полученные данные передаются соседним маршрутизаторам, что позволяет быстро адаптироваться к изменениям в трафике и избегать перегрузок.

В отличие от традиционных централизованных алгоритмов, в MAROH используется распределенная модель управления. Агенты действуют локально, обмениваются информацией друг с другом о состоянии сети и принимают решения о маршрутизации данных.

Метод предлагают применять в наложенных сетях. Они используются в вычислительной инфраструктуре нового поколения, например в Network Power by Computing (NPC).

Эффективное распределение трафика в наложенных сетях оптимизирует работу дата-центров, облачных вычислений, корпоративных VPN и интернет-провайдеров. MAROH, как утверждают ученые, превосходит по эффективности классические алгоритмы балансировки, такие как Equal-Cost Multi-Path (ECMP) и Unequal-Cost Multi-Path (UCMP). Метод также показывает сопоставимые результаты с централизованным генетическим алгоритмом, но он дает лучшую сходимость и стабильность при высокой нагрузке в сети.

В будущем ученые хотят сделать так, чтобы агенты тратили меньше времени на решения. Планируется повышение эффективности использования каналов, а также использование графовых сетей с механизмом внимания, чтобы повысить устойчивость к изменениям нагрузки и топологии сети.