Ученые МФТИ предложили метод трансформации кратковременной памяти ИИ в долговременную. В основе новой архитектуры памяти — механизм перестройки нейронных связей (Rewiring), который работает вместе с обучением нейросети. Он позволяет ИИ сохранять старую информацию и усваивать новую. Метод предназначен для решения проблемы «катастрофического забывания», при которой нейросети теряют ранее полученные знания при освоении новых задач.
В предложенном подходе нейросеть сначала обучают под воздействием внешних сигналов, в это время связи между нейронами укрепляются и формируется кратковременная память. Затем внешний сигнал отключается и начинает работать Rewiring. Система самостоятельно перестраивает структуру сети и добавляет паттерн на карту связей.
В МФТИ провели моделирование процесса обучения, чтобы проверить, сколько всплесков активности нейросеть способна выдержать до утраты информации. Утверждается, что новая архитектура памяти выдерживала до 170 млн всплесков по сравнению с 1 тыс. у других моделей. Также ведется работа над нейроморфными процессорами, в которых новый метод будет воплощен физически.
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.