Российские ученые из Университета Иннополис, СПбГЭТУ «ЛЭТИ» совместно с исследователями Джадавпурского университета (Индия) разработали гибридную нейросеть для распознавания эмоций.

Модель была протестирована на трех общедоступных эталонных наборах данных ЭЭГ. Максимальную точность (99,99%) она показала на тех наборах, где нужно было определить спокойствие, стресс или радость и эмоциональные состояния в условиях стресса.

Предложенная исследователями архитектура объединяет две параллельные ветви нейросети. Временная ветвь использует сеть долгой краткосрочной памяти, которая обрабатывает сигналы электроэнцефалограмм (ЭЭГ) и улавливает изменения, связанные с эмоциональными состояниями.

Спектральная ветвь с помощью сверточной нейросети извлекает из ЭЭГ-сигналов признаки. Результаты обеих ветвей объединяются, а итог классифицируется с помощью компактной нейросети. В сравнении с существующими моделями решение исследователей на тех же наборах данных превзошло или сравнялось с известными результатами.

В дальнейшем ученые планируют адаптировать модель для онлайн-распознавания эмоций по потоковым данным ЭЭГ и интегрировать ИИ-архитектуру для использования с другими методами диагностики.

Ученые полагают, что решение полезно при создании систем отслеживания психического здоровья и адаптивных интерфейсов человек-компьютер.