Ученые НИУ ВШЭ (Санкт-Петербург), Санкт-Петербургского Федерального исследовательского центра РАН и «Сбера» представили ИИ-модель для анализа человеческого поведения. Она обрабатывает видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов. Благодаря этому нейросеть распознает эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность — неуверенность или противоречивость.

Исследователи сравнивали три режима обучения. В первом модель работала только с размеченными данными, во втором — добирала их из других корпусов, в третьем — обучалась на нескольких задачах одновременно. Дополнительные данные повысили распознавание эмоций примерно на 6%, качество оценки воспринимаемых черт личности — на 3,2%. Многозадачность улучшила качество распознавания эмоций на 13,7% при работе ИИ-модели с новыми данными.

Нейросеть была обучена на суперкомпьютере НИУ ВШЭ «Харизма». Для трех задач использовали разные корпуса данных с разметкой.

Как считают ученые, разработку можно использовать в цифровых образовательных системах, интеллектуальных интерфейсах и в поддержке пользователя. Исследователи до конца 2026 года намерены повысить адаптивность модели. Планируется внедрение инструментов, которые будут по-разному учитывать голос, содержание речи, жесты и другие особенности поведения в зависимости от задачи.

Научная статья о нейросети опубликована в журнале IEEE Access.

Российские ученые из Университета Иннополис, СПбГЭТУ «ЛЭТИ» совместно с исследователями Джадавпурского университета (Индия) в июле 2026 года представили гибридную нейросеть для распознавания эмоций.