Выложенный в открытый доступ датасет HaGRID (Hand Gesture Recognition Image Dataset) поможет в обучении моделей комьютерного зрения, которые, по задумке создателей, можно внедрять в системы распознавания жестов или брать за основу для виртуальных помощников для пользователей с дефектами речи. Каждый из жестов HaGRID выполняет определённую функцию, специфичную для управления системой распознавания жестов.

Датасет размером в 1,5 терабайта содержит более 1 млн изображений почти 66 тыс. уникальных пользователей из разных стран. Изображения представляют собой RGB-картинки преимущественно в формате Full HD. Набор данных разделен на 33 класса жестов, а также дополнительный класс No Gesture, в котором содержатся изображения рук в естественном положении. На каждом изображении датасета размечены обрамляющие прямоугольники (Bounding Box) с меткой класса жеста, а также метки жеста ведущей руки.

Помимо набора данных, в репозитории также выложены обученные на HaGRID нейросети.

Специалисты из SberDevices представили датасет в июне 2022 года. В декабре 2024 года вышла обновленная версия датасета — HaGRIDv2-1M. Она содержит 531 358 новых изображений, разделённых на 15 дополнительных манипулятивных и контролирующих жестов, что, отмечают разработчики, позволяет тренировать на ее основе более точно работающие нейросети. Кроме того, ими был расширен функционал алгоритма распознавания динамических жестов.

Препринт на arXiv

Репозиторий на GitHub

Репозиторий данных для алгоритма распознавания жестов на GitHub

👤 Александр Капитанов

👤 Карина Кванчиани

👤 Антон Нуждин