Датасет HaGRID (Hand Gesture Recognition Image Dataset) предназначен для обучения моделей комьютерного зрения, которые, по задумке создателей, можно внедрять в системы распознавания жестов или брать за основу для виртуальных помощников для пользователей с дефектами речи. Каждый из жестов HaGRID выполняет определённую функцию, специфичную для управления системой распознавания жестов.

Датасет размером в 1,5 терабайта содержит более 1 млн изображений почти 66 тыс. уникальных пользователей из разных стран. Изображения представляют собой RGB-картинки преимущественно в формате Full HD. Набор данных разделен на 33 класса жестов, а также дополнительный класс No Gesture, в котором содержатся изображения рук в естественном положении. На каждом изображении датасета размечены обрамляющие прямоугольники (Bounding Box) с меткой класса жеста, а также метки жеста ведущей руки.

Специалисты из SberDevices представили датасет в июне 2022 года. Помимо набора данных, в репозитории также выложены обученные на HaGRID нейросети. В декабре 2024 года вышла обновленная версия датасета — HaGRIDv2-1M. Она содержит 531 358 новых изображений, разделённых на 15 дополнительных манипулятивных и контролирующих жестов, что, отмечают разработчики, позволяет тренировать на ее основе более точно работающие нейросети. Кроме того, ими был расширен функционал алгоритма распознавания динамических жестов.

Доступен как открытое ПО.

Репозиторий на GitHub

Репозиторий данных для алгоритма распознавания жестов на GitHub

Препринт на arXiv

👤 Александр Капитанов

👤 Карина Кванчиани

👤 Антон Нуждин

• Смотреть