Задачей нейросети является предположение пола и возраста человека по его фото. В ее основе — гибридная (сочетающая элементы сверточных и трансформерных нейросетей) модель VOLO. Изображения тела и лица подаются в MiVOLO независимо, как два входа в два сверточных стебля, после чего объединяются. Такой подход, отмечают разработчики, позволяет обрабатывать изображения, не все части которых содержат полезную информацию.

Модель умеет предсказывать пол и возраст даже на тех фотографиях, где лица не видно. По заявлениям разработчиков, MiVOLO справляется с задачей определения возраста лучше, чем человек. Нейросеть была обучена на специально созданном под нее открытом датасете LAGENDA.

MiVOLO была представлена и выложена в открытый доступ командой командой продукта Layer в июле 2023 года. Тогда же стало известно об интеграции нейросети в продукт. В феврале 2024 года была выпущена новая версия модели — MiVOLOv2.0. Она была обучена на расширенном датасете, что позволило уменьшить количество ошибок модели.

Демо-версия на Hugging Face

Пост на Habr

Препринт в ArXiv

Репозиторий на GitHub

👤 Максим Купрашевич