Задачей нейросети является предположение пола и возраста человека по его фото. В ее основе — гибридная (сочетающая элементы сверточных и трансформерных нейросетей) модель VOLO. Изображения тела и лица подаются в MiVOLO независимо, как два входа в два сверточных стебля, после чего объединяются. Такой подход, отмечают разработчики, позволяет обрабатывать изображения, не все части которых содержат полезную информацию.

Модель умеет предсказывать пол и возраст даже на тех фотографиях, где лица не видно. По заявлениям разработчиков, MiVOLO справляется с задачей определения возраста лучше, чем человек. Нейросеть была обучена на специально созданном под нее открытом датасете LAGENDA.

MiVOLO была представлена и командой продукта Layer в июле 2023 года. Тогда же стало известно об интеграции нейросети в продукт. В феврале 2024 года была выпущена новая версия модели — MiVOLOv2.0. Она была обучена на расширенном датасете, что позволило уменьшить количество ошибок модели. Доступна как открытое ПО.

Репозитории на GitHub и Hugging Face

Демоверсия на Hugging Face

Препринт в arXiv

Текстовый обзор на Habr

Бот в Telegram

👤 Максим Купрашевич

👤 Ирина Толстых

• Смотреть