Ученые Института искусственного интеллекта AIRI создали платформу VLA Arena для оценки и сравнения моделей управления роботами. С помощью разработки можно тестировать решения на реальных устройствах и в симуляциях. Пока система позволяет работать с манипуляторами LeRobot SO-100 и SO-101 от Hugging Face. Поддерживаются модели Vision Language Action (VLA).

На платформе доступны три решения для реальных роботов и четыре для симуляции. Среди них — π0.5 от Physical Intelligence, SmolVLA от Hugging Face, а также открытая модель, адаптированная Институтом искусственного интеллекта AIRI для работы на русском языке.

Помимо этого, VLA Arena содержит размеченные и переведенные на русский язык датасеты для LeRobot. Их можно использовать для обучения собственных моделей. Кроме того, на платформе составляется таблица лидеров: все решения оцениваются пользователями, а также на рандомизированных тестах.

Как отмечают исследователи, манипуляторы LeRobot, под которые адаптирована VLA Arena, подходят для использования в образовательных и исследовательских целях.

Планируется, что платформа будет работать в тестовом режиме до трех месяцев. За этот период ученые соберут данные и отзывы, чтобы улучшить разработку.