Исследователи МФТИ и AIRI разработали модульную систему управления SG-RAPL для складских человекоподобных роботов. Решение позволяет им запоминать окружающее пространство и при получении команды на естественном языке декомпозировать сложную задачу на последовательность конкретных действий.

Система объединяет LLM и построение трехмерной карты пространства. Для этого решение использует алгоритмы слияния информации о масках распознанных объектов с камеры, соответствующих картах глубин и показаниях визуальных ArUco-маркеров. SG-RAPL в реальном времени формирует граф 3D-сцены, включающий объекты склада и связи между ними, и использует его для запоминания окружения и планирования действий.

Для обучения и проверки системы ученые создали размеченный вручную набор данных: сцены со складов и десятки сценариев с голосовыми командами. Эксперименты показали более высокую эффективность подхода по сравнению с системами без трехмерных графов сцены.

Научная статья опубликована в Engineering Applications of Artificial Intelligence, репозиторий размещен на GitHub.

В июне 2026 года в МФТИ создали систему MSSPlace для определения роботами их местоположения.