Российская ИТ-компания «Яндекс» объявила о работе над физическим ИИ (Physical AI). Предполагается, что он будет способен глубоко понимать материальный мир, взаимодействовать с ним, учитывать контекст и адаптироваться под меняющиеся условия. Над проектом работают команды «Яндекс Роботикс» и автономного транспорта.

Физический ИИ будет адаптивен — сможет подстраиваться под любые типы устройств. В «Яндексе» планируют обучить роботов и автономный транспорт обрабатывать мультимодальные данные: изображение, видео, звук и текст, а также моделировать разные варианты развития событий и самостоятельно принимать решения исходя из обстановки.

«Яндекс Роботикс» в рамках проекта создала и обучила VLA-модель для сервисных и промышленных роботов. Она преобразует голосовые и текстовые команды, изображения с камер и другие данные в действия. На данный момент поддерживается больше 10 базовых действий, среди них — «взять», «положить», «перенести» и другие. Предполагается, что в будущем их будет больше 100. Для управления роботами используется платформа Yandex RMS. С ее помощью устройство может определять необходимую комбинацию действий для решения задачи.

Управлять сервисными и промышленными роботами можно будет голосом, жестами и текстом. Как считают в «Яндексе», бизнесу не потребуется дополнительно обучать персонал и перестраивать процессы.

Команда автономного транспорта продолжает развивать ML-планировщик для более плавного и предсказуемого движения беспилотных машин. За построение траектории движения отвечает нейросеть-трансформер, обученная на большом объеме данных о действиях профессиональных водителей. Команда также развивает симулятор, в котором автомобили и роботы-доставщики отрабатывают навыки вождения и учатся реагировать на различные ситуации.

Автономный транспорт и роботы-доставщики благодаря физическому ИИ будут способны взаимодействовать с дорожной инфраструктурой, в том числе учитывать сигналы светофоров при планировании маршрута. Роботы-гуманоиды смогут точнее оценивать вес и устойчивость предметов, рассчитывать усилие при захвате, сохранять равновесие при движении и безопасно взаимодействовать с людьми и объектами.