ГлавнаяЛента

AIRI

В AIRI и МФТИ представили метод 3DGraphLLM для расширения возможностей LLM при работе с трехмерным пространством

5 августа, 12:47|
47

Он учитывает пространственные и смысловые взаимосвязи элементов внутри помещения, что улучшает обработку сложных интерьеров, где объекты находятся близко друг к другу и образуют плотные композиции.

Специалисты подчеркивают, что большинство современных подходов, основанных на LLM, используют двумерные изображения, упуская трехмерную структуру пространства, или работают с необработанными облаками точек, игнорируя смысловое взаимодействие предметов. Из-за этого алгоритмы способны определить наличие стула и стола, однако не осознают факт, что стул расположен именно возле стола и предназначен для сидения.

Обучение модели происходило на больших датасетах — ScanNet, 3RScan, которые содержат точные реконструкции реальных помещений, и расширенных наборах данных — ScanRefer и Multi3DRefer, содержащих текстовые запросы к реконструированным сценам.

На данный момент ведутся работы по интеграции метода в реальные робототехнические платформы.

Подробнее

Расскажите знакомым:

Главное про цифровые технологии в Москве

Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности

Что такое ICT.Moscow?

ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.