语义地图原型系统

1. 系统概述

本系统基于视觉SLAM和目标检测、视觉关系检测等深度学习算法,完成语义地图的构建和建图结果的可视化功能,主要由V-SLAM系统和语义信息提取系统两个子系统构成。

系统的输入为RGB-D图像序列,输出为带标注的稠密点云地图。

基本功能包括:V-SLAM稠密建图、原始输入数据的显示(深度图显示、RGB图显示)、稠密点云重建显示、语义信息提取(物体实例信息和物体之间关系信息)、实例信息展示、关系信息展示等。

2. 功能模块

功能模块名称 功能描述 备注
输入数据 输入原始数据(RGB-D图像序列)
V-SLAM建图 根据输入的RGB-D数据,实现基础的V-SLAM算法,并完成稠密建图
深度图显示 在界面实时的显示输入的深度图像序列 默认开启
RGB图显示 在界面实时的显示输入的RGB图像序列 默认开启
稠密点云重建显示 在界面显示稠密点云的建图效果 默认开启
实例信息获取 获取环境中的物体实例信息
关系信息获取 获取环境中物体之间的关系语义
实例信息展示 在界面展示所有获取到的实例信息,以列表展示
关系信息展示 在界面展示所有获取到的关系信息,以列表展示
查看详细信息 点击信息列表中的某一项,可以查看该实例或关系的详细信息
地图更新 地图更新 实时
输出地图 在用户指定的文件路径下,输出点云文件和语义信息等建图结果

3.系统结构

系统结构图

4. 网址

点此访问:Ecnu Lab