本系统基于视觉SLAM和目标检测、视觉关系检测等深度学习算法,完成语义地图的构建和建图结果的可视化功能,主要由V-SLAM系统和语义信息提取系统两个子系统构成。
系统的输入为RGB-D图像序列,输出为带标注的稠密点云地图。
基本功能包括:V-SLAM稠密建图、原始输入数据的显示(深度图显示、RGB图显示)、稠密点云重建显示、语义信息提取(物体实例信息和物体之间关系信息)、实例信息展示、关系信息展示等。
功能模块名称 | 功能描述 | 备注 |
---|---|---|
输入数据 | 输入原始数据(RGB-D图像序列) | |
V-SLAM建图 | 根据输入的RGB-D数据,实现基础的V-SLAM算法,并完成稠密建图 | |
深度图显示 | 在界面实时的显示输入的深度图像序列 | 默认开启 |
RGB图显示 | 在界面实时的显示输入的RGB图像序列 | 默认开启 |
稠密点云重建显示 | 在界面显示稠密点云的建图效果 | 默认开启 |
实例信息获取 | 获取环境中的物体实例信息 | |
关系信息获取 | 获取环境中物体之间的关系语义 | |
实例信息展示 | 在界面展示所有获取到的实例信息,以列表展示 | |
关系信息展示 | 在界面展示所有获取到的关系信息,以列表展示 | |
查看详细信息 | 点击信息列表中的某一项,可以查看该实例或关系的详细信息 | |
地图更新 | 地图更新 | 实时 |
输出地图 | 在用户指定的文件路径下,输出点云文件和语义信息等建图结果 |
点此访问:Ecnu Lab