学生姓名：郭琪

班学生级：交控2017-05班

指导教师：曾祥光

毕设题目：基于RGB-D直接法ビンゴ スロット里程计的移动机器人路径规划设计

一、概况

1.选题意义

移动ビンゴ スロット技术的发展日新月异，越来越多地用于运输、传送等特定任务的实现，自主导航作为移动ビンゴ スロット能够实现其自身运动智能化控制的关键模块之一，一直被众多科研人员广泛关注。移动ビンゴ スロット要完成对周围环境的感知和对自身的定位导航，它需要解决两个问题，即定位和建图，一方面移动ビンゴ スロット要知道自己的位置，另一方面它还要能够了解外在的环境状况，做到“内外兼修”。

近些年常用的定位与导航方法有全球定位系统(Global Position System, GPS)、激光雷达、轮式ビンゴ スロット(Wheel Odometry)、基于惯性的导航系统(Inertia Navigation System, INS)、人工标志定位(如铺设导轨、使用二维码标志)等，但它们或多或少都存在一些局限性。随着计算机性能的发展，实时处理图像数据已逐步成为可能，ビンゴ スロット里程计(Visual Odometry, VO)便在这种背景下诞生了。移动机器人搭载ビンゴ スロット传感器(即ビンゴ スロット)，ビンゴ スロット里程计通过相机输入的图像信息去追踪相邻帧间的特征，利用ビンゴ スロット信息推出移动机器人的位置和姿态，并重建环境模型，其测量内容丰富，适用于多种场景模式，性价比高，目前已经发展成为一个较为完备的应用体系。作为ビンゴ スロット同步定位与地图构建(VisualSimultaneous Localization and Mapping, VSLAM)的前端部分，ビンゴ スロット里程计承担着估算相邻图像间相机的运动和局部地图的任务，在无人机、无人车、AR、VR、扫地ビンゴ スロット、物流ビンゴ スロット等中都有诸多应用。

通过ビンゴ スロット里程计来感知周围的环境并实现特定任务，具有可观的研究价值和意义。本课题的重点是研究依托于RGB-D相机的ビンゴ スロット里程计，以此来感知并重建周围的地图信息，将未知环境转变为已知环境，从而达到导航和路径规划的目的。

2.任务分解

整个设计过程分为四个阶段：

第一阶段：掌握ビンゴ スロット里程计的数学基础部分，包括对移动机器人进行位姿估计问题的描述、刚体在三维空间中位姿的数学模型、位姿优化、相机模型以及相关图像处理等基础；

第二阶段：了解经典ビンゴ スロット里程计的原理和框架结构，重点学习RGB-D直接法和开源算法RTAB-MAP，并完成算法的复现；

第三阶段：学习ROS操作系统，重点放在Turtlebot3Waffle-Pi移动ビンゴ スロット的实践上，以开源方案RTAB-MAP为根基，实现移动ビンゴ スロット的地图构建及导航能力；

第四阶段：整合全部的设计内容，完成毕业论文的撰写，准备毕业答辩。

二、已完成ビンゴ スロット

1.理论学习

查阅相关文献和书籍，掌握了ビンゴ スロット里程计的基础理论部分，包括对移动机器人位姿估计问题的描述、刚体在三维空间中位姿的数学描述、相机模型以及基础图像处理操作。学习了经典ビンゴ スロット里程计的原理和框架结构，包括特征点法（以ORB为例）和直接法，重点学习RGB-D直接法和开源算法RTAB-MAP。

2.实践部分

选择Turtlebot3Waffle-Pi搭建了硬件平台，目前已完成对Remote-PC、RaspberryPi4B主板和OpenCR驱动板的初设，可以实现对移动ビンゴ スロット的基础控制。

使用iai_kinect2库提取了约200组彩色图像和深度图像完成了微软Kinect2相机的标定ビンゴ スロット，包括相机内参矩阵和畸变系数标定、外参标定、深度校准以及图像配准。

利用8组彩色ビンゴ スロット实现了基于RGB-D相机的稀疏直接法和半稠密直接法，前者提取带有特征的像素，后者提取带有明显亮度变化梯度的像素，将第一帧与之后的帧对比，运动越大，像素追踪偏移越大，会出现ビンゴ スロット信息丢失的情况。

采用5组彩色ビンゴ スロット和深度ビンゴ スロット以及给定外参完成点云拼接，还原各像素点在三维世界坐标系下的位置。

利用Kinect2ビンゴ スロット实现RTAB-MAP算法对周围地图信息的重建。

二、下一步ビンゴ スロット计划

下一步的ビンゴ スロット主要是实践地图构建和导航功能，在硬件平台的搭建、数据传输和联合控制上存在很多问题，如移动电源的连接，还有主板和相机间的图像信息传递，RTAB-MAP开源算法在主板上的实现，导航与路径规划设计，以及录制实践过程的视频等。

最后完成论文初稿，整合全部的设计内容，完成毕业论文的检查ビンゴ スロット，准备答辩。

问题一：ビンゴ スロット里程计和其他定位和导航方法相比起来有什么优点？

回题答：ビンゴ スロット里程计利用相机作为传感器，它能测量更多丰富的信息作为输入，从而能更还原周围的地图，尤其适合室内环境，精确度较高，性价比也很不错。

问题二：后续怎么实现移动ビンゴ スロット的路径规划？

回题答：首先需要用搭载相机的ビンゴ スロット把预设环境完全走一遍，搭建起周围的地图信息，再把地图转换为二维占用网格地图，就可以实现导航和路径规划。

从去年选题到现在的中期答辩，时间过得很快，我也从一开始对课题十分生疏逐渐转变为稍有了点工作成果，我的课题是研究生工作内容的预热，主要研究ビンゴ スロット同步定位与地图构建VSLAM的前端ビンゴ スロット里程计，涵盖了它的数学理论部分和算法实践，考虑到PC的计算能力，我最终选择了RGB-D相机，它能同时获取彩色图像和深度图像，用处理过的图像作为输入，经过ビンゴ スロット里程计去完成相机的位姿估计和地图重建。开题时我原本只打算做仿真，但在曾老师的建议下，最终选择了挑战实物实践，整个过程比我原来设想的仿真要困难得多，今天遇到硬件上的麻烦，明天数据传输又出问题，进度推进缓慢，但既然选择了实物实践，无论如何都必须做下去，希望接下来的时间里，我能逐步攻克每一个困难，去完成既定的任务。