学生姓名：向朝晖

班班级级：机械2018-02班

指导教师：单奇

毕设题目：《小A机器人多传感器融合遊雅堂 キャンペーンコード系统设计》

一、概况

1.选题意义

近几年，随着科学技术的进步，尤其是计算机技术、传感器技术、人工智能、 神经网络、信号处理等技术的发展，移动遊雅堂 キャンペーンコード的研究逐渐向实用化、高效化、智能化的方向发展，并逐渐被应用在工业、农业、交通、医疗和服务等各个行业领域。移动遊雅堂 キャンペーンコード要想实现避障 、SLAM和路径规划等功能，遊雅堂 キャンペーンコード是必须解决的基本问题。它不仅是机器人能够顺利完成各项任务最基本的要求，同时也是移动机器人实现自主智能的一个关键技术。

传统的移动机器人通常配备单一传感器，然而，仅使用单一传感器遊雅堂 キャンペーンコード的方法面临越来越多的挑战。因为其性能有限，无法满足移动机器人的环境感知，在一定程度上阻碍了移动机器人和环境的交互。例如里程计法，具有良好的短期精度和较高的采样速率，但无法避免时间漂移的问题，任何小的常量误差会在长时间遊雅堂 キャンペーンコード过程中不断累积，形成累积误差。而单一的视觉遊雅堂 キャンペーンコード法虽然累计误差小，遊雅堂 キャンペーンコード准确度高，但是图像处理计算量很大。由此可见，现有的室内遊雅堂 キャンペーンコード方案仍具有诸多不足，所以移动机器人在室内环境下的遊雅堂 キャンペーンコード问题得到了广泛重视。

本项目以西南交通大学机械工程学院的智能移动遊雅堂 キャンペーンコード小A为实施平台，针对三轮全向移动机器人在室内环境下的自主遊雅堂 キャンペーンコード问题，提出一种融合视觉相机和编码器的信息来进行环境监测，并获取位置信息的遊雅堂 キャンペーンコード系统设计。将Kinect DK相机、编码器同时安装在移动机器人上，平时采用编码器遊雅堂 キャンペーンコード来获得机器人的位置姿态信息，定时采用视觉测距来修正位姿，消除累积误差现象。

与传统的、采用单一传感器遊雅堂 キャンペーンコード的方法相比，该套设计通过对不同传感器信息的优化组合，一方面能够充分发挥里程计法短时间内遊雅堂 キャンペーンコード精度高的优点，保证了其在实际运行中具有较为精准的遊雅堂 キャンペーンコード数据。另一方面，又能利用视觉传感器补偿其长期遊雅堂 キャンペーンコード的累积误差，使得不同传感器信息在时间和空间上得到合理配置和充分使用，实现更加稳定可靠的实时遊雅堂 キャンペーンコード，这对于移动机器人的控制具有十分重要的意义。

2.任务分解

（1）文献综述，制定方案（2周）

完成对相关文献的阅读，资料的查找。了解基于视觉传感器和基于编码器的移动机器人遊雅堂 キャンペーンコード方法并确定多传感器融合方案。

（2）系统总体遊雅堂 キャンペーンコード（1周）

了解现有小A遊雅堂 キャンペーンコード的结构，设计系统的整体框架，选择合适的编程语言和环境。

（3）电机编码器遊雅堂 キャンペーンコード（3周）

获取编码器数据，通过位姿转换矩阵，来计算得到遊雅堂 キャンペーンコード的位姿信息；

（4）基于YOLOV3神经网络的目标识别训练（3周）

自制数据集，用YOLOV3对样本进行训练，获得权重文件，使其能够实现有效识别视觉标记点，并控制遊雅堂 キャンペーンコード搜寻目标点。

（5）基于TOF相机的视觉遊雅堂 キャンペーンコード（3周）

掌握TOF相机中Kinect DK相机的测距原理，学习基于Kinect DK相机的视觉目标识别和遊雅堂 キャンペーンコード方法。编写小A机器人的视觉遊雅堂 キャンペーンコード程序。

（6）实验调试（3周）

编写程序，补充通讯模块，使相机获得的位置信息能够与编码器对接，来更新编码器遊雅堂 キャンペーンコード数据。将程序输入到小A遊雅堂 キャンペーンコード平台，在实地进行实验，测试性能，对程序加以完善。

（7）撰写毕业论文（2周）

对实验效果进行分析总结和整理，并撰写毕业遊雅堂 キャンペーンコード论文，准备结题答辩。

二、已完成遊雅堂 キャンペーンコード

2.1 文献阅读方面完成部分

完成了对相关文献的阅读和资料的查找，了解了移动机器人关于视觉遊雅堂 キャンペーンコード和编码器遊雅堂 キャンペーンコード的原理和应用，以及翻译了此领域的英文文献。

2.2 系统总体遊雅堂 キャンペーンコード完成部分

移动遊雅堂 キャンペーンコード平台已组装完毕：小A遊雅堂 キャンペーンコード使用3个均匀分布夹角为120°的全向轮来实现平面内的全向移动，三个全向轮同时接触地面，如图1所示。为了保证全向底盘能够由足够的驱动性，在底盘上配备了三个独立的电机，电机为直流减速电机并带有编码器。通过联轴器与全向轮连接，呈三角形分布，如图2所示。

图1整体结构图2底盘电机分布

码盘架上固定了遊雅堂 キャンペーンコード和全向轮，全向轮的主转动轴与遊雅堂 キャンペーンコード转轴连接，固定支架上固定有三个码盘架，三个码盘架上的三个遊雅堂 キャンペーンコード转轴轴线所在竖直平面之间的夹角均为120°，三个全向轮同时接触运动地面；采用三码盘全场遊雅堂 キャンペーンコード系统，当移动机器人运动时，三个全向轮被动旋转，能够准确获取机器人运动全方位移动数据，从而减小角度漂移而导致遊雅堂 キャンペーンコード不准的影响，通过三个码盘坐标的更新公式获取待遊雅堂 キャンペーンコード机器人在三个自由度的变化情况，实现相对遊雅堂 キャンペーンコード，提高机器人在不同场地条件的状态下遊雅堂 キャンペーンコード系统的精度，保证其在实际运行中对突发事件或地况均具有较为精准的遊雅堂 キャンペーンコード数据。

2.3 基于YOLOV3神经网络的目标识别训练部分

（1）环境配置

操作系统：windows10;

依赖: Visual Stadio2019、 CUDA10.2、cudnn、Opencv3.4.0；

编译darknet源码。

（2）制作数据集

(i). 通过摄像头采集200张以上不同环境下的彩色小球，并按顺序命名整理。

(ii).下载labelImg对所采集到的数据遊雅堂 キャンペーンコード分类标记，我按照颜色的不同分为了red、yel(yellow)、gre(green)三类，获得txt文件和xml文件。

(iii). 生成目录结构，将不同类型的文件遊雅堂 キャンペーンコード整理，并根据实际情况修改一些.py文件的参数，将文件转化为YOLOV3所需要的格式，正式生成数据集。

（3）训练与测试

准备好训练数据与训练模型后，编译好的darknet.exe遊雅堂 キャンペーンコード训练了。经过20个小时，训练到2200个批次左右时，avg loss值不再下降，如图3，于是停止了训练。

图3loss值图

对训练好的权重文件遊雅堂 キャンペーンコード测试，图4为测试效果，可以看出，识别准确性很高。

图4 测试效果

三、下一步遊雅堂 キャンペーンコード计划

（1）掌握Kinect DK深度相机的测距原理。制定实验计划：控制相机转动，搜索识别出三个小球，分别测出小A机器人到小球的距离。采用三边遊雅堂 キャンペーンコード的方法对机器人实现自遊雅堂 キャンペーンコード。对视觉遊雅堂 キャンペーンコード与机器人实际位置进行对比，来测试遊雅堂 キャンペーンコード的精确度，分析遊雅堂 キャンペーンコード性能。

（2）测量云台与底盘、相机与底盘位置的偏移量，确遊雅堂 キャンペーンコード姿转换矩阵。在使用视觉相机搜寻到小球并且成功遊雅堂 キャンペーンコード后，运用位姿转换矩阵将编码器数据和底盘位置及角度进行转换。计算出位姿。

（3） 补充通讯模块，使相机获得的位置信息能够与遊雅堂 キャンペーンコード对接来更新数据。

（4）对遊雅堂 キャンペーンコード中所用到的方法加以总结，将论文内容进一步整理和完善，撰写好毕业论文。

问题一：彩色小球在视觉遊雅堂 キャンペーンコード中起到什么作用，是否可以用其他物体代替？

回答：彩色小球是作为遊雅堂 キャンペーンコード点的，小球的坐标是已知的，采用三边遊雅堂 キャンペーンコード法，通过测量移动机器人位置P分别到三个遊雅堂 キャンペーンコード点的距离，获得可以确定P点的坐标，实现对机器人准确的自遊雅堂 キャンペーンコード。小球可以由任意物体代替，它只是作为一个遊雅堂 キャンペーンコード基准。

问题二：如果要实现移动机器人的遊雅堂 キャンペーンコード，是否有想出其他方案，它们有什么优缺点？

回答：遊雅堂 キャンペーンコード也可采用纯惯性导航遊雅堂 キャンペーンコード，给定移动机器人初始位姿，用三个轮子的转动推导出底盘机器人坐标系的运动方程来作为系统的状态方程，用IMU测量的x、y和偏航角速度为测量值，通过卡尔曼滤波来融合，虽然遊雅堂 キャンペーンコード精度高，但随着时间的推移会产生累计误差；此外，也可配置已知位置的信标，通过机器人上的传感器与信标建立联系从而获取机器人绝对位置信息，但无法获得移动机器人可靠的偏航角。本想将编码器、陀螺仪和Kinect DK相机三类传感器进行融合，但考虑到工作量较大，因此选择了平时采用编码器遊雅堂 キャンペーンコード，定时用视觉遊雅堂 キャンペーンコード消除累计误差的融合办法。

问题三：如果没有外部参照物，未知空间下如何实现遊雅堂 キャンペーンコード？

回答：本设计是针对室内已知环境为背景所进行的遊雅堂 キャンペーンコード设计，目前无法实现室外遊雅堂 キャンペーンコード。未来有机会希望能够在更深的研究阶段可对该设计进一步拓展，探究室外遊雅堂 キャンペーンコード的可能性。

问题四：为什么选择编码器而不是陀螺仪遊雅堂 キャンペーンコード。

回答：陀螺仪安装在相机上，无法直接获得底盘的姿态，需要进行矩阵转换，编码器遊雅堂 キャンペーンコード的方法相对更加容易。如果有足够精力和时间，会考虑将陀螺仪遊雅堂 キャンペーンコード也加入进来，使得遊雅堂 キャンペーンコード更加精准。

学贵得师，师也者,犹行路之有导也。能够顺利按照进度完成毕业遊雅堂 キャンペーンコード中期的内容，要非常感谢我的指导老师单奇，他学识渊博，态度严谨，营造了良好而学术氛围。从论文选题开始，老师就非常尊重我的意见，不断地与我沟通，与我共同分析与探讨参考文献中各种方法的利弊，最终确定了遊雅堂 キャンペーンコード内容的大纲。毕业遊雅堂 キャンペーンコード的进行过程中，老师也本着认真负责的态度，不管是线上还是线下，都会耐心的回答我的问题，给予专业上的悉心指导和无私帮助，使我的遊雅堂 キャンペーンコード内容不断完善，对自己的任务也更加清晰。饮其流时思其源，成吾学时念其师。再一次对老师致以最衷心的感谢感恩。

此外，在进行毕业遊雅堂 キャンペーンコード的这段时间里，培养了我脚踏实地，实事求是的学习态度。毕业遊雅堂 キャンペーンコード并非一件易事，期间也会遇到许多的困难，例如在环境配置时总是出现问题，我开始有点浮躁，但还是及时的调节心态。尝试了卸载重装，认真检查每一条路径，以及在网络论坛寻求解答。最终能够成功的对目标物进行识别时，我觉得很有成就感，正是这种成就感，提高了我的能力，也给了我不断试错的勇气。

虽然解决了毕业遊雅堂 キャンペーンコード中视觉识别这个主要难点，但还有很多工作例如视觉测距、位姿转换等问题有待完善和解决，中期答辩上老师的提问也让我对自己的遊雅堂 キャンペーンコード内容有了更多的思考。在后续时间段，我会根据所制定的计划，脚踏实地去完成我的毕业遊雅堂 キャンペーンコード的剩余内容，不辜负老师对我的谆谆教导，也给自己的本科生涯交上一幅满意的答卷。