1.一种基于图像和点云数据的路面障碍物检测方法，其特征为，包括如下步骤：（1）获

　　取路面物体图像数据；（2）利用SFM方法重建三维数据，对数据特征点进行提取和匹配，然后

　　对不同图像的特征点进行匹配；对本质矩阵做分解，得到旋转矩阵R和平移矩阵T，通过三角

　　测量，BA光束法平差优化处理后得到稀疏点云数据；（3）在稀疏点云数据的基础上增量式增

　　加点云数据，使用相邻相机图像匹配，在获得第i张和第i+1张图像的相对位置数据后，由递

　　推关系推导出第i张相对于第1张的位置关系，从而获得第i+1张和第1张的位置关系，然后

　　将其加入到稀疏点云数据中，重复操作多次即可获得物体的稠密点云数据；（4）利用三维卷

　　积神经网络对物体特征进行表示学习，获得物体的特征表示；（5）将得到的物体特征表示经

　　过非线性函数变化，将其投影到目标空间中，获得相应类别的概率，识别是否为障碍物。

　　2.如权利要求1所述的基于图像和点云数据的路面障碍物检测方法，其特征在于：步骤

　　（1）中，使用摄像设备多视角拍摄图像，包括正常使用的路面以及非正常路面，根据图像内

　　容进行类别标注，分为障碍物和非障碍物两类，其中非正常路面包括路面有坑洼、石头及井

　　3.如权利要求1所述的基于图像和点云数据的路面障碍物检测方法，其特征在于：步骤

　　（2）中，使用SIFT特征点提取算法获得特征点，然后对不同图像获得的特征点进行匹配，先

　　即旋转矩阵R和平移矩阵T，从而计算出相应的投影矩阵P，在调用triangulatePoints函数

　　4.如权利要求1所述的基于图像和点云数据的路面障碍物检测方法，其特征在于：步骤

　　（5）中，经过卷积神经网络，模型获得物体高层次表示，对该高层次表示进行非线性处理，并

　　将其投影到目标空间中，获得相应类别的概率，实现最终区分障碍物和非障碍物的分类任

　　近年来，随着人工智能技术的发展，出现了智慧城市，智慧交通等方面的应用。尤

　　其在智慧交通方面，产生了大量的工业应用，目前已投入使用的包括智慧公交，智慧停车，

　　高速无感收费，智能红绿灯等。除此之外，在智慧交通方面的研究热点还包括无人驾驶，机

　　器人驾驶等方向。然而由于实际中，路况非常复杂，阻碍智慧驾驶研究投入生产应用的因素

　　较多，使得研究进程受到了牵制，其中路面障碍物就是因素之一。因此，实现智能检测路面

　　像机拍摄的图像存在的主要问题是拍摄的图像为二维数据，而路障检测中更关心目标的三

　　维空间信息。因此基于二维图像的研究方法中，对障碍物的识别能力较差，性能鲁棒性低；

　　除此之外，也有利用结构光视觉传感器检测障碍物的研究，但该方法受设备的局限性较大，

　　（2）利用SFM方法重建三维数据，对数据特征点进行提取和匹配，然后对不同图像

　　的特征点进行匹配；通过对极几何的原理，计算得到本质矩阵，对本质矩阵做分解，得到旋

　　转矩阵R和平移矩阵T，通过三角测量，BA光束法平差优化处理后得到稀疏点云数据；

　　（3）在稀疏点云数据的基础上增量式增加点云数据，使用相邻相机图像匹配，在获

　　得第i张和第i+1张图像的相对位置数据后，由递推关系推导出第i张相对于第1张的位置关

　　系，从而获得第i+1张和第1张的位置关系，然后将其加入到稀疏点云数据中，重复操作多次

　　（5）将得到的物体特征表示经过非线性函数变化，将其投影到目标空间中，获得相

　　点，然后对具有三维结构信息的特征表示进行学习，预测该物体是否属于障碍物。

　　首先介绍点云数据，点云数据可以分为两大类，一类是稀疏点云，另一类是稠密点

　　云，两类数据的相同点是都具备物体的三维坐标信息，不同点在于稀疏点云数据中点与点

　　之间的距离较大，稠密点云中点与点之间的距离较小。这样稀疏点云数据就会出现无法准

　　确描述物体三维信息的问题，尤其在小物体上，而稠密点云数据直接获取的成本较高，不利

　　于获取大规模数据。为此，本发明的第一项工作即为基于多视角图像重建稀疏点云数据；第

　　二项工作即基于稀疏点云重建获得稠密点云数据。在获取稠密点云数据之后，建模三维语

　　义信息，最后本发明采用三维卷积神经网络对三维语义信息进行表示学习，并对获得的特

　　进一步优选的，步骤（1）中，使用摄像设备多视角拍摄图像，包括正常使用的路面，

　　即路上无障碍物、无破损，以及非正常路面，根据图像内容进行类别标注，分为障碍物和非

　　进一步优选的，步骤（2）中，利用struct  from  motion（SFM）方法重建三维数据。其

　　原理是通过相机的移动来确定目标物体的空间和几何关系。其优点是，由于其输入数据只

　　需要是普通的RGB图像即可，因此该方法具有成本低廉的优点，此外该方法受约束少，可以

　　特征点的提取与匹配，使用SIFT特征点提取算法获得特征点，然后对不同图像获

　　得的特征点进行匹配，先将特征点转成一个n维向量的描述子，利用距离度量公示进行匹

　　共面的几何意义给出了由像素坐标推算出两个相机间旋转和平移矩阵的方法，从而获得本

　　质矩阵（Essential  Matrix），本质矩阵包含了平移向量和旋转矩阵；

　　对本质矩阵做分解，使用recoverPose函数恢复获得相机外参，即旋转矩阵R和平

　　通过三角测量，计算出相应的投影矩阵P，在调用triangulatePoints函数计算出

　　重建稠密点云数据：通过上一步骤重建了物体的稀疏点云数据，但正如之前所述，

　　稀疏点云数据的特点是点与点之间的距离较大，因此很难清楚地构建出完整的物体结构，

　　为此必须进一步重建稠密点云数据。而要想重建稠密点云数据，应当具有一张目标物体准

　　确的深度图，即每个像素点表示的是深度信息而不是颜色信息。获取深度图的方法很多，但

　　而本发明基于的原始数据是普通的RGB图像，为此本发明采用多视角多图重建点

　　云的方式来获得相对稠密的点云信息。即在第一次获得稀疏点云数据的基础上增量式添加

　　球速体育平台

　　都以初始图像为基准进行添加。但由于构建稠密点云用到的视角较多，不可避免会发生某

　　视角下无法以初始图像作为参照的情况。为此，本发明采用第二种方式，即以相邻相机图像

　　匹配，如上所述获得第i+1张和第1张的位置关系，将其加入到点云数据中，重复上述操作多

　　物体特征表示学习：经过上述步骤，本发明获得了物体的三维信息数据，接下来采

　　分类：本发明将目标物体分为两类，即知区分物体是否为障碍物，而不进行具体物

　　进一步优选的，步骤（5）中，经过卷积神经网络，模型获得物体高层次表示，对该高

　　层次表示进行非线性处理，并将其投影到目标空间中，目标空间为2，第一维表示非障碍物，

　　第二维表示障碍物，经过softmax函数，获得在目标空间上的相应类别的概率，实现最终区

　　图像进行三维重建，获得了目标物体的三维信息数据，这样可以尽可能的还原物体在实际

　　场景下的大小、结构、外观等信息，弥补了二维图像只有平面信息的缺点，可以更加真实的

　　此外，本发明基于普通RGB图像进行三维重建，这样的好处包括：获取原始数据方

　　便，由于只需要普通RGB图像，不需要利用专用设备进行拍摄，这就极大地便利了数据的获

　　取，从而降低了研究所需的人工和设备成本；同时使得数据受局限性降低，减轻了环境拍摄

　　应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另

　　有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常

　　如图1所示，本发明实施例中的基于图像和点云数据进行路面障碍物检测方法，包

　　物，无破损，以及非正常路面，包括路面有坑洼，石头，井盖破损等常见路障。根据图像内容

　　本发明基于SFM方法重建三维数据，第一步对数据进行特征点提取和匹配，本发明

　　采用SIFT特征提取算法获得图像特征点，利用openCV库，可以为实验提供方便的接口，获得

　　图像特征点；然后对不同图像的特征点进行匹配。先将特征点转成一个n维向量的描述子，

　　利用距离度量公式，如求解欧式距离等方法进行匹配。  然后利用findEssentialMat函数计

　　算获得本质矩阵，紧接着使用recoverPose函数恢复获得相机外参，即旋转矩阵R和平移矩

　　球速体育平台

　　阵T。根据旋转矩阵R 和平移矩阵T计算出相应的投影矩阵P（P=K [R  T]），再调用

　　triangulatePoints函数计算出空间点，然后就可以获取匹配点的坐标等信息。从而获得稀

　　该步骤是在S2的基础上增量式添加点云数据，其方法使用相邻相机图像匹配，在

　　获得第i张和第i+1张图像的相对位置数据后，由递推关系可以推导出第i张相对于第1张的

　　位置关系，从而也就获得了第i+1和第1张的位置关系，然后将其加入到原始点云数据中。

　　可能还原物体的三维结构信息，因为不同体积的障碍物造成的影响是不同的，所以若能为

　　用户提供障碍物的三维信息，则更有利于辅助用户进行判断。其三维信息由S2‑S3构建获

　　得，但经过S2‑S3，无法判断物体是否属于障碍物，为此在本模块需要对获得的特征信息进

　　行表示学习，获取其高层表示，从而用于下一步的预测任务。其具体过程为将物体的长宽高

　　经过卷积神经网络，模型获得了物体高层次表示，对该表示进行非线性处理，并将

　　其投影到目标空间中，然后经过softmax激活函数获得相应类别的概率值，概率值大的对应

　　本发明为简化问题，只存在两个类别，即非障碍物和障碍物，所以目标空间大小为

　　2。经过该模块，模型可以获得物体对应的类别，若属于障碍物类，则可以将其反馈给用户，

　　术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修