随着经济的发展与科技的进步，人们越来越多地将自动化技术应用到生产与生活中，与此同时，也对自动化技术提出了更高的要求。近十年来，工业机器人的普及使得机器人自动化得到了更广泛的应用和关注。很多机器人系统已经集成了视觉系统，利用机器视觉技术实现检测、识别、定位等功能，为后续的机器人运动提供必要的信息。

在许多自动化应用场合中，如自动化分拣、装配、拆垛、码垛、上料等过程中，工业机器人经常被用来进行抓取作业。要完成抓取操作，机器人系统可能需要完成目标感知、运动规划、抓取规划等一系列任务。视觉系统在机器人抓取作业中的作用就是识别、定位目标物体，为机器人提供目标物体的类型与位姿信息。其中，位姿估计的精度关系到抓取的成功率与精度，是非常重要的技术参数。

3D视觉技术作为新兴的技术领域还存在很多亟待解决的问题，但2D视觉已不能满足空间抓取的应用要求。
1.与2D视觉相比，3D视觉技术的优点有：

（1）3D视觉可以提供目标物体6DOF的位姿数据，而2D视觉仅能提供平面内3DOF的位姿数据；

（2）3D视觉能给出目标物体的深度信息或物体表面的点云信息。
但与此同时，3D视觉技术在机器人抓取应用中仍然面临许多挑战：

（1）点云空洞：用3D相机捕捉反光、透明、网状物体表面的点云信息，经常会出现数据的丢失，丢失的点云数据形成了点云空洞；

（2）点云粘连：多个物体杂乱堆放或者两个物体表面靠近摆放时，不同物体表面的点云会粘连在一起，这就涉及到如何稳定、准确地进行点云分割；

（3）点云密度不一致：物体表面与3D相机之间的相对位姿、物体表面的颜色均会影响点云的密度，使得目标场景的点云密度不一致，这在一定程度上给点云处理算法带来了困难；

（4）视野局限：有限的相机视角、遮挡和阴影效果，都会阻碍3D相机获得抓取目标的表面全貌，进而阻碍对抓取目标的识别；

（5）速度：3D视觉的原理要求其处理的数据量较大。3D相机的分辨率越高，所采集的点云质量越好，越能表征物体表面更细微的几何特征，但相应地带来的数据量就越大。为了适应实际应用需要，如何提高3D相机获取目标场景点云的速度、点云处理算法的速度仍是需要研究的课题。

此外，相机传感器的噪声，点云分割噪声，光照条件的变化，物体的颜色等诸多因素都是3D视觉技术所面临的问题。
2.抓取作业机器人3D视觉系统的设计

2.1 3D相机的选择

选择3D相机时需要考虑相机与目标场景之间的距离以及目标场景的尺寸。目标场景最好位于相机的中间视场附近，不超出近视场和远视场的边界，即目标场景的高度不超出测量范围。

3D相机的成像精度需要满足应用场景的抓取精度要求。通常，工作距离越大，3D相机的视场越大，但成像的精度越低。此外，相机的分辨率、点云的获取速度也是评价3D成像系统的重要指标。其中，相机的分辨率决定了点云数据量的大小及其对物体细节的表征程度，关系到点云处理算法的设计。点云的获取时间加上点云处理算法的执行时间必须满足抓取应用的节拍要求。

此外，相机的性价比、系统的可靠性也是选择相机时需要考量的因素。

2.2光源、遮光板的选择

为了避免外界环境光对视觉系统的影响、保证视觉系统的稳定性，有时需要外加光源和遮光板。外加的光源不能影响3D相机成像。

2.3视觉系统对机械设计的要求

当相机固定安装时，机器人需要手持标定板做手眼标定。为了方便进行手眼标定，可设计专门的Tool抓持标定板，留出足够的空间以保证标定板在手眼标定过程中不会与机器人发生干涉。相机固定安装的优点是，对Tool位姿进行变更后，无需再做机器人手眼标定。

当机器人手持相机拍照时，一般要求抓取作业Tool（夹具、吸盘）不遮挡相机的视野。
3.3D表面成像技术

3D表面成像/重构/测量技术，可用于测量物体表面上点的（x，y，z）坐标，测量结果可表示为深度图{zij=（xi，yj），i=1，2，…，L，j=1，2，…，M}。除了测量三维坐标，3D表面成像系统也可输出物体表面空间点的其他光学特征值，如反射率、颜色等。这时的点云测量结果可一般表示为{Pi=（xi，yi，zi，fj），i=1，2，…，N}，其中，fi为一向量，代表第i个点的光学特征值。如常见的RGB-D（红绿蓝-深度）测量数据可表示为{Pi=（xi，yi，zi，ri，gi，bi），i=1，2，…，N}。

目前，常见的3D表面成像技术有：双目立体视觉（binocularstereovision），多目立体视觉（multi-viewstereovision），线结构光三角测量（lasertriangulationwithsheetoflight），编码结构光三角测量（encodedstructuredlight），飞行时间深度测量（timeofflight），聚焦深度测量（depthfromfocus），光度立体视觉（photometricstereovision）。

Returns List