技术文章
机器人视觉的九大挑战
日期：2018-11-14
来源：三姆森科技
机器人视觉解决方案是我们实现机器人视野的几大挑战。即便变得越来越简单易用，还是有一些棘手的问题。很多因素影响机器人在环境中的视觉，任务设置和工作场所。这里有9个总结出来的机器人视觉挑战：
照明
如果有过在低光照下拍摄数码照片的经验，就会知道照明至关重要。糟糕的照明会毁掉一切。成像传感器不像人眼那样适应性强或敏感。如果照明类型错误，视觉传感器将无法可靠地检测到物体。
有各种克服照明挑战的方法。一种方法是将有源照明结合到视觉传感器本身中。其他解决方案包括使用红外照明，环境中的固定照明或使用其他形式的光的技术，例如激光。
变形或铰接
球是用计算机视觉设置来检测的简单对象。你可能只是检测它的圆形轮廓，也许使用模板匹配算法。但是，如果球被压扁，它会改变形状，同样的方法将不再起作用。这是变形。它会导致一些机器人视觉技术相当大的问题。
铰接类似，是指由可移动关节引起的变形。例如，当您在肘部弯曲手臂时，手臂的形状会发生变化。各个链接（骨骼）保持相同的形状，但轮廓变形。由于许多视觉算法使用形状轮廓，因此清晰度使得物体识别更加困难。
职位和方向
机器人视觉系统最常见的功能是检测已知物体的位置和方向。因此，大多数集成视觉解决方案通常都克服了这两者面临的挑战。
只要整个物体可以在摄像机图像内被查看，检测物体的位置通常是直截了当的。许多系统对于对象方向的变化也是强健的。但是，并不是所有的方向都是平等的。虽然检测沿一个轴旋转的物体是足够简单的，但是检测物体何时3D旋转则更为复杂。
背景
图像的背景对物体检测的容易程度有很大的影响。想象一个极端的例子，对象被放置在一张纸上，在该纸上打印同一对象的图像。在这种情况下，机器人视觉设置可能不可能确定哪个是真实的物体。
完美的背景是空白的，并提供与检测到的物体良好的对比。它的确切属性将取决于正在使用的视觉检测算法。如果使用边缘检测器，那么背景不应该包含清晰的线条。背景的颜色和亮度也应该与物体的颜色和亮度不同。
闭塞
遮挡意味着物体的一部分被遮住了。在前面的四个挑战中，整个对象出现在相机图像中。遮挡是不同的，因为部分对象丢失。视觉系统显然不能检测到图像中不存在的东西。
有各种各样的东西可能会导致遮挡，包括：其他物体，机器人的部分或相机的不良位置。克服遮挡的方法通常涉及将对象的可见部分与其已知模型进行匹配，并假定对象的隐藏部分存在。
比例
在某些情况下，人眼很容易被尺度上的差异所欺骗。机器人视觉系统也可能被他们弄糊涂了。想象一下，你有两个完全相同的物体，只是一个比另一个大。想象一下，您正在使用固定的2D视觉设置，物体的大小决定了它与机器人的距离。如果您训练系统识别较小的物体，则会错误地检测到两个物体是相同的，并且较大的物体更接近相机。
尺度的另一个问题，也许不那么明显，就是像素值的问题。如果将机器人相机放置得很远，则图像中的对象将由较少的像素表示。当有更多的像素代表对象时，图像处理算法会更好地工作，但有一些例外。
照相机放置
不正确的相机位置可能会导致以前出现过的任何问题，所以重要的是要正确使用它。尝试将照相机放置在光线充足的区域，以便在没有变形的情况下尽可能清楚地看到物体，尽可能靠近物体而不会造成遮挡。照相机和观看表面之间不应有干扰的背景或其他物体。
运动
移动有时会导致计算机视觉设置出现问题，特别是在图像中出现模糊时。例如，这可能发生在快速移动的传送带上的物体上。数字成像传感器在短时间内捕获图像，但不会瞬间捕获整个图像。如果一个物体在捕捉过程中移动太快，将导致图像模糊。我们的眼睛可能不会注意到视频中的模糊，但算法会。当有清晰的静态图像时，机器人视觉效果最佳。
期望
与视觉算法的技术方面相比，最后的挑战更多地涉及到您的视觉设置方法。机器人视野面临的最大挑战之一就是工作人员对于视觉系统能提供什么不切实际的期望。通过确保期望符合技术的能力，您将从技术中获得最大收益。您可以通过确保员工接受关于视觉系统的教育来实现这一点。
如果有过在低光照下拍摄数码照片的经验，就会知道照明至关重要。糟糕的照明会毁掉一切。成像传感器不像人眼那样适应性强或敏感。如果照明类型错误，视觉传感器将无法可靠地检测到物体。
有各种克服照明挑战的方法。一种方法是将有源照明结合到视觉传感器本身中。其他解决方案包括使用红外照明，环境中的固定照明或使用其他形式的光的技术，例如激光。
变形或铰接
球是用计算机视觉设置来检测的简单对象。你可能只是检测它的圆形轮廓，也许使用模板匹配算法。但是，如果球被压扁，它会改变形状，同样的方法将不再起作用。这是变形。它会导致一些机器人视觉技术相当大的问题。
铰接类似，是指由可移动关节引起的变形。例如，当您在肘部弯曲手臂时，手臂的形状会发生变化。各个链接（骨骼）保持相同的形状，但轮廓变形。由于许多视觉算法使用形状轮廓，因此清晰度使得物体识别更加困难。
职位和方向
机器人视觉系统最常见的功能是检测已知物体的位置和方向。因此，大多数集成视觉解决方案通常都克服了这两者面临的挑战。
只要整个物体可以在摄像机图像内被查看，检测物体的位置通常是直截了当的。许多系统对于对象方向的变化也是强健的。但是，并不是所有的方向都是平等的。虽然检测沿一个轴旋转的物体是足够简单的，但是检测物体何时3D旋转则更为复杂。
背景
图像的背景对物体检测的容易程度有很大的影响。想象一个极端的例子，对象被放置在一张纸上，在该纸上打印同一对象的图像。在这种情况下，机器人视觉设置可能不可能确定哪个是真实的物体。
完美的背景是空白的，并提供与检测到的物体良好的对比。它的确切属性将取决于正在使用的视觉检测算法。如果使用边缘检测器，那么背景不应该包含清晰的线条。背景的颜色和亮度也应该与物体的颜色和亮度不同。
闭塞
遮挡意味着物体的一部分被遮住了。在前面的四个挑战中，整个对象出现在相机图像中。遮挡是不同的，因为部分对象丢失。视觉系统显然不能检测到图像中不存在的东西。
有各种各样的东西可能会导致遮挡，包括：其他物体，机器人的部分或相机的不良位置。克服遮挡的方法通常涉及将对象的可见部分与其已知模型进行匹配，并假定对象的隐藏部分存在。
比例
在某些情况下，人眼很容易被尺度上的差异所欺骗。机器人视觉系统也可能被他们弄糊涂了。想象一下，你有两个完全相同的物体，只是一个比另一个大。想象一下，您正在使用固定的2D视觉设置，物体的大小决定了它与机器人的距离。如果您训练系统识别较小的物体，则会错误地检测到两个物体是相同的，并且较大的物体更接近相机。
尺度的另一个问题，也许不那么明显，就是像素值的问题。如果将机器人相机放置得很远，则图像中的对象将由较少的像素表示。当有更多的像素代表对象时，图像处理算法会更好地工作，但有一些例外。
照相机放置
不正确的相机位置可能会导致以前出现过的任何问题，所以重要的是要正确使用它。尝试将照相机放置在光线充足的区域，以便在没有变形的情况下尽可能清楚地看到物体，尽可能靠近物体而不会造成遮挡。照相机和观看表面之间不应有干扰的背景或其他物体。
运动
移动有时会导致计算机视觉设置出现问题，特别是在图像中出现模糊时。例如，这可能发生在快速移动的传送带上的物体上。数字成像传感器在短时间内捕获图像，但不会瞬间捕获整个图像。如果一个物体在捕捉过程中移动太快，将导致图像模糊。我们的眼睛可能不会注意到视频中的模糊，但算法会。当有清晰的静态图像时，机器人视觉效果最佳。
期望
与视觉算法的技术方面相比，最后的挑战更多地涉及到您的视觉设置方法。机器人视野面临的最大挑战之一就是工作人员对于视觉系统能提供什么不切实际的期望。通过确保期望符合技术的能力，您将从技术中获得最大收益。您可以通过确保员工接受关于视觉系统的教育来实现这一点。
