在过去几年里,我做过的最有趣的项目之一是一个关于图像处理的项目。目标是开发一种能够识别可口可乐“罐”的系统(请注意,我强调的是“罐”这个词,你会在一分钟内看到原因)。您可以看到下面的一个示例,其中可以在绿色矩形中识别,带有缩放和旋转。

项目的一些限制:

背景可能非常嘈杂。罐可以有任何刻度或旋转,甚至可以有方向(在合理的范围内)。图像可能具有一定程度的模糊性(轮廓可能不完全笔直)。图像中可能有可口可乐瓶子,算法应该只检测到罐子!图像的亮度可能会有很大的变化(所以你不能“太依赖”颜色检测)。罐子可以部分隐藏在侧面或中间,也可能部分隐藏在瓶子后面。图像中可能根本就没有罐头,在这种情况下,你必须什么都找不到,然后写一条消息这样说。

所以你可能会遇到这样棘手的事情(在这种情况下,我的算法完全失败了):

我不久前做过这个项目,做得很开心,我有一个不错的实现。以下是关于我的实现的一些细节:

语言:使用OpenCV库在C++中完成。

预处理:对于图像预处理,即将图像转换为更原始的形式以提供给算法,我使用了两种方法:

将颜色域从RGB更改为HSV,并基于“红色”色调进行过滤,饱和度高于一定阈值以避免类似橙色的颜色,低值过滤以避免暗色调。最终的结果是一个黑白二值图像,其中所有的白色像素都将表示符合此阈值的像素。显然,图像中仍然有很多垃圾,但这减少了您必须处理的维度的数量。使用中值滤波(取所有邻居的中值像素值并用该值替换像素)进行噪声滤波,以减少噪声。使用Canny边缘检测滤波器在两个前一步骤后获得所有项目的轮廓。

算法:我为这项任务选择的算法本身取自这本关于特征提取的很棒的书,称为广义霍夫变换(与常规霍夫变换截然不同)。它基本上说了几件事:

你可以在不知道其解析方程的情况下描述空间中的物体(这里就是这种情况)。它可以抵抗图像变形,例如缩放和旋转,因为它基本上会测试图像的缩放因子和旋转因子的每一种组合。它使用算法将“学习”的基础模型(模板)。轮廓图像中剩余的每个像素将根据从模型中获得的信息,投票给另一个像素,该像素可能是对象的中心(按重力计算)。

最后,你会得到一张选票的热图,例如,在这里,罐子轮廓的所有像素都会投票给它的引力中心,所以你会在与中心相对应的同一个像素中获得很多选票,并且会在热图中看到一个峰值,如下所示:

一旦你做到了这一点,一个简单的基于阈值的启发式方法可以为你提供中心像素的位置,你可以从中导出缩放和旋转,然后围绕它绘制你的小矩形(最终的缩放和旋转因子显然是相对于你的原始模板的)。至少在理论上。。。

结果:现在,虽然这种方法在基本案例中有效,但在某些领域严重缺乏:

它非常慢!我没有充分强调这一点。几乎需要整整一天的时间来处理30张测试图像,显然是因为我的旋转和平移比例非常高,因为有些罐子非常小。当瓶子出现在图像中时,它完全丢失了,出于某种原因,几乎总是找到瓶子而不是罐子(可能是因为瓶子更大,因此像素更多,因此投票更多)模糊图像也不好,因为投票结果以像素形式出现在中心周围的随机位置,从而以非常嘈杂的热图结束。在平移和旋转方面实现了差异,但在方向上没有,这意味着没有直接面对摄像机目标的罐子无法被识别。

你能帮我改进我的特定算法吗,专门使用OpenCV特性,来解决上面提到的四个特定问题吗?

我希望有些人也能从中学到一些东西,毕竟我认为不仅仅是提问的人应该学习


当前回答

深度学习

收集至少几百张包含可乐罐的图像,将其周围的边界框标注为阳性类,包括可乐瓶和其他可乐产品,将其标记为阴性类以及随机对象。

除非您收集了一个非常大的数据集,否则请对小数据集使用深度学习功能。理想情况下,使用支持向量机(SVM)与深度神经网络的组合。

一旦您将图像输入到先前训练的深度学习模型(例如GoogleNet),而不是使用神经网络的决策(最终)层来进行分类,则使用先前层的数据作为特征来训练分类器。

OpenCV和Google Net:http://docs.opencv.org/trunk/d5/de7/tutorial_dnn_googlenet.html

OpenCV和SVM:http://docs.opencv.org/2.4/doc/tutorials/ml/introduction_to_svm/introduction_to_svm.html

其他回答

我回答这个问题晚了几年。在过去的5年里,CNN将最先进的技术推向了极限,我现在不会使用OpenCV来完成这项任务了!(我知道你在这个问题中特别想要OpenCv功能)我觉得与OpenCv功能相比,更快的RCNN、YOLO、SSD等对象检测算法将以显著的优势解决这个问题。如果我现在(6年后)解决这个问题,我肯定会使用更快的RCNN。

有一堆颜色描述符用于识别物体,下面的论文对其中的很多进行了比较。当与SIFT或SURF结合时,它们特别强大。仅SURF或SIFT在可口可乐罐图像中不太有用,因为它们不能识别很多兴趣点,您需要颜色信息来帮助。我在一个项目中使用了带有SURF的BIC(边界/内部像素分类),它非常适合识别物体。

Web图像检索中颜色描述符的比较研究

即使是人类也很难在第二张图片中区分瓶子和罐子(前提是瓶子的透明区域是隐藏的)吗?

除了一个很小的区域外,它们几乎是一样的(也就是说,罐子顶部的宽度有点小,而瓶子的包装纸整个宽度相同,但有一个小变化,对吗?)

我想到的第一件事是检查瓶子的红色顶部。但是,如果瓶子没有顶部,或者瓶子部分隐藏(如上所述),这仍然是一个问题。

我想到的第二件事是关于瓶子的透明度。OpenCV在查找图像中的透明对象方面有一些工作。检查以下链接。

OpenCV会议记录2012-03-19OpenCV会议记录2012-02-28

特别是看看这个,看看他们如何准确地检测玻璃:

OpenCV会议记录2012-04-24

查看其实施结果:

他们说这是K.McHenry和J.Ponce在CVPR 2006年发表的论文《寻找玻璃的大地测量活动轮廓框架》的实施。

这可能会对你的情况有所帮助,但如果瓶子装满了,问题就会再次出现。

所以我认为在这里,你可以先搜索瓶子的透明主体,或者搜索一个红色区域,该区域与两个透明物体横向连接,这显然就是瓶子。(理想情况下,图像如下。)

现在,您可以删除黄色区域,即瓶子的标签,并运行您的算法来查找罐子。

无论如何,这个解决方案和其他解决方案一样也有不同的问题。

只有当你的瓶子是空的时候,它才起作用。在这种情况下,您必须搜索两种黑色之间的红色区域(如果可口可乐液体是黑色的)。如果透明部分被覆盖,则另一个问题。

但无论如何,如果图片中没有上述问题,这似乎是一个更好的方法。

如果您对它的实时性感兴趣,那么您需要添加一个预处理过滤器,以确定哪些内容会被重负荷扫描。一个很好的快速、非常实时的预处理过滤器,它可以让你扫描更可能是可口可乐罐的东西,然后再移动到更棘手的东西上,它是这样的:在图像中搜索与可口可乐罐sqrt(pow(红色,2)+pow(蓝色,2)+pow(绿色,2))有一定公差的最大色块。从非常严格的颜色容差开始,然后逐步降低到更宽松的颜色容差。然后,当您的机器人在处理当前帧的分配时间内用完时,它会将当前找到的瓶子用于您的目的。请注意,您必须调整sqrt中的RGB颜色(pow(红色,2)+pow(蓝色,2)+pow(绿色,2)),以使其恰到好处。

此外,这看起来真的很愚蠢,但在编译C代码时,是否确保启用了-oFast编译器优化?

MVTec有一个名为HALCON的计算机视觉软件包,它的演示可以为您提供好的算法想法。有很多与您的问题类似的示例,您可以在演示模式下运行,然后查看代码中的运算符,看看如何从现有的OpenCV运算符实现它们。

我已经使用这个软件包为类似这样的问题快速原型化复杂的算法,然后找到如何使用现有的OpenCV特性实现它们。特别是对于您的情况,您可以尝试在OpenCV中实现嵌入在运算符find_scaled_shape_model中的功能。一些运营商指出,这篇关于算法实现的科学论文有助于找出如何在OpenCV中做类似的事情。