根据颜色检查图片中的产品是否合格
受朋友之托,做了一个小软件。只是一个练手,现将思路重现。
需求模拟一工厂在生产瓶盖,机器是自动为盖子上色。在上色后,要检查瓶盖是否上色正常。
把9个瓶盖成宫形排列,并依次编号。
要求软件,给定一个其准的瓶盖图片,再给一张9个瓶盖的排列图片,判断在图片是有哪几个编号的瓶盖是没有正常上色的。
?
基准图片

?
生产图片
?

?
在软件中输入这两张图片后能显示第2和5号瓶盖有错误。
?
最终效果
?

?
?
OK,好,开始解决。
?
分析?
- 判断标准
从所给的图片分析,虽然我们人眼能一眼就看出瓶盖的大小形状和颜色,但机器并不知道。我们要确定一个判断的标准。因为从所给的图片来看,如果判断形状那太麻烦,而且我们可以看出,不同瓶盖之间的颜色差距是非常大的,那么通过颜色来判断就会容易的多。但对于颜色,我们又要再深入考虑。我们的第一反应,如果使用颜色来比较的话那就使用RGB来判断(后面会以另一种方案来实现),但颜色的组成中的值非常的敏感,同种颜色在不同光线中,甚至于同一张照片在不同的时间其RGB颜色都会有很大的差距。不过,这是一个方向,先定下,以颜色来判断,颜色不以一个点,而是以一个区域中的GRB不同颜色的范围值。
操作步骤
选择基准图片
缩放图片到固定尺寸(并显示在界面中)
从基准图片中分析出颜色范围
选择检查图片
缩放图片到固定尺寸(并显示在界面中)
把检查图片分割成9份
循环判断9份的小图片的颜色是否与基准颜色相同
输出不合格的编号(在界面中显示)
分析基准图片
从图片中可以看出,并不是一张纯色的图片,根据实际情况,我们将选择图片中的内切矩形中的点来综合判断,为快速测试,先用取色器取出RGB颜色,大约B在170以上,R在60以下,G在120左右(后面会发现这种判断真是惨不忍睹)。
分析判断切割后的小图片
切割后的图片中的瓶盖位置应该和基准图中的位置差不多,除非是图片拍歪了。要判断是否相同,也是只取圆中的内切矩形的一切颜色来判断。要考虑容错,就像图片中的第4和7号中间被曝光的太严重,在这两个瓶盖中肯定会有大量的白色。把容错值考虑为0.8,也就是在这个矩形中只要有80%的颜色在合格范围内就算合格。(我想当然了,后面的测试证明容错即使是0.4都很吃力)
如果按以上的判断方法也可判断出来,但结果就是准确率很低,要求所拍的照片不能有曝光,颜色要正等等。在网上搜索了些信息,得到了另一个有用的信息。那就是HSB,对于RGB来说,颜色变一点点其值就变化的很大,但对于HSB来说,同一颜色的色相度非常的稳定,误差也不会超过0.1,在换成HSB判断后,准确率非常的高,判断时不必再用内切矩形,而是整个小图片,这时的容错值可达到70%以上,就是说在包含了小图片中后面的桌子背景的错误颜色后,它都还能有70%的点是判断正确,实在是很不错。下面就以HSB的判断为准来显示代码。
?
?
?
开始编程先不用界面,基准图的颜色用取色器取出RGB,再换算成HSB,对应的色相度在0.5到0.6。
先创建一个类起名为Pic,把main方法中的结构做出来,测试两张不同的3*3瓶盖图片
?
public static void main(String[] args) throws Exception { String path1 = Pic.class.getClassLoader().getResource("resource/1.jpg").getFile(); String path2 = Pic.class.getClassLoader().getResource("resource/2.jpg").getFile(); System.out.println(new File(path1).getParent()); System.out.println("测试" + path1); new Pic().testPic(path1); System.out.println(); System.out.println("测试" + path2); new Pic().testPic(path2); }?
?
再来实现testPIc方法,这个方法里我们来分成几步,读取图片,缩放图片,切割图片,判断不合格图片,显示结果
?
public void testPic(String imgPath) throws IOException { BufferedImage read = ImageIO.read(new File(imgPath)); BufferedImage fixPic = fixPic(read, 350, 350); List<BufferedImage> list = getPicList(fixPic); List<Integer> indexList = getErrorPicIndex(list, 0.5f, 0.6f); if (indexList.isEmpty()) { System.out.println("测试结果:没有错误"); } else { System.out.print("测试结果:编号"); String index = ""; for (int i = 0; i < indexList.size(); i++) { index += indexList.get(i) + ","; } index.substring(0, index.length() - 1); System.out.println(index + "错误"); } }?
?
实现缩放图片代码,这里在调用的方法里传过来宽度和高度,定的是350*350,
public BufferedImage fixPic(BufferedImage img, int height, int width) { Image scaledInstance = img.getScaledInstance(width, height, Image.SCALE_DEFAULT); BufferedImage newimg = new BufferedImage(width, height, BufferedImage.TYPE_INT_RGB); Graphics graphics = newimg.getGraphics(); graphics.drawImage(scaledInstance, 0, 0, null); graphics.dispose(); return newimg; }?
实现切割图片方法,把图片切成3*3的9个图片集合
public List<BufferedImage> getPicList(BufferedImage img) { int row = 3, col = 3; List<BufferedImage> list = new ArrayList(); int height = img.getHeight(); int width = img.getWidth(); int drow = height / row; int dcol = width / col; for (int i = 0; i < row; i++) { int y = i * drow; for (int j = 0; j < col; j++) { int x = j * dcol; BufferedImage newimg = new BufferedImage(width / 3, height / 3, BufferedImage.TYPE_INT_RGB); Graphics graphics = newimg.getGraphics(); graphics.drawImage(img, 0, 0, newimg.getWidth(), newimg.getHeight(), x, y, x + dcol, y + drow, null); graphics.dispose(); list.add(newimg); } } return list; }?
实现取出不合格图片方法,注意,这里要传两个HSB的H值,也就是我们在上面判断的0.5到0.6在方法体中循环对每个图片进行合格判断
public List<Integer> getErrorPicIndex(List<BufferedImage> list, float min, float max) { ArrayList indexlist = new ArrayList(); for (int i = 0; i < list.size(); i++) { if (!isPass(list.get(i), min, max)) { indexlist.add(i + 1); } } return indexlist; }?
实现对图片合格的判断方法,注意,这里的判断是对图片中的每一个点颜色都进行判断,包含了桌面的背景颜色,所有不可能是100%合格,所以这里fex取的是50%合格率,但在测试时发现,合格率可以高达70%以上,所以也可以设置到0.7。
private boolean isPass(BufferedImage img, float min, float max) { int width = img.getWidth(); int height = img.getHeight(); int xbegin = 0; int xend = width; int ybginx = 0; int yend = height; int totleNo = 0, errorNo = 0; for (int i = xbegin; i < xend; i++) { for (int j = ybginx; j < yend; j++) { Color color = new Color(img.getRGB(i, j)); float[] hsb = Color.RGBtoHSB(color.getRed(), color.getGreen(), color.getBlue(), null); if (hsb[0] >= min && hsb[0] <= max) { } else { errorNo++; } totleNo++; } } double fex = ((totleNo - errorNo + 0.0) / totleNo); if (fex > 0.5) { return true; } else { return false; } }?
好,核心的代码已经完成了。但如果对于界面来说还要一个取基准图片的色相范围的方法。
实现取基准图色相值范围,这里有个思路,怎么来取值。我这么来判断,色相都有一个很小的区间,且变化值不大,值为float类型,基本上都是在小数点后1到2位跳到。那么我把基准图上的所有点的色相值取小数点后1位的整数形,保存到相应下标的数组中,代表的也就是那个色相的小区间(因为是小数点后1位的值),那么再有一个点也是这个区间的,我就把这个数组下标对存的值自增加1。最后就能得到在不同区间中色相的存在分布,因为基准图中大部分都是蓝色,所以取分布值最大的那个数组下标,也就是蓝色所在的色相区间。误差不超过0.1
public float[] getHSBhmn(BufferedImage newImage) { int width = newImage.getWidth(); int height = newImage.getHeight(); int xbegin = 0; int xend = width; int ybegin = 0; int yend = height; float max = 0, maxindex = 0; int[] ints = new int[10]; for (int i = xbegin; i < xend; i++) { for (int j = ybegin; j < yend; j++) { Color color = new Color(newImage.getRGB(i, j)); float[] hsb = Color.RGBtoHSB(color.getRed(), color.getGreen(), color.getBlue(), null); ints[(int) (hsb[0] * 10)] = ints[(int) (hsb[0] * 10)] + 1; } } for (int i = 0; i < 10; i++) { if (ints[i] > max) { maxindex = i + 1; max = ints[i]; } } return new float[]{(maxindex - 1) * 0.1f, maxindex * 0.1f}; }?
?
好了,核心代码全部完成。测试,OK。
?
再就是做界面了,这没什么好写的。用netbeans拖拖画画,简单的就搞定,再加上这个Pic类中的方法代码,一个小软件成型了。