背景介绍：

Sugar 在一文中说过：“OpenMV 在图像里做目标识别的过程就是：不停地取出画面里的每一帧图像，在图像里的每一帧画面上找目标的过程。”

本篇就说一说 OpenMV 怎样在一帧画面上识别目标的。

image 模块

上一篇中说到 OpenMV 通过sensor.snapshot()从摄像头获取一帧图像，也就是一张当时的图片。得到这个图片后，就可以通过image模块里的方法处理图片了，原因是：

通过官方文档可知：sensor.snapshot()返回一个image类的对象。要使用image模块提供的方法，按 Python 的规矩就要：

import image

image可以在当前的图像帧上做各种各样的操作，下面先说一说要进行这些操作需要的基础知识。

像素坐标

OpenMV 的像素坐标系如下：

与其他(OpenCV 等)图像处理系统一样，像素坐标系的原点在图像的“左上角”，x、y 轴的正方向如上图。

image模块方法示例：打标记

一、 API 介绍

1、image.clear()清除图像帧上的所有像素点；

2、image.draw_rectangle(x, y, w, h)以 (x, y) 为起点，画宽 w 高 h 的方形。

二、代码及现象

通过这个示例，非常直观地感受到了image.clear()的作用：消除了整个图像帧的像素，把图像变黑了。如果我们想保留图片，在拍摄到的视频画面上画这个方块，那么应该这么写代码：

每获取一帧图像画一个方块，不用擦除之前画的方块，因为每次sensor.snapshot()的时候图像帧一更新就把上一次画的方块冲掉了（这里要细细体会一下搞明白哦）。

三、再说两个画画 API 接下来的例子用：

(1)image.draw_cross(x,y)以像素坐标 (x, y) 为中心画个十字。

(2)img.draw_circle(x, y, diameter)以像素坐标 (x, y) 为圆心，diameter 为直径画一个圆。

只要了解 Python 的基本知识，对 OpenMV 编程就非常简单，专注点在视觉及图像内容上而非 Python 语法上就对了。如果对 Python 语法还不熟悉的话可以看 Sugar 的 。这里要说明的一点是：就算 Python 语法非常简单，作为一种编程语言，学习其语法也会有一段枯燥的时间。这一点从 Sugar 写 的时候阅读量不大就能看得出来。Python 相对于其他语言来讲算是入门阶段相当短的了，只要熬过那么一小段时间，收获将是其乐无穷的。

image模块方法示例：找色块

一、API 介绍

1、image.find_blobs(Lab色彩空间下的阀值元组)用于寻找当前图像帧里的目标色块，官方 API 是这样写的：

2、sensor.set_auto_whitebal(False)关闭自动白平衡。

这是个sensor模块的设置，之所以放在这里说是因为这个设置与寻找色块相关，官方文档里是这么说的：

Sugar 对艺术略知一二并不精通，如果问“自动白平衡”是什么，还是下面这两位大佬解释得好：

艺术大佬一，来自知乎，请手动搜索下图中的标题：

艺术大佬二，直接点这个题目

Sugar 的做法是：官方文档让关咱就关了，不多问。哈哈，别学 Sugar 这样不求甚解啊，多了解是好的。

二、image.blob类介绍

上面的image.find_blobs()返回一个image.blob对象，下面就来看一下这个对象里都包含哪些信息。

信息	含意
corners	从左上角开始顺时针方向，色块 4 个角的 (x,y) 像素坐标
min_conrners	这个目前没搞明白先不解释
rect	以 (x,y,w,h) 形式返回色块的边界框信息
x	色块边界框的 x 像素坐标
y	色块边界框的 y 像素坐标
w	色块边界框宽的像素个数
h	色块边界框高的像素个数
pixels	色块里包含的像素点个数
cx	色块中心的 x 像素坐标（整型）
cxf	色块中心的 x 像素坐标（浮点型）
cy	色块中心的 y 像素坐标（整型）
cyf	色块中心的 y 像素坐标（浮点型）
rotation	长条形色块的旋转角度，0~PI 弧度，对圆形色块无用
rotation_deg	以“度”为单位返回长条形色块的旋转角度
rotation_rad	同 rotation，加了 rad 更易识别单位
code	merge=True时才有效，这个目前没搞明白先不解释
count	merge=True时才有效，这个目前没搞明白先不解释
perimeter	色块周长上的像素个数
roundness	色块的圆度，0~1之间，圆是1
elongation	色块的线条度，0~1之间，线是1
area	色块的面积，即：w*h
density	色块边框区域内像素点的数量，0~1之间，较低说明对象锁定不太好
extent	同 density，就是换个名字而已
compactness	类似 density，区别是使用色块周长来衡量对象的密度，也是0~1之间
solidity	类似 density，区别是使用最小面积旋转的矩形相对于边界矩形来测量密度，也是0~1之间
convexity	色块的方度，0~1之间，正方形是1
x_hist_bins	色块中所有列的 x 轴直方图，Bin 值在 0 和 1 之间缩放
y_hist_bins	色块中所有行的 y 轴直方图，Bin 值在 0 和 1 之间缩放
major_axis_line	色块主轴像素点的元组，贯穿最小面积矩形最长边，可以用image.draw_line()绘制
minor_axis_line	色块次轴像素点的元组，贯穿最小面积矩形最短边，可以用image.draw_line()绘制
enclosing_circle	包围色块最小面积矩形的圆的像素点元组，可以用image.draw_circle()绘制
enclosed_ellipse	包围色块最小面积矩形的椭圆的像素点元组，可以用image.draw_ellipse()绘制

三、代码及现象

图上的代码不长，一张图片看得全就不把代码单摘出来了，相信愿意实践的读者可以照着打出来。这里点一处考察 Python 能力的地方：如果去掉代码里if len(blobs) > 0:这个条件，则运行会在某个时候报错。问题有三个：

1、会在什么时候报错？

2、报什么错，为什么报这个错？

3、可否用if blobs:代替if len(blobs) > 0:？

如果答不上来或答不全，请到 Sugar 写的 里巩固一下 Python 基础。

PS

颜色阀值的提取使用的是 OpenMV IDE 的一个工具，如下图：

用法不细说了，网上搜一搜或者用鼠标在弹出窗口上拉一拉就知道。