原创 【雕爷学编程】MicroPython动手做(07)——零基础学MaixPy之机器视觉

2020-5-20 13:00 287 14 14 分类: MCU/ 嵌入式 文集: 雕爷学编程


机器视觉 machine vision
机器视觉是人工智能正在快速发展的一个分支。机器视觉作为生产过程中关键技术之一,在机器或者生产线上,机器视觉可以检测产品质量以便将不合格的产品剔除,或者指导机器人完成组装工作,与整个生产密切相关。

什么是机器视觉?
简单来说,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。机器视觉是一项综合技术,包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。


#MicroPython动手做(07)——零基础学MaixPy之机器视觉
#实验程序之一:affine 仿射变换(实时缩放)

  1. #MicroPython动手做(07)——零基础学MaixPy之机器视觉
  2. #实验程序之一:affine 仿射变换(实时缩放)
  3. import image
  4. import lcd, sensor
  5. import time
  6. lcd.init()
  7. # lcd.init(type=2, freq=20000000)
  8. sensor.reset(freq=24000000)
  9. sensor.set_pixformat(sensor.RGB565)
  10. sensor.set_framesize(sensor.QVGA)
  11. matrix = image.get_affine_transform([(0,0), (240, 0), (240, 240)], [(60,60), (240, 0), (220, 200)])
  12. print("matrix:")
  13. print("[{:.02f}, {:.02f}, {:.02f}]".format(matrix[0], matrix[1], matrix[2]))
  14. print("[{:.02f}, {:.02f}, {:.02f}]".format(matrix[3], matrix[4], matrix[5]))
  15. print("[{:.02f}, {:.02f}, {:.02f}]".format(matrix[6], matrix[7], matrix[8]))
  16. try:
  17. del img
  18. del img2
  19. except Exception:
  20. pass
  21. img2 = image.Image(size=(320, 240))
  22. img2.pix_to_ai()
  23. flag = False
  24. while 1:
  25. img = sensor.snapshot()
  26. image.warp_affine_ai(img, img2, matrix)
  27. img2.ai_to_pix()
  28. if flag:
  29. lcd.display(img2)
  30. else:
  31. lcd.display(img)
  32. flag = not flag
  33. time.sleep_ms(500)


串口输出
>>> init i2c2
[MAIXPY]: find gc3028
True
matrix:
[1.34, -0.12, -62.37]
[0.12, 1.34, -56.84]
[0.00, 0.00, 1.00]



变换模型
是指根据待匹配图像与背景图像之间几何畸变的情况,所选择的能最佳拟合两幅图像之间变化的几何变换模型。可采用的变换模型有如下几种:刚性变换、仿射变换、透视变换和非线形变换等,其中第三个的仿射变换就是这里要探讨的。

仿射变换
拉伸、收缩、扭曲、旋转是图像的几何变换,在三维视觉技术中大量应用到这些变换,又分为仿射变换和透视变换。仿射变换可以将矩形转换成平行四边形,它可以将矩形的边压扁但必须保持边是平行的,也可以将矩形旋转或者按比例变化。透视变换提供了更大的灵活性,一个透视变换可以将矩阵转变成梯形。当然,平行四边形也是梯形,所以仿射变换是透视变换的子集。


image — 机器视觉

移植于 openmv, 与 openmv 功能相同

get_affine_transform()函数


计算3个二维点对之间的仿射变换矩阵H(2行x3列),自由度为6。仿射变换的原理就是根据源图像中一个三角形的顶点坐标和应用仿射变换之后的目标图像中一个三角形的顶点坐标计算出一个变换矩阵,然后将这个矩阵应用到整个源图像。

  1. matrix = image.get_affine_transform([(0,0), (240, 0), (240, 240)], [(60,60), (240, 0), (220, 200)])

前面三组为输入源图像中的三角形顶点坐标

后面三组为输出目标图像中的三角形顶点坐标


举例说明

输入源图像中的三角形顶点坐标 ([[20, 20], [30, 20], [20, 0]])

输出目标图像中的三角形顶点坐标 ([[20, 20], [30, 20], [25, 0]])

红色是原图中的三角形,绿色是应用仿射变换之后的目标图像的三角形,根据这个设置应用仿射变换之后图像应该像左边扭曲,有了这两个三角形的顶点坐标,get_affine_transform()函数就能计算得到一个仿射变换矩阵,并在原图应用仿射变换就得到了扭曲之后的图像(绿色的)。


尝试变动目标图像的三个顶点,看看有什么变化

  1. matrix = image.get_affine_transform([(0,0), (240, 0), (240, 240)], [(60,60), (240, 0), (220, 200)])
  2. matrix = image.get_affine_transform([(0,0), (240, 0), (240, 240)], [(40,80), (100, 60), (220, 180)])


  1. #MicroPython动手做(07)——零基础学MaixPy之机器视觉
  2. #实验程序之一:affine 仿射变换(实时缩放)之二
  3. import image
  4. import lcd, sensor
  5. import time
  6. lcd.init()
  7. # lcd.init(type=2, freq=20000000)
  8. sensor.reset(freq=24000000)
  9. sensor.set_pixformat(sensor.RGB565)
  10. sensor.set_framesize(sensor.QVGA)
  11. matrix = image.get_affine_transform([(0,0), (240, 0), (240, 240)], [(40,80), (100, 60), (220, 180)])
  12. print("matrix:")
  13. print("[{:.02f}, {:.02f}, {:.02f}]".format(matrix[0], matrix[1], matrix[2]))
  14. print("[{:.02f}, {:.02f}, {:.02f}]".format(matrix[3], matrix[4], matrix[5]))
  15. print("[{:.02f}, {:.02f}, {:.02f}]".format(matrix[6], matrix[7], matrix[8]))
  16. try:
  17. del img
  18. del img2
  19. except Exception:
  20. pass
  21. img2 = image.Image(size=(320, 240))
  22. img2.pix_to_ai()
  23. flag = False
  24. while 1:
  25. img = sensor.snapshot()
  26. image.warp_affine_ai(img, img2, matrix)
  27. img2.ai_to_pix()
  28. if flag:
  29. lcd.display(img2)
  30. else:
  31. lcd.display(img)
  32. flag = not flag
  33. time.sleep_ms(300)



点1, 2 和 3 (在图一中形成一个三角形) 与图二中三个点一一映射, 仍然形成三角形, 但形状已经大大改变. 如果我们能通过这样两组三点求出仿射变换 (你能选择自己喜欢的点), 接下来我们就能把仿射变换应用到图像中所有的点。


#MicroPython动手做(07)——零基础学MaixPy之机器视觉
#实验程序之二:image deal 图像处理(深色浮雕)


  1. #MicroPython动手做(07)——零基础学MaixPy之机器视觉
  2. #实验程序之二:image deal 图像处理(深色浮雕)
  3. import sensor
  4. import image
  5. import lcd
  6. import time
  7. lcd.init(freq=15000000)
  8. sensor.reset()
  9. sensor.set_pixformat(sensor.RGB565)
  10. sensor.set_framesize(sensor.QVGA)
  11. sensor.run(1)
  12. origin = (0,0,0, 0,1,0, 0,0,0)
  13. edge = (-1,-1,-1,-1,8,-1,-1,-1,-1)
  14. sharp = (-1,-1,-1,-1,9,-1,-1,-1,-1)
  15. relievo = (2,0,0,0,-1,0,0,0,-1)
  16. tim = time.time()
  17. while True:
  18. img=sensor.snapshot()
  19. img.conv3(edge)
  20. lcd.display(img)
  21. if time.time() -tim >10:
  22. break
  23. tim = time.time()
  24. while True:
  25. img=sensor.snapshot()
  26. img.conv3(sharp)
  27. lcd.display(img)
  28. if time.time() -tim >10:
  29. break
  30. tim = time.time()
  31. while True:
  32. img=sensor.snapshot()
  33. img.conv3(relievo)
  34. lcd.display(img)
  35. if time.time() -tim >10:
  36. break
  37. lcd.clear()


image deal 图像处理
读取图片(或者实时动态摄像),对像素点任意操作并生成图片,如对像素点进行ARGB的分解,或者将ARGB恢复成像素值,对每个像素点进行修改转换等等。
(Read the image, any operation on the pixels to generate the picture. If the pixel of ARGB decomposition or ARGB back into pixel values, modify the conversion, and so each pixel.)


作者: 雕爷学编程, 来源:面包板社区

链接: https://mbb.eet-china.com/blog/uid-me-3894459.html

版权声明:本文为博主原创,未经本人允许,禁止转载!

文章评论0条评论)

登录后参与讨论
相关推荐阅读
雕爷学编程 2020-07-03 14:51
【雕爷学编程】Arduino动手做(67)---BMP180气压传感器
37款传感器与执行器的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为...
雕爷学编程 2020-06-17 13:14
【雕爷学编程】Arduino动手做(66)---SR501热释电红外模块
37款传感器与执行器的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为...
雕爷学编程 2020-06-07 19:06
【雕爷学编程】Arduino动手做(65)---红外寻迹传感器
37款传感器与执行器的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为...
雕爷学编程 2020-06-07 16:40
【雕爷学编程】MicroPython动手做(08)——零基础学MaixPy之识别颜色
早上用百度搜了一下“颜色识别”,多少有了一点大致的概念,还是老办法,动手做,多实验,往前走,还请各位老师多多指点。OpenCV(百度百科)是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行...
雕爷学编程 2020-05-11 10:19
【雕爷学编程】MicroPython动手做(06)——零基础学MaixPy之单目摄像头
配套 OV2640摄像头:200W像素通用24P摄像头具有200万像素(1632x1232像素),其体积小、工作电压低,提供单片UXGA摄像和影像处理器的所有功能。通过SCCB总线控制,可以输出整帧、...
广告
我要评论
0
14
广告
关闭 热点推荐上一条 /5 下一条