原创 基于NXP iMX6 多路摄像头连接测试

2019-2-27 16:36 684 3 2 分类: MCU/ 嵌入式

作者:Toradex秦海

  1. 简介

  随着嵌入式处理器性能的提升,嵌入式设备在安全,机器视觉等方面的应用也越来越广发,本文就基于NXP iMX6 ARM处理器演示多种摄像头的连接应用,iMX6处理器支持多种摄像头接口连接,比如Parallel Camera Interface,MIPI/CSI-2 串行摄像头接口,USB接口,网络接口等。

  本文所演示的ARM平台来自于Toradex基于NXP iMX6Q ARM处理器的Apalis iMX6Q ARM嵌入式平台。

  2. 准备

  a). Apalis iMX6Q ARM核心版配合Ixora载板,连接调试串口UART1(载板X22)到开发主机方便调试,连接HDMI显示器用于摄像头输出显示。更多关于Apalis iMX6配合Ixora载板的说明请参考Datasheet和开发上手指南。

  b). 本文测试所使用的摄像头如下:

  ./ Toradex OV5640 MIPI/CSI-2 摄像头模块,连接到载板X28

  ./ 海康模拟摄像头,通过Toradex ACA模块连接到载板X14

  ./ FHD USB 摄像头,连接到载板X8 USB接口

  ./ 海康萤石 CS-C3C-1FR网络摄像头,通过网线连接到载板X11网口

  c). Apalis iMX6Q 安装Toradex 最新Linux BSP V2.8b5,系统中已经包含了本文测试所需要的Gstreamer相关组件,详细安装方法请参考这里。

  ./ 关于OV5640 摄像头Linux下配置使用说明请参考这里,本文不再赘述。

  ./ 关于通过ACA模块连接模拟摄像头的配置使用说明请参考这里,本文不再赘述。

  3. FHD USB摄像头测试

  a). 先单独进行FHD USB摄像头模块测试,所使用的Camera Sensor为Aptina MI5100 (注:已经被OnSemi收购,对应指标产品请到OnSemi网站搜索),连接到Apalis iMX6会自动配置UVC驱动,无需另行配置。

  b). 首先使用 V4L2命令查看摄像头支持的格式,如下所示,此摄像头可以支持MJPG格式和RAW格式输出,不过对于800x600以上的高分辨率输出,RAW模式只能以非常低的帧率输出,因此对于本文测试的1080P输出就要使用MJPG格式输出了。

  -----------------------

  root@apalis-imx6:~# v4l2-ctl --device=/dev/video3 --list-formats-ext

  ioctl: VIDIOC_ENUM_FMT

  Index       : 0

  Type        : Video Capture

  Pixel Format: 'MJPG' (compressed)

  Name        : Motion-JPEG

  Size: Discrete 1600x1200

  Interval: Discrete 0.067s (15.000 fps)

  Size: Discrete 2592x1944

  Interval: Discrete 0.067s (15.000 fps)

  Size: Discrete 2048x1536

  Interval: Discrete 0.067s (15.000 fps)

  Size: Discrete 1920x1080

  Interval: Discrete 0.033s (30.000 fps)

  Size: Discrete 1280x1024

  Interval: Discrete 0.067s (15.000 fps)

  Size: Discrete 1280x720

  Interval: Discrete 0.033s (30.000 fps)

  Size: Discrete 1024x768

  Interval: Discrete 0.033s (30.000 fps)

  Size: Discrete 800x600

  Interval: Discrete 0.033s (30.000 fps)

  Size: Discrete 640x480

  Interval: Discrete 0.033s (30.000 fps)

  Size: Discrete 1600x1200

  Interval: Discrete 0.067s (15.000 fps)

  Index: 1

  Type: Video Capture

  Pixel Format: 'YUYV'

  Name: YUYV 4:2:2

  Size: Discrete 1600x1200

  Interval: Discrete 0.200s (5.000 fps)

  Size: Discrete 2592x1944

  Interval: Discrete 0.333s (3.000 fps)

  Size: Discrete 2048x1536

  Interval: Discrete 0.250s (4.000 fps)

  Size: Discrete 1920x1080

  Interval: Discrete 0.200s (5.000 fps)

  Size: Discrete 1280x1024

  Interval: Discrete 0.111s (9.000 fps)

  Size: Discrete 1280x720

  Interval: Discrete 0.200s (5.000 fps)

  Size: Discrete 1024x768

  Interval: Discrete 0.100s (10.000 fps)

  Size: Discrete 800x600

  Interval: Discrete 0.050s (20.000 fps)

  Size: Discrete 640x480

  Interval: Discrete 0.033s (30.000 fps)

  Size: Discrete 1600x1200

  Interval: Discrete 0.200s (5.000 fps)

  -----------------------

  c). 测试基本的摄像头capture并全屏显示

  -----------------------

  // RAW 格式

  $ gst-launch-1.0 imxv4l2src device=/dev/video3 ! 'video/x-raw, framerate=5/1, width=(int)1920, height=(int)1080, format=(string)YUY2' ! imxv4l2sink

  CPU占用率:~40% x 1core of 4cores

  // MJPG 格式

  $ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dvideosink sync=false

  CPU占用率:~50% x 1core of 4cores

  -----------------------

  为了尽可能降低CPU的占用率,我们尽可能的使用iMX gstreamer专用的元件,可以调用VPU/GPU等硬件资源来加速,查询所有iMX相关原件可以通过下面命令

  $ gst-inspect-1.0 |grep imx

  d). 针对视频监控的场景往往需要在捕获的摄像头视频流上面打上时间戳,在播放的同时也保存成为文件,下面就测试这个应用场景。

  ./ 这里我们使用基于imx硬件加速的imxg2dclockoverlay 元件来实现打时间戳

  ./ 打时间戳后单独进行摄像头视频流播放操作

  -----------------------

  $ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxg2dvideosink sync=false

  CPU占用率:~49% x 1core of 4cores

  -----------------------

  ./ 打时间戳后单独进行摄像头视频流保存成文件操作

  -----------------------

  $ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4

  CPU占用率:~30% x 1core of 4cores

  -----------------------

  ./ 打时间戳后同时进行摄像头视频流保存成文件和播放操作

  -----------------------

  $ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform  ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! tee name=splitter ! queue ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4 splitter. ! queue ! imxg2dvideosink sync=false

  CPU占用率:~53% x 1core of 4cores

  -----------------------

  ./ 录制下来的 test.mp4文件可以通过下面pipeline进行回放

  -----------------------

  gst-launch-1.0 filesrc location=/home/root/test.mp4 typefind=true ! h264parse ! vpudec ! imxv4l2sink

  -----------------------

  4. 海康网络摄像头测试

  a). 首先通过海康萤石管理软件配置摄像头网络配置为固定IP - 10.20.1.99/255.255.255.0

  b). 然后将Apalis iMX6 eth0 网络配置为固定IP - 10.20.1.98/255.255.255.0,然后和摄像头确保能够ping通。

  c). 通过下面pipeline通过rtsp捕获摄像头适配流并播放,admin对应的password在每个摄像头标签上面有提供。

  -----------------------

  $ gst-launch-1.0 rtspsrc location=rtsp://admin:password@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink

  CPU占用率:~18% x 1core of 4cores

  -----------------------

  当然,也同样可以将捕获的视频流保存成本地文件,这里就不赘述了。

  5. 四路摄像头同时播放示例

  a). 基于上面两个章节的测试后,我们现在来进行四路摄像头同时播放显示测试,当然此时显示窗口就不能全屏了,而是要对应调整大小和位置。

  b). 首先测试在屏幕左上角显示Full HD USB摄像头输出

  -----------------------

  $ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480

  -----------------------

  c). 然后测试在屏幕左下角显示网络摄像头输出

  -----------------------

  $ gst-launch-1.0 rtspsrc location=rtsp://admin:XIYFYO@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink window-width=960 window-height=480 window-y-coord=480

  -----------------------

  d). 然后测试在屏幕右上角显示OV5640 MIPI/CSI-2摄像头输出

  -----------------------

  $ gst-launch-1.0 imxv4l2src device=/dev/video2 ! capsfilter caps="video/x-raw, width=1920, height=1080, framerate=30/1" ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480 window-x-coord=960

  -----------------------

  e). 然后测试在屏幕右下角显示模拟摄像头输出

  -----------------------

  $ gst-launch-1.0 -v imxv4l2videosrc ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink window-width=960 window-height=480 window-x-coord=960 window-y-coord=480

  -----------------------

  f). 最后测试上面四路摄像头同时输出

  本文用如下测试脚本进行测试,当然也可以将上面pipeline都在一个gst-launch里面运行,不过可能需要适当增加queue。

  -----------------------

  CPU占用率:~50% x 3core of 4cores

  -----------------------

  显示效果如下图,另外需要注意由于这个测试除了占用比较大的CPU资源,也大量使用了VPU,GPU等硬件资源,因此需要考虑对Apalis iMX6进行良好散热才能保证运行稳定。

1550542085594393.png

  6. 总结

  如上述示例,iMX6处理器已经可以支持丰富的摄像头资源,为了保证工作高效和稳定,在可能的情况下,尽量采用IMX专用的gstreamer元件。

作者: hai.qin_651820742, 来源:面包板社区

链接: https://mbb.eet-china.com/blog/uid-me-1864768.html

版权声明:本文为博主原创,未经本人允许,禁止转载!

广告

文章评论 0条评论)

登录后参与讨论
相关推荐阅读
hai.qin_651820742 2020-02-20 11:50
NXP iMX7双以太网配置
By Toradex秦海 1). 简介 NXP iMX7是NXP基于Cortex-A7和Coretex-M4异构多核架构的ARM处理器,其中iMX7 Dual型号SoC支持两路MAC控制...
hai.qin_651820742 2020-02-13 15:57
systemd定时器应用
By Toradex 胡珊逢1). 简介定时器任务在 Linux 系统中是一项很普遍的应用,例如定期清理文件,在嵌入式系统则可以定时调用任务采集数据等。Cron 是一个广为人知的定时计划任务管理器,但...
hai.qin_651820742 2020-01-06 12:11
NXP iMX8和iMX6 ARM处理器网络性能对比
By Toradex秦海 1). 简介 NXP iMX8已经正式发布,相较于之前NXP i.MX系列的主力产品iMX6,其性能有了大幅提升,本文就针对网络接口对NXP  iMX...
hai.qin_651820742 2019-11-12 12:28
NXP iMX8QM多核应用开发性能测试
By Toradex 胡珊逢1). 简介NXP发布的i.MX8处理器具有多种规格,最高配置的i.MX8QM具有双核Cortex-A72和四核Cortex-A53。这种大小核组合的处...
hai.qin_651820742 2019-10-21 11:05
嵌入式 ARM 平台使用Python和PyQT开发界面应用程序
By Toradex秦海1). 简介随着Python在互联网人工智能领域的流行,大家也慢慢感受到Python开发的便利,本文就基于嵌入式ARM平台,介绍使用Python配合PyQT5模块来开...
hai.qin_651820742 2019-10-18 15:16
基于NXP iMX8 进行安卓Android编译和开发
By Toradex 胡珊逢简介安卓 Android 因其丰富的生态环境,以及快捷的应用开发和分发,获得了广泛的市场关注。Toradex最新基于 NXP iMX...
广告
我要评论
0
3
广告
关闭 热点推荐上一条 /2 下一条