原创 基于ZYNQ的内窥镜方案 (OV6946/OV6948/OV9734/OH0TA10/OH02A1S等)

2021-6-6 23:38 4484 480 477 分类: FPGA/CPLD 文集: ZYNQ
作者:Hello,Panda

这一次,熊猫君分享一个内窥镜的技术实现方案。内窥镜的方案很多:主处理器有用专用ASIC的,比如日、台、韩的相机ASIC;有用专用CPU的,比如海思、瑞星微和君正等。熊猫君的这个是基于Xilinx ZYNQ的低成本方案。

纵观中低端的内窥镜用图像传感器,主要是以OV的为主,熊猫君接触和实现过的主要有OV6946+OV426OV6948+OV426OV9734OH02A1S(带近红外增强)、OH0TA10+普通ADC(这颗料据说是业界最小,400×400相素,封装尺寸只有550μm*550μm)、DH01A10等等,接口有模拟的、MIPILVDS;另外还有就是艾迈斯的NanEyeM320×320相素,接口用的是内嵌码的LVDS,需要高速时钟过采样才能接收,比较麻烦。对OVSensor而言,模拟输出通过ADC采样后一般可以转为LVDSDVP接口,MIPI输出的因为分辨率和帧率都较低,速率不会太高(lane速率<800Mbps),完全可以用ZYNQ加电阻网络来接收图像。

一、硬件方案

以下我们以OVDH01A10为例来叙述,DH01A10实际上算是OV6946的升级版本,同样是400×400相素的,区别是工艺更加先进:(1)近红外波段成像增强;(2)灵敏度高达3600mV/lux-secOV6946只有1000mV/lux-sec,整整是3.6倍);(3)封装尺寸只有550μm×550μm1/36”(业界最小,差不多是OV69461/4;4)输出接口驱动能力为4米,可用用OV426接收,也可用其它ADC方案来搭。因此,相较于OV6946而言,DH01A10近红外成像,成像质量更高,驱动能力更强,不再有竖条纹状非均匀性现象。那么,对于一般的手术用或检查用台式机,系统的硬件框图如下图1所示。

1 基于ZYNQ的医疗内窥镜硬件框图

如上图1所示,医疗手持式或台机对体积和功耗没有较高的要求,接口要求比较丰富一些,比如可以通过千兆网和USB接口导出录制的视频和拍摄的照片,可以通过网络配置机器的参数,有按键和触摸屏可以操控机器,有HDMI可以接入到通用显示器等等。一般的,拍照存储为JPEG格式,视频存储为mp4avi格式,存储在内部的大容量eMMC中。通常的,会将摄像头模组做成模块化可拆卸装置,作为一个耗材出现。

二、软件方案

在这个系统中,ZYNQ实现了软硬件协同处理,软件方案图如下图2所示。在PL上,主要实现了Sensor驱动(图像采集和寄存器配置等)、ISP处理、JPEG视频编码以及eDPLVDS屏的驱动。在PS上,上层框架基于QT,实现了产品UI、触摸屏、操控接口、视频的编解码、视频的录制、存储、预览和回放,照片的拍摄、保存和回看等功能,以及配置FPGA进行初始化、自动曝光和自动摆平和的配置工作。从器件性能上来说,ZYNQ-7000系列的ARM是双核Cortex-A9-2速度的也最多只能跑到766MHz,因此优化这个系统使视频录制和显示达到实时性的要求,所需要做的工作量很大,也需要linuxfpga层面协同做很多的处理,可谓是将芯片的性能运用到了极致。即使这样,arm端实现h.264编码也只能保证400*400/30fps的实时性,高于此规格的均由FPGA来进行Motion JPEG编码,最终封装为AVI视频保存。回放时解码相对简单,ARM运算即可满足要求。本系统最高支持1080P/30fps的流处理。在ISP上,系统还需针对医疗及sensor做一些特殊的处理,比如大多数的OV6946而言有竖条纹,此时要做非均匀性校正算法,此类senor的动态范围普遍偏低,还需要做一些对比度拉升或锐化处理使之看起来更加的锐利一些,有些还会有针对性进行调色处理等等。

2 基于ZYNQ的内窥镜软件方案

总体来说,中低端的内窥镜前端设备不会涉及到专业的医疗软件自动成像分析,主要还是检查和手术过程中现场人工查看和分析这些影像。即使有自动软件分析的需求,这些一般是通过接口传输影像数据到PC端后另行专业软件处理。

更为高端的腹腔镜之类,方案有用海思的,也有用ZYNQ UltraScale+ MPSoCCodec那款的,国外的头部的也有用高端FPGA+高端的自有ASIC芯片的,总之整个技术难度要上一个很大的台阶。

另外,现在甚为流行的胶囊内窥镜,则走的另外一条低功耗的路子,传感器性能不一定高,要求无线传输图像,帧率可能是1~2Hz,也可能是触发式的,但是有一个极低功耗的要求和一个很小体积的要求,一般要求能够工作(休眠)数个小时。目前市面现有的产品也有采用低功耗FPGAactel的)加MSP430单片机的方案(熊猫君拆过研究过一两款现有产品,也动过折腾一款的念头)。

三、其他

在当前的形势下,熊猫君这边的中低端内窥镜方案主要还是集中在基于ZYNQ-7010、瑞星微RV1126这两个平台上,也有海思和ZU4EV的,但是这俩一个是拿到芯片不容易,一个是太贵了,代价太高了,风险也太高了,其他的总是差点啥,不是这里性能不够,就是那里接口少了。总之,希望其他国产能够崛起,实现一个小目标:达到海思Hi3559的水平。

熊猫君这边有成熟的基于ZYNQ-7000RV1126的完整方案和整机,也欢迎感兴趣的朋友莅临现场指导。如果您需要,而我恰恰也有的话,我们或许就能愉快的合作一把呢。

今天的分享到这里就结束,欢迎大家加入熊猫君的QQ群或微信公众一起侃侃大山、吹吹水、讨论讨论技术问题,大家一起愉快的交个朋友吧,以下是QQ群和微信公众号的二维码,手机扫码即可添加。

作者: panda君, 来源:面包板社区

链接: https://mbb.eet-china.com/blog/uid-me-3403128.html

版权声明:本文为博主原创,未经本人允许,禁止转载!

给作者打赏,鼓励TA抓紧创作!

赞赏支持
点赞 480
赞赏0

文章评论3条评论)

登录后参与讨论

panda君 2022-9-30 13:57

原来的技术讨论企鹅群被封,新的群号:529717384

panda君 2022-1-23 19:55

海中舟_微纳: panda君您好,我们课题组正在做关于内窥镜的项目,请问OH02A1S在哪里能买到呢
非常感谢!
OV应该已经发布了最新的模组了

海中舟_微纳 2022-1-18 17:35

panda君您好,我们课题组正在做关于内窥镜的项目,请问OH02A1S在哪里能买到呢
非常感谢!
相关推荐阅读
panda君 2022-10-30 11:03
Lattice Crosslink-NX器件(LIFCL-40-7MG121I)用作视频输入桥接时支持的CMOS型号及可达性能汇总
作者:Hello,Panda大家早上好、中午好、晚上好。 熊猫君前几天回老家了,手上没得啥新素材码字,决定水一文,将Lattice Crosslink-NX系列器件中熊猫君前一阵子用得比较多的...
panda君 2022-10-16 21:26
关于Radiant软件下Crosslink-NX物理层IP核MIPI_DPHY无法产生正确的非连续时钟时序的BUG修复办法
作者:Hello,Panda 一、问题描述: (1)器件:Lattice Crosslink-NX LIFCL-40-7MG121I ; (2)软件:Radiant 3.1; ...
panda君 2022-10-12 16:21
易灵思Ti60 FPGA专题(1)-器件和需求介绍
作者:Hello,Panda各位朋友们,先生们,女士们,大家早上好,中午好,晚上好。熊猫君最近正在折腾HK的易灵思FPGA芯片做一个Camera,现在弄得差不多了,计划分享一期易灵思的专题,大概有6集...
panda君 2022-10-07 13:52
关于Xilinx ZYNQ Ultrascale+ MPSoC使用原生PS端DP接口实现Live模式输出的经验分享
作者:Hello,Panda今天熊猫君要分享的是如何使用Xilinx  ZYNQ Ultrascale+ MPSoC的PS端原生DP接口实现LIVE模式输出3860*2160,30Hz视频。...
panda君 2022-08-11 12:04
Crosslink-NX器件应用案例(2): MIPI的多源合成(MUX)与分发(DeMUX)
作者:Hello,Panda好久没有码文章了,今天讨论讨论MIPI多通道合成输出(MUX)和输入分发输出(DeMUX)的问题。这也是类似于Crosslink-NX此类器件的一个典型应用方向,通过增加传...
panda君 2022-06-19 22:54
Crosslink-NX器件应用案例(1):SLVS/LVDS/HiSPI/DVP转MIPI DPHY CSI
作者:Hello,Panda这篇文章主要分享Crosslink-NX器件用于传感器接口转换:主要是指将SLVS、LVDS、HiSpi、DVP等其它电平(格式)的接口转换为标准的MIPI D-PHY C...
我要评论
3
480
1
2
3
4
5
6
7
8
9
0
关闭 热点推荐上一条 /4 下一条