标签: 内窥镜

作者：Hello，Panda 这一次，熊猫君分享一个内窥镜的技术实现方案。内窥镜的方案很多：主处理器有用专用 ASIC 的，比如日、台、韩的相机 ASIC ；有用专用 CPU 的，比如海思、瑞星微和君正等。熊猫君的这个是基于 Xilinx ZYNQ 的低成本方案。 纵观中低端的内窥镜用图像传感器，主要是以 OV 的为主，熊猫君接触和实现过的主要有 OV6946+OV426 、 OV6948+OV426 、 OV9734 、 OH02A1S （带近红外增强）、 OH0TA10+ 普通 ADC （这颗料据说是业界最小， 400 × 400 相素，封装尺寸只有 550 μ m*550 μ m ）、 DH01A10 等等，接口有模拟的、 MIPI 和 LVDS ；另外还有就是艾迈斯的 NanEyeM ， 320 × 320 相素，接口用的是内嵌码的 LVDS ，需要高速时钟过采样才能接收，比较麻烦。对 OV 的 Sensor 而言，模拟输出通过 ADC 采样后一般可以转为 LVDS 或 DVP 接口， MIPI 输出的因为分辨率和帧率都较低，速率不会太高（ lane 速率＜ 800Mbps ），完全可以用 ZYNQ 加电阻网络来接收图像。 一、硬件方案 以下我们以 OV 的 DH01A10 为例来叙述， DH01A10 实际上算是 OV6946 的升级版本，同样是 400 × 400 相素的，区别是工艺更加先进：（ 1 ）近红外波段成像增强；（ 2 ）灵敏度高达 3600mV/lux-sec （ OV6946 只有 1000mV/lux-sec ，整整是 3.6 倍）；（ 3 ）封装尺寸只有 550 μ m × 550 μ m ， 1/36” （业界最小，差不多是 OV6946 的 1/4 ） ; （ 4 ）输出接口驱动能力为 4 米，可用用 OV426 接收，也可用其它 ADC 方案来搭。因此，相较于 OV6946 而言， DH01A10 近红外成像，成像质量更高，驱动能力更强，不再有竖条纹状非均匀性现象。那么，对于一般的手术用或检查用台式机，系统的硬件框图如下图 1 所示。 图 1 基于 ZYNQ 的医疗内窥镜硬件框图 如上图 1 所示，医疗手持式或台机对体积和功耗没有较高的要求，接口要求比较丰富一些，比如可以通过千兆网和 USB 接口导出录制的视频和拍摄的照片，可以通过网络配置机器的参数，有按键和触摸屏可以操控机器，有 HDMI 可以接入到通用显示器等等。一般的，拍照存储为 JPEG 格式，视频存储为 mp4 或 avi 格式，存储在内部的大容量 eMMC 中。通常的，会将摄像头模组做成模块化可拆卸装置，作为一个耗材出现。 二、软件方案 在这个系统中， ZYNQ 实现了软硬件协同处理，软件方案图如下图 2 所示。在 PL 上，主要实现了 Sensor 驱动（图像采集和寄存器配置等）、 ISP 处理、 JPEG 视频编码以及 eDP 或 LVDS 屏的驱动。在 PS 上，上层框架基于 QT ，实现了产品 UI 、触摸屏、操控接口、视频的编解码、视频的录制、存储、预览和回放，照片的拍摄、保存和回看等功能，以及配置 FPGA 进行初始化、自动曝光和自动摆平和的配置工作。从器件性能上来说， ZYNQ-7000 系列的 ARM 是双核 Cortex-A9 ， -2 速度的也最多只能跑到 766MHz ，因此优化这个系统使视频录制和显示达到实时性的要求，所需要做的工作量很大，也需要 linux 和 fpga 层面协同做很多的处理，可谓是将芯片的性能运用到了极致。即使这样， arm 端实现 h.264 编码也只能保证 400*400/30fps 的实时性，高于此规格的均由 FPGA 来进行 Motion JPEG 编码，最终封装为 AVI 视频保存。回放时解码相对简单， ARM 运算即可满足要求。本系统最高支持 1080P/30fps 的流处理。在 ISP 上，系统还需针对医疗及 sensor 做一些特殊的处理，比如大多数的 OV6946 而言有竖条纹，此时要做非均匀性校正算法，此类 senor 的动态范围普遍偏低，还需要做一些对比度拉升或锐化处理使之看起来更加的锐利一些，有些还会有针对性进行调色处理等等。 图 2 基于 ZYNQ 的内窥镜软件方案 总体来说，中低端的内窥镜前端设备不会涉及到专业的医疗软件自动成像分析，主要还是检查和手术过程中现场人工查看和分析这些影像。即使有自动软件分析的需求，这些一般是通过接口传输影像数据到 PC 端后另行专业软件处理。 更为高端的腹腔镜之类，方案有用海思的，也有用 ZYNQ UltraScale+ MPSoC 带 Codec 那款的，国外的头部的也有用高端 FPGA+ 高端的自有 ASIC 芯片的，总之整个技术难度要上一个很大的台阶。 另外，现在甚为流行的胶囊内窥镜，则走的另外一条低功耗的路子，传感器性能不一定高，要求无线传输图像，帧率可能是 1~2Hz ，也可能是触发式的，但是有一个极低功耗的要求和一个很小体积的要求，一般要求能够工作（休眠）数个小时。目前市面现有的产品也有采用低功耗 FPGA （ actel 的）加 MSP430 单片机的方案（熊猫君拆过研究过一两款现有产品，也动过折腾一款的念头）。 三、其他 在当前的形势下，熊猫君这边的中低端内窥镜方案主要还是集中在基于 ZYNQ-7010 、瑞星微 RV1126 这两个平台上，也有海思和 ZU4EV 的，但是这俩一个是拿到芯片不容易，一个是太贵了，代价太高了，风险也太高了，其他的总是差点啥，不是这里性能不够，就是那里接口少了。总之，希望其他国产能够崛起，实现一个小目标：达到海思 Hi3559 的水平。 熊猫君这边有成熟的基于 ZYNQ-7000 和 RV1126 的完整方案和整机，也欢迎感兴趣的朋友莅临现场指导。如果您需要，而我恰恰也有的话，我们或许就能愉快的合作一把呢。 今天的分享到这里就结束，欢迎大家加入熊猫君的 QQ 群或微信公众一起侃侃大山、吹吹水、讨论讨论技术问题，大家一起愉快的交个朋友吧，以下是 QQ 群和微信公众号的二维码，手机扫码即可添加。

比正文长的引子 今天下班后，在论坛里和大家一起指点江山，书生意气，挥斥方遒，煞是威风。其中有三个论点我比较关注，一个是中国除了华为，有没有三星那种体量的企业；另一个是苹果新手机抄袭华为的浴霸设计，是不是黔驴技穷，回光返照；第三个是美的和格力谁厉害，美的和海尔谁是家电的老大。 随后我们又探讨了一下技术和管理，产品领域等高端问题。结束了面包板博主之间的全球精英对话后，我就搜索了一下 2018 年财富世界 500 强排行榜（参考《财富》），美国 126 名，中国 120 名；美国最后一名来得爱， 387 名，是连锁药店；中国最后一名是海尔， 499 名。 先看一下前十名排名，收入单位是“百万美元”： 排名 公司名 营业收入 利润 利润排名 1 沃尔玛（WALMART) 500,343 9,862 美国 2 国家电网公司（STATE GRID) 348,903.10 9,533.40 中国 3 中国石油化工集团公司（SINOPEC GROUP) 326,953 1,537.80 中国 4 中国石油天然气集团公司（CHINA NATIONAL PETROLEUM) 326,007.60 -690.5 中国 5 荷兰皇家壳牌石油公司（ROYAL DUTCH SHELL) 311,870 12,977 荷兰 6 丰田汽车公司（TOYOTA MOTOR) 265,172 22,510.10 日本 7 大众公司（VOLKSWAGEN) 260,028.40 13,107.30 德国 8 英国石油公司（BP) 244,582 3,389 英国 9 埃克森美孚（EXXON MOBIL) 244,363 19,710 美国 10 伯克希尔－哈撒韦公司（BERKSHIRE HATHAWAY) 242,137 44,940 美国 11 苹果公司（APPLE) 229,234 48,351 美国 1 名 12 三星电子（SAMSUNG ELECTRONICS) 211,940.20 36,575.40 韩国 5 名 13 麦克森公司（MCKESSON) 208,357 67 美国 14 嘉能可（GLENCORE) 205,476 5,777 瑞士 15 联合健康集团（UNITEDHEALTH GROUP) 201,159 10,558 美国 16 戴姆勒股份公司（DAIMLER) 185,235.40 11,863.90 德国 17 CVS Health 公司（CVS HEALTH) 184,765 6,622 美国 18 亚马逊（AMAZON.COM) 177,866 3,033 美国 19 EXOR 集团（EXOR GROUP) 161,676.50 1,569.10 荷兰 20 美国电话电报公司（AT&T) 160,546 29,450 美国 营业收入中石油是超过苹果三星的。再看看中国入榜的 120 名中去掉国字头、贸易、能源、建筑、投资、银行、保险、矿产等企业，保留我能理解为实业的企业，有以下几家： 排名 公司名 营业收入 利润 利润排名 24 鸿海精密工业股份有限公司（HON HAI PRECISION INDUSTRY) 154,699.20 4,559.90 台湾、富士康 72 华为投资控股有限公司（HUAWEI INVESTMENT & HOLDING) 89,311.40 7,020.80 77 名 181 京东集团（JD.COM) 53,964.50 -22.5 185 山东魏桥创业集团有限公司（SHANDONG WEIQIAO PIONEERING) 53,203 1,270 纺织品 235 恒力集团（HENGLI GROUP) 45,562.80 1,016 工业丝 239 河钢集团（HBIS GROUP) 45,390.20 -119.2 240 联想集团（LENOVO GROUP) 45,349.90 -189.3 285 和硕（PEGATRON) 39,237.60 482.6 台湾、华硕 300 阿里巴巴集团（ALIBABA GROUP HOLDING) 37,770.80 9,673.10 323 美的集团股份有限公司（MIDEA GROUP) 35,794.20 2,557.30 331 腾讯控股有限公司（TENCENT HOLDINGS) 35,178.80 10,580.60 32 名 354 广达电脑公司（QUANTA COMPUTER) 33,563.80 472.2 364 江苏沙钢集团（JIANGSU SHAGANG GROUP) 32,560.50 1,061.80 368 台积电（TAIWAN SEMICONDUCTOR) 32,126.40 11,339.30 28 名 台湾 374 长江和记实业有限公司（CK HUTCHISON HOLDINGS) 31,892.40 4,504.50 港口 375 象屿集团（XIAMEN XIANGYU GROUP) 31,676.40 147.2 物流 404 仁宝电脑（COMPAL ELECTRONICS) 29,175.20 189 427 苏宁易购集团（SUNING.COM GROUP) 27,805.70 623.3 428 鞍钢集团公司（ANSTEEL GROUP) 27,792 61.1 431 首钢集团（SHOUGANG GROUP) 27,488.70 0.9 432 纬创集团（WISTRON) 27,480 127.7 台湾、宏基 499 青岛海尔（QINGDAO HAIER) 23,563.20 1,024.70 虽然台湾很小，虽然台积电营收只有 368 名，但是利润是全球 28 名，利润率 35.3% ；而苹果第一，利润率 21.1% ；三星第二，利润率 17.25% ；华为排到了利润的 77 名，利润率 7.86% 。我又把利润中前 100 名的企业中和电子、医药相关的，比较出名的挑出来。 187 辉瑞制药有限公司（PFIZER) 52,546 21,308 美国 15 名 71 微软（MICROSOFT) 89,950 21,204 美国 16 名 35 宝洁公司（PROCTER & GAMBLE) 66,217 15,326 美国 20 名 7 大众公司（VOLKSWAGEN) 260,028.40 13,107.30 德国 22 名 15 联合健康集团（UNITEDHEALTH GROUP) 201,159 10,558 美国 33 名 212 思科公司（CISCO SYSTEMS) 48,005 9,609 美国 40 名 146 英特尔公司（INTEL) 62,761 9,601 美国 41 名 271 赛诺菲（SANOFI) 40,809.70 9,506.90 法国 43 名 442 SK 海力士公司（SK HYNIX) 26,636.30 9,414 韩国 44 名 85 软银集团（SOFTBANK GROUP) 82,664.70 9,377.50 日本 45 名 302 甲骨文公司（ORACLE) 37,728 9,335 美国 46 名 176 华特迪士尼公司（DISNEY (WALT)) 55,137 8,980 美国 48 名 193 拜耳集团（BAYER) 51,933.10 8,269.30 德国 58 名 64 波音（BOEING) 93,392 8,197 美国 61 名 203 诺华公司（NOVARTIS) 50,135 7,703 瑞士 65 名 326 东芝（TOSHIBA) 35,630 7,256.80 日本 73 名 53 联合利华（UNILEVER) 60,548.40 6,823 英国 / 荷兰 78 名 66 西门子（SIEMENS) 91,584.70 6,667.40 德国 80 名 而其中有 四家医药公司：辉瑞制药（ 40.55% ）、赛诺菲（ 23.3% ）、拜耳（ 15.9% ）、诺华（ 15.36% ） ；联合健康集团是关注与医药服务的。各个都比华为赚钱。华为名气那么大，还不如默默的台积电赚钱，华为技术已经吊打全球，还没有三星的 1/5 利润率，三星手机里的器件全都能做，所有的工艺，所有的生产线都有，还比不上自己只有操作系统的苹果赚钱。这怎么讲理去？而所有做电子的，都比不上制药的利润率，人可以不用手机，但是不能不吃药。 那么我们所讨论的三个问题结论如何？ 1. 三星利润率相当于：华为 + 台积电 + 腾讯 + 阿里巴巴；所以，中国没有三星这种体量的公司。 2 、苹果相当于 7 个华为的利润，所以，即便手机不够强，整体实力绝对远远超过华为，即便是乔帮主走了，这个骆驼还是没瘦死。 3 美的是海尔的两倍利润率，已经取代海尔成为家电一哥；而格力没入榜；但是我查了一下，董小姐说格力是 260 亿人民币的利润率，没入榜的原因是营收是 1500 亿人民币，总销售额比海尔差一点点，但是利润率实际上要比海尔和美的都高，所以综合来说，格力还是牛一些。随后我查询了中国五百强，美的 32 位（ 7.14% ），全国利润排名 41 位；海尔 51 位（ 4.35% ）；格力 56 位，利润 224 亿 rmb （ 14.9% ），全国利润排名 28 位。格力的利润率接近三星，可见其实力，做少做精是一个不错的路线。而海尔就要加油了。 汽车中利润率最好的上汽集团只有 3.95% ；茅台 44.35% ，五粮液 32% ，洋河 33.3% ，做啥实业啊，做啥科技啊，都比不上酿酒，实在是让人郁闷。 4.11号，突然想起百度落下了，所以专门查了一下，百度营销收入中国排名91位，利润率却高达21.6%。腾讯全球利润32名，利润率30%。做软件看来利润率是高。 比引子要短的正文 这两年的时间，在考察学习内窥镜的方案，很令人吃惊的是……在我们比较关注的行业中，中国 IC 实现自主甚至逆袭的时候，比如海思、电视 IC 、小电源 IC 、 8 位 MCU 、龙芯、监控 IC 等等，而内窥镜这个小众的领域竟然没有能用的大陆方案？！ 内窥镜其实和行车记录仪差不多，只需要一个屏幕和一个摄像头，功能只有图像的显示和存储，摄像头最高只到 720p （ 1080p 还没有成熟），功能比行车记录仪还要低一些。海思已经在监控行业中站稳，也用在了盯盯拍行车记录仪，但是内窥镜行业中没有海思！因为没有液晶屏接口，今年下半年才会有这类样品出现。 内窥镜行业常用的方案有联永、凌通、凌阳等，都是台湾公司？！我们要承认的是台湾是中国不可分割的一部分，也要承认的是，大陆还是落后于小台湾。当然我也遇到用 cortex-A7 做的方案，三星的 IC ，能跑操作系统，性能强悍，成本要翻三四倍。 我们现在用的方案是台湾凌通的，电容是日本松下的，电阻是台湾国巨的， TVS 、电感、磁珠是大陆的，充电 IC 是南京拓品微的， DC2DC 、 LDO 是圣邦微的， LCD 是大陆的， PCB 生产和贴片是大陆的，连接件是美国 MOLEX ，端子座、按键是大陆的，锡膏是日本的。线材是大陆的，弹簧是大陆的，摄像头上的 LED 是大陆的， CMOS 传感器和解码 IC 是台湾 OV （ Omnivision ）的。而在这种内窥镜领域，能做到很小尺寸，像素最高的，目前只有 OV ，没得选择。模组的外壳和镜片是大陆的。电池是日本松下的，电池保护板和上面的保护 IC 是大陆的。 所以从上可以看到，为了保证品质，只能在部分配件五金及一些小 IC 是大陆的以外，核心器件都是 台湾和日本 ，占据一多半的硬件成本。 尤其是摄像头的 CMOS 传感器，Φ 5mm 以下 720p 以上只有 OV 。就此前和方案厂沟通的数据来说，用 OV9734 做的 100W 摄像头，Φ 4.5mm ，批量出厂 60 元左右（ 1K ）。而Φ 3.9mm 用 BYD 的 3903 做的 30W 摄像头，成本 3 元，出厂十几元。虽然看起来价格差别很大，但是 BYD 的模组没有更精密的。 而如果做到Φ 1~1.5mm ，因为成本、工艺等问题，虽然一个传感器只有 10W 像素，但是价格却要 7000rmb 左右，而这个传感器也只有 OV 的。 所以虽然中国大陆进步了很多，但是根底浅，细分领域中很多仍然没有深入进去，仍然有很多的差距。中国企业的特点是会首先进入量大利润高来钱快的产品，而对于某些要求高良率低投入高时间长的领域鲜有人关注，所以日德很多百年小企业，只做几种产品，但是做的很精，无可替代。 综上所述，面子光里子还差不少，大陆的半导体比台湾还有十几年要追赶，对于小众领域时间可能更久。我们需要华为这样的设计企业，也需要台积电那样的工艺公司，更需要数不清的小微型企业来填补电子产品的方方面面。