标签: 手势追踪

各个领域向智能化的深入演进，加深了CMOS图像传感器和行业应用的创新耦合，这个赛道正发生很多新鲜事…… 1月19日开启预定，2月2日在美国上市，苹果正式官宣了Vision Pro的上市时间。 在空间计算时代开启之际，除了Vision Pro的售价之外，其上承载不同功能的图像传感器也成为光电产业界人士普遍关心的领域。“毕竟，一台Vision Pro上搭载了12颗图像传感器，用于眼球追踪，用于手势追踪，也用于EyeSight的透传……” 艾迈斯欧司朗资深现场支持工程师王明海介绍道。 在强调智能的当下，图像传感器的应用场景在不断扩增，市场对它的需求也正水涨船高。 1、4大时代考题 结合多年来跟客户的交流，以及业界权威人士的反馈， 艾迈斯欧司朗将目前市场上对CMOS图像传感器的需求汇总成4大类，一一明细。 如上图所示（其中深绿色代表当前业界致力发展的特性，浅绿色表示已在业界达成共识并提上日程的特征，白色代表重要但非当前紧迫的需求），其一便是 图像质量 。 在图像质量这一大分类下， 分辨率、信噪比、动态范围 三大指标首当其冲。 现在，各个应用都对图像传感器的分辨率提出更高要求，相比智能手机端动辄几千万的分辨率要求，在工业视觉端，一些厂商几年前就已推出3亿个像素的图像传感器。总之，提到分辨率，只有一个要求：更上一层楼！ 其次，不仅要求自身打铁硬，而且需要对各种环境的“普适性”，信噪比就很关键。特别是在部分场景中，为了节能，还会省掉辅助光源，这就要求图像传感器在低亮度的情况下，还能得到较为清晰的图像。此时，高信噪比就能凸显其优势了。 此外，即动态范围。举个例子，比如无人机，它既有可能在大太阳下飞行，也有可能在飞行中穿越山洞或者树荫，一亮一暗，环境光的变化非常大，但无人机仍需正常工作，它就需要很高的动态范围，而这也将对图像传感器提出同样的高要求。 在4大类之中，除了图像质量外， 光谱响应 也极为重要。特别是在之前提到的暗光环境或者晚上，如何来提高画面质量，就需要增加近红外波段的响应度并结合多光谱从而获得除了颜色外的更多信息，比如材质。 在其余2大类需求中，一方面是在 图像传感器集成设计 ，其中要考虑小尺寸、低功耗； 另一方面是 智能需求 ，图像传感器正变得越来越智能，在采集图像信息之后，不再需要发往后面平台去做软件处理的部分，而是集成在图像传感器内解决掉简单的处理需求。比如利用Photo-counting，无需通过模数转换即可知道信号强度；又或者基于3D功能，直接提供深度信息。 而就融合3D功能，我们已经看到此方面CMOS图像传感器在智能IoT领域中的落地。 2、走进IoT领域“编内” “在智能IoT领域，智能机器人、智能门锁以及无人机都是CMOS图像传感器的典型应用，市场的需求量也非常大。” 区别于机器视觉应用，其性能高低，通常直接取决于图像传感器本身的质量。而在智能IoT领域，图像传感器通常需要结合一些应用和算法最终集成在终端产品上，如下图中右上角所示，很多图像传感器都是结合了3D应用。 但其实起初，扫地机器人中并没有视觉系统，所以也可以此为例来看看视觉系统是如何一步步进入到终端产品中，并伴随其不断演进的。 据悉，最开始的时候，扫地机器人的工作模式主打一个随机，碰壁之后换个方向继续干，它既没有路线的规划，也没有视觉系统的加入，因此它也不知道自己走的路线有没有重复。 2014年的时候，戴森将视觉系统加入扫地机器人，通过视觉导航保证扫地机器人可以更有效且在不遗漏的情况下去清扫。 随后的2015年，iRobot引入了同步定位与建图的SLAM系统，通过视觉实时构建地图，在扫地机器人不知道房子结构的前提下，一样可以有效进行清扫。 自2020年之后，国内一众扫地机器人厂商推动了3D技术的引入。自此，也开启了将图像传感器结合3D传感器在一起，并引入扫地机器人的征程。 3、应用疆域，广！ 除了智能IoT领域，CMOS图像传感器已广泛深入诸多领域。 去年下旬，知名研究机构Yole Group旗下的Yole Intelligence发布了一份2023年CMOS图像传感器（CIS）行业现状报告。该报告指出，2022年全球CMOS图像传感器的前三大市场为移动领域（134.52亿美元）、汽车（21.86亿美元）和计算（19.68亿美元）。 *图源：Yole Intelligence 预计到2028年，CIS行业整体复合年增长率为5.1%，达到288亿美元。 其中，移动市场（167.20亿美元）、汽车（36.27亿美元）和安全（32.80亿美元）将成为前三大市场。此外，安全市场（17.6%的CAGR）和医疗市场（10.2%的CAGR）将成为增长最快的细分市场。 王明海也在介绍中将CMOS图像传感器的应用疆域大致作了如下图所示的明细。 据王明海介绍，从大的应用领域来看，工厂自动化在近几年得到了飞速的发展，其中的关键促进点就是电动汽车行业的大力发展。 “电动汽车的销量激增带动了对锂电池的需求，而每个锂电池包都需要有一个大面积的工业相机去检测它的缺陷，”王明海补充道。这也使得其成为机器视觉发展最为迅速的领域。 同样，在军事、科学行业，CMOS图像传感器同样也在贡献自己的力量，还记得登上火星的“毅力号”探测器吗？ 它上面搭载的23台相机中，有10台均采用了艾迈斯欧司朗的CMV系列CMOS图像传感器。 而在这些已量产的产品中，都叠加了艾迈斯欧司朗如下5项技术，以此进一步提升用户体验。 一、BSI。 如果要保证在暗光下依然能够拥有较强的感光能力，那背照式工艺（Back-Side Illumination）必不可少。 二、堆叠。 将PD和半导体晶圆层上下堆叠，而非平行铺开，从而带来能效提升。 三、全局曝光。 特别是在工业应用中，当拍摄移动物体时，必须要用到全局曝光，否则就会有拖影。 四、独家V-GS专利。 “针对全局曝光，我们还会有一个特有IP，也是我们的独家专利，就是电压域的全局曝光像素设计专利（V-GS），通过此专利，可以在设计中获得很高的开关效率，从而降低我们本身自己的传感器底噪。” 五、系统解决方案。 通常在设计摄像头时，需要在图像传感器前面加上镜头，艾迈斯欧司朗通过将镜头迭代在图像传感器上形成一个小的相机模组，如此一来用户使用将更加便捷。 这个工艺在Mira016或者NanEye产品上已经落地量产，将精细化的镜头，尺寸大约在1mm×1mm叠加在CMOS图像传感器上（如下图所示）。“因此，我们内部也把这个工艺叫做WLA，也就是Wafer Level Optical。” 4、第三代Mira系列：更智能，更强大 在全局曝光的面阵图像传感器中，Mira已经是艾迈斯欧司朗的第三代产品了（前2代分别是CMV系列和CSG系列）。 对于Mira系列而言，除了保持了全局曝光以及低功耗的特性外，还有2点值得强调： 其一，它用堆叠BSI的方式做到了大分辨率兼顾小尺寸。 在下图的左下角中即可看出 ，黑色器件是它整体的package，而灰色部分是它的感光区，面积基本上跟整体package接近了； 其二， 以上图中右上角的图示来看，蓝色线是第一代图像传感器CMV的量子效率，而橙色线是第三代Mira系列的量子效率，特别是在红外850nm~940nm的部分，以940nm为基准， Mira系列的量子效率提高了40%。 当然在Mira系列中，更值得一提的是它集成了很多智能的功能模块，这也让它在很多应用场景中带来意想不到的效果。 比如，在传统的Bayer阵列中增加近红外 （也就是下图中的黑色I） 。如果用Mira系列去设计公司大楼的门禁系统，那只用一个摄像头就可以同时提供2套数据：RGB和红外。 通常，RGB数据用于将人物对号，此时还需红外光来确认当前是照片还是真实的人。因为如果是照片的话，它返回的信息是均匀的，而真实的人脸则不是，这是一个很典型的应用。 而在传统的系统设计中，实现这个功能需要2个摄像头。 比如，像素级背景减除技术。 例如我们以灰色地毯为背景，当灯光照射下来时，灰色地摊上会有它的影子，那如果我只需要灯的影子怎么办？ 当开启像素级背景减除功能后，只需开灯拍一张照片，然后关灯拍一张照片，并在片内减去背景就好。 但其他通用做法是开灯曝光一次，读取数据一次，关灯曝光一次，读取数据一次，再利用外面的MCU去实现减去背景的操作，如此一来，将会大大增加处理时间，毕竟时间就是功耗。 此外，还有就是事件检测功能， 而且是聚焦于图像传感器的事件检测功能。 “用例子介绍会让人更易了解。” 假设在地下车库，正常情况下，不论白天黑夜，地下车库的环境光是一定的，它处于一个相对恒定的环境中。若有车驶入，摄像头捕捉到该区域的图像发生变化，即确定有车进入，执行相应操作。 同时，在事件检测的整个过程中，只需将事件检测的采样频率设置在1分钟左右，当检测到有车进入，需要去拍其车牌时，再将其自动调整为正常运行模式。如此一来，也将极大减低整个系统的平均功耗。 据悉，上述这些智能体验都仅集成在Mira系列CMOS图像传感器中。