标签: 音视频

01 物联网系统中为什么要使用摄像头模组 物联网系统中使用摄像头模组的原因主要基于摄像头模组在数据采集、监控、智能分析以及增强用户体验等方面的关键作用。以下是详细的原因分析： 数据采集与实时监控 视觉信息获取： 摄像头模组能够实时捕捉并传输视觉信息，这是物联网系统中不可或缺的数据来源。通过摄像头，系统可以获取到环境、设备状态、人员活动等关键信息。 远程监控： 在物联网应用中，摄像头模组常被用于远程监控场景，如智能家居、智能安防、智慧城市等。用户可以通过手机、电脑等终端设备远程查看监控画面，实现实时监控和管理。 智能分析与决策支持 图像识别与分析：结合人工智能和机器学习技术，摄像头模组可以对采集到的图像进行智能识别和分析。例如，在智能安防领域，摄像头可以识别出入侵者、异常行为等，并触发报警机制；在智能交通领域，摄像头可以识别车牌、交通流量等，为交通管理提供数据支持。 决策支持：通过摄像头模组获取的数据和分析结果，物联网系统可以做出更加智能的决策。例如，在智能农业中，摄像头可以监测作物生长情况，为灌溉、施肥等提供精准指导；在智能工厂中，摄像头可以监测生产线状态，及时发现并解决问题。 用户体验提升 可视化交互：摄像头模组使得物联网系统能够提供更加直观、可视化的交互方式。用户可以通过摄像头实时查看设备状态、环境变化等，增强对系统的感知和信任。 个性化服务：结合用户的行为习惯和偏好，摄像头模组可以为用户提供更加个性化的服务。例如，在智能家居中，摄像头可以根据用户的活动轨迹自动调整灯光、温度等环境参数；在智能零售中，摄像头可以分析顾客行为，为商家提供精准的营销策略。 安全性与隐私保护 安全监控：摄像头模组在物联网系统中扮演着重要的安全监控角色。通过实时监控和智能分析，摄像头可以及时发现并防范潜在的安全威胁，如入侵、盗窃等。 隐私保护：随着物联网技术的普及，隐私保护问题也日益受到关注。摄像头模组在采集和传输数据时需要严格遵守隐私保护原则，确保用户数据的安全和隐私。 具体应用场景 家庭安全监控： 在家庭环境中，摄像头模组可以安装在室内或室外，实现全天候、无死角的安全监控。用户可以通过手机APP等终端随时随地查看家中情况，及时发现并处理安全隐患，如入侵者、火灾等。 部分高端模组还具备人脸识别、行为分析等功能，能够进一步提升家庭安全水平。 商业环境监控： 在商场、超市、酒店等商业场所，摄像头模组可用于人流统计、行为分析等方面。通过实时监测和分析顾客行为，商家可以了解顾客需求、优化商品布局、提升顾客服务体验。 同时，模组还能及时发现并处理异常情况，如盗窃、斗殴等，保障商业环境的安全稳定。 公共安全监控： 在城市交通、社区、景区等公共场所，摄像头模组发挥着至关重要的作用。它们不仅能够进行实时监控，还能通过视频分析预测潜在风险，提供预警服务，有效预防犯罪和安全事故的发生。 在紧急情况下，模组还能为救援人员提供重要的现场信息和指导。 工业制造监控： 在生产线、仓库、工厂等工业制造领域，摄像头模组可用于物料追踪、产品质量检测等方面。通过实时监测生产线上的物料流动和产品质量信息，企业可以及时发现并解决问题，提高生产效率和产品质量。 同时，模组还能为安全生产提供有力保障，防止事故的发生。 农业监控： 在农业领域，摄像头模组可用于农田、温室等场所的远程监控。通过实时监测植物生长状况、土壤湿度、环境温度等信息，农民可以更加精准地进行田间管理，提高农作物的产量和品质。 同时，模组还能及时发现并处理病虫害等问题，减少农药和化肥的使用量，实现绿色农业的发展目标。 智能交通系统： 在智能交通系统中，摄像头模组可以用于交通流量监控、违章行为识别等，提高交通管理效率和安全性。 智能机器人与无人机： 摄像头模组可以作为智能机器人和无人机的视觉导航系统，通过捕捉环境信息实现自主导航和避障功能。 医疗与教育： 在医疗领域，摄像头模组可以结合人工智能算法进行远程诊断和病情分析，提高医疗服务的效率和准确性。 在教育领域，摄像头模组可以实现远程教学和互动学习，为师生提供更为便捷和高效的教学方式。 综上所述， 物联网系统中使用摄像头模组的原因主要包括数据采集与实时监控、智能分析与决策支持、用户体验提升以及安全性与隐私保护等方面。这些优势使得摄像头模组在物联网领域得到了广泛的应用和认可。 本文会再为大家详解传感外设家族中的一员——摄像头模组。 02 摄像头模组的定义 摄像头模组，全称CameraCompact Module，简写为CCM。CCM 包含四大件： 镜头(lens)、传感器（sensor）、软板（FPC）、图像处理芯片（DSP）。决定一个摄像头好坏的重要部件是：镜头（lens）、图像处理芯片 （DSP）、传感器（sensor）。CCM的关键技术为：光学设计技术、非球面镜制作技术、光学镀膜技术。决定一个摄像头好坏的重要部件是：镜头（lens）、图像处理芯片 （DSP）、传感器（sensor）。 03 摄像头模组的原理 景物(SCE)通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号再送到数字信号处理芯片（DSP）中加工处理，转换成标准的RGB、YUV等格式图像信号再通过I/O接口传输到CPU中处理，通过display就可以看到图像了 04 摄像头模组的硬件组成 4.1 Lens（镜头） Lens是一个能够接收光信号并汇聚光信号于感光器件CMOS/CCD的装置。Lens决定sensor的采光率，其整体效果相对于一个凸透镜。 一般camera的镜头结构是由几片透镜组成，分有塑胶透镜（PLASTIC)和玻璃透镜(GLASS)，通常CAMERA用的镜头结构有：1P,2P,1G1P,1G3P,2G2P,4G,8P等。透镜越多，成本越高；玻璃透镜比塑胶透镜贵，但是玻璃透镜的成像效果比塑胶透镜的成像效果要好。目前市场上针对mobile phone配置的camera以1G3P（1片玻璃透镜和3片塑胶透镜组成）为主，目的是降低成本。 4.1.1 Lens主要指标 A、消除尽可能多Flare B、画质清晰度 C、CRA(Chief Ray Angle主光线角度)要match，减少shading(Lens cra < Sensor CRA, 相差最好在2度以内) D、光圈尽可能的大 E、Distortion 尽可能的轻微等 4.1.2 Lens主要参数 （1）焦距：镜头焦距的长短决定着拍摄的成像大小，视场角大小，景深大小和画面的透视强弱。一般来说对于单片镜头就是镜头中心到焦点的距离，而相机镜头是由多片透镜组合，就要复杂许多。这里焦距就指的是从镜头的中心点到感光元器件（CCD）上所形成的清晰影像之间的距离。 （2）视场角：我们常用水平视场角来反映画面的拍摄范围。焦距f越大，视场角越小，在感光元件上形成的画面范围越小；反之，焦距f越小，视场角越大，在感光元件上形成的画面范围越大。 （3）F值（口径比）：F 值即指镜头之明亮度(即镜头的透光量)。F=镜头焦距/光圈直径。F值相同,长焦距镜头的口径要比短焦距镜头口径大。 （4）光圈：光圈是位于镜头内部的、可以调节的光学机械性阑孔，可用来控制通过镜头的光线的多少。可变光圈(Iris diaphragm)。镜头内部用来控制阑孔大小的机械装置。或指用来打开或关闭镜头阑孔，从而调节镜头的f-stop的 装置。 （5）景深：当某一物体聚焦清晰时，从该物体前面的某一段距离到其后面的某一段距离内的所有景物也都相当于是清晰的。焦点相当清晰的这段从前到后的距离就叫做景深 4.2 VCM（Voice Coil Motor）音圈马达 全称Voice Coil Montor，电子学里面的音圈电机，是马达的一种。因为原理和扬声器类似，所以叫音圈电机，具有高频响、高精度的特点。其主要原理是在一个永久磁场内，通过改变马达内线圈的直流电流大小，来控制弹簧片的拉伸位置，从而带动上下运动。手机摄像头广泛的使用VCM实现自动对焦功能，通过VCM可以调节镜头的位置，呈现清晰的图像。 音圈电机用于微摄像头调焦/音圈电机用于微摄像头调焦/音圈电机用于调焦 4.2.1 VCM性能指标 VCM的性能主要是看电流和行程距离的比值。从启动电流开始，电流上升要和所能驱动的行程距离成比例，所需要上升电流越小，精度越高，同时还看最大耗电量，最大功率，尺寸大小。 4.2.2 VCM分类 从结构上大致可分三类： （1）弹片式结构 ；（2）滚珠式结构； （3）摩擦式结构。 从功能上大致分为五类： （1）Open loop开马达; （2）Close loop闭环马达 ；（3）Alternate中置马达 ；（4）OIS光学防抖马达（分平移式、移轴式、记忆金属式等）；（5） OIS+Close loop六轴马达 。 4.2.3 AF原理 进入自动调焦模式后，Driver从0到最大值，使得镜头从原地移动到最大位移处，此时sensor成像面自动拍摄图片保存到DSP内，DSP通过这些图片，计算每一副图片的MTF（Modulation transfer function）值，从而在这条MTF曲线中找到最大值，并通过算法，得到这个点对应的电流大小，再一次指示Driver提供给音圈这个电流，而使镜头稳定在这个成像面，使得达到自动变焦。 4.2.4 变焦和对焦 A:实现光学变焦采用变焦马达（ZOOM） 通过移动镜头内部的镜片来改变焦点的位置，改变镜头焦距的长短，并改变镜头的视角大小，从而实现影响的放大与缩小。 B:实现自动对焦采用对焦马达（AF） 过微距离移动整个镜头(而不是镜头内的镜片)的位置,控制镜头焦距的长短,而实现影像 的清晰.手机中常用的方法。 光学对焦和光学变焦是不同的概念: 光学变焦是通过移动镜头内部镜片的相对位置来改变焦点的位置，改变镜头焦距的长短，并改变镜头的视角大小，从而实现影像的放大与缩小； 光学对焦是实际上是调整整个镜头的位置(而不是镜头内的镜片)的位置,控制镜头焦距的长短,而实现影像的清 晰.手机中常用的方法。目前VCM是使用最广泛的对焦方式. DW9763 马达驱动移植 马达驱动一般比较简单，只需要按照时序控制，设置位置的寄存器即可控制马达移动，这里以RK3588安卓12平台，移植DW9763马达驱动为例，内核版本为kernel-5.10。 ①从马达规格书获取控制时序图和控制模式 datesheet一般都有描述马达所支持的控制模式和控制时序，如DW9763就支持，Direct mode和SAC mode，SAC mode分为SAC1，SAC2，SAC2.5，SAC3，SAC4，具体的模式选择有寄存器可以配置： 控制时序一般如下： A. 设置Ringing control寄存器：这个寄存器设置是direct mode还是ringingmode B. 设置具体的SAC mode和DIV C. 设置Tvib D. 向寄存器设置DAC ②驱动实现 驱动的关键点如下： A. 设备资源的获取；RK私有资源定义，命名方式如rockchip,camera-module-xxx，主要是提供设备参数和Camera设备进行匹配。VCM参数定义，命名方式如rockchip,vcm-xxx，主要涉及硬件参数启动电流、额定电流、移动模式，参数跟马达移动的范围和速度相关。 B. entity.function的指定，与camera sensor驱动不同，马达驱动注册的需要指定为：MEDIA_ENT_F_LENS C. v4l2_subdev_core_ops：设置ioctl回调接口，目前使用了私有的ioctl实现马达移动时间的查询：RK_VIDIOC_VCM_TIMEINFO；； D. v4l2_ctrl_ops：实现dw9763_get_ctrl和dw9763_set_ctrl，也就是获取和设置马达的位置接口，即对V4L2_CID_FOCUS_ABSOLUTE这个ioctl进行支持。 E. RK AF算法将模组镜头整个可移动行程的位置参数定义为 ，模组镜头整个可移动行程在VCM驱动电流上对应的变化范围为 ，该函数中建议实现这2者间的映射换算关系； current_related_pos = dest_pos; for (i = 0; i dev, "%s: failed with error %d\n", __func__, ret); return ret; } ③dts配置 dts配置参考如下： dw9763: dw9763@c { compatible = "dongwoon,dw9763"; status = "okay"; reg = ; rockchip,vcm-max-current = ; rockchip,vcm-start-current = ; rockchip,vcm-rated-current = ; rockchip,vcm-step-mode = ; rockchip,vcm-t-src = ; rockchip,vcm-t-div = ; rockchip,camera-module-index = ; rockchip,camera-module-facing = "back"; }; ov13855: ov13855@36 { ...... lens-focus = ; ...... }; vcm-max-current设置最大电流，vcm-start-current设置启动电流，vcm-rated-current设置额定电流，vcm-step-mode设置VCM的模式。 ④安卓上层配置 如果支持VCM的话，安卓XML需要添加对应的AFmode支持，camera3_profiles.xml添加如下： ⑤JSON效果文件配置 效果文件需要打开AF： ⑥调试命令 上述效果文件打开会自动对焦，调试的时候可以将上述关掉，手动使用命令控制马达移动： v4l2-ctl -d /dev/v4l-subdev3 --set-ctrl 'focus_absolute=64' v4l2-ctl -d /dev/v4l-subdev3 --set-ctrl 'focus_absolute=0' 3.3 IR-CUT 自然界存在着各种波长的光线，人眼识别光线的波长范围在320nm-760nm之间， 超过320nm-760nm的光线人眼就无法见到；而摄像机的成像元器件CCD或CMOS可以看到绝大部分波长的光线。由于各种光线的参与，摄像机所还原出的颜色与肉眼所见在色彩上存在偏差。如绿色植物变得灰白，红色图画变成浅红色，黑色变成紫色等。在夜间由于双峰滤光片的过滤作用，使CCD不能充分利用所有光线，不产生雪花噪点现象及其低照性能难以令人满意。为了解决这个问题，就使用IR-CUT双滤镜。 IR-CUT双滤镜是指在摄像头镜头组里内置了一组滤镜，当镜头外的红外感应点侦测到光线的强弱变化后，内置的IR-CUT自动切换滤镜能够根据外部光线的强弱随之自动切换，使图像达到最佳效果。也就是说，在白天或黑夜下，双滤光片能够自动切换滤镜，因此不论是在白天还是黑夜下，都能得到最佳成像效果。 4.3.1 IR-CUT 组成及原理 IR CUT双滤光片切换器由一个红外截止低通滤光片（一片红外截止或吸收滤光片）、一个全光谱光学玻璃（一片全透光谱滤光片）、动力机构（可以是电磁、电机或其他动力源）以及外壳组成，它通过一块电路控制板来进行切换、定位。当白天的光线充分时，电路控制板驱使切换器切换并定位到红外截止滤光片工作，CCD或CMOS还原出真实色彩；当夜间可见光不足时，红外截止滤光片自动移开，全光谱光学玻璃开始工作，这时，它能感应红外灯的红外光，使CCD或CMOS充分利用到所有光线，从而大大提高了红外摄像机的夜视性能，整个画面也就清晰自然了。 4.3.2 IR-CUT指标 a、滤光片的红外线截止程度，透光率，和光整形效果等。 b、动力驱动部分 c、控制电路 d、滤光片：一般用镀膜(IR Coating)的方法或蓝玻璃来滤除红外光。 4.4 Sensor Image sensor（图像传感器）是一种半导体芯片，其表面有几百万到几千万个光电二极管，光电二极管受到光照就会产生电荷，将光线转换成电信号。其功能类似于人的眼睛，因此sensor性能的好坏将直接影响到camera的性能。 4.4.1 Sensor结构 4.4.2分类 感光原件：CCD、CMOS(PPS和APS) CCD（Charge Coupled Device）是贝尔实验室在1969年研发成功的，后经索尼、松下、夏普等公司改进并批量生产。十多年前，以CCD作为感光元件相机多一些，如尼康的D3000等，但现在越来越少。 CCD感光元件具有噪点小、反映灵敏度高、动态范围大等优势，所以作为相机成像的感光元件，所成像的质量要更好，但因为其制作成本高、制作工艺复杂、价格昂贵、耗电高等劣势，不利于进一步推广，并且CCD的尺寸越大，越难以生产，制作成本越高。 CMOS（Complementary Metal Oxide Semiconductor）感光元件是在二十世纪八十年代诞生的，当时电子技术水平相对落后，特别是系统集成这一领域，因此CMOS感光元件的成品质量一直不高，并且生产效率低下，所以CMOS感光元件的普及率不足。随着系统集成技术的发展，世界上主流的影像传感器厂商已经能够快速、高质量地生产尺寸较大的CMOS，并且这种感光元件的成像质量在一定程度上也达到了CCD所能达到的水平，当前的主流数码单反相机均采用了CMOS感光元件，只有部分卡片机和高端中画幅相机仍然使用CCD感光元件。` 不同工艺：前照式FSI、背照式BSI、堆栈式 对于FSI(Front side illumination)技术而言，光是从前面的金属排线之间进入，然后再聚焦在光电二极管上。这带来的结果就是在金属排线这层光线会被部分阻挡和反射掉，而光电二极管吸收的光线就只有刚进来时候的70％或更少；且这种反射还有可能串扰旁边的像素，导致颜色失真。 采用BSI(Back side illumination)技术来构建像素，光线无需穿过金属排线层，光线几乎没有阻挡和干扰地就到达光电二极管，光线利用率极高，所以背照式CMOS传感器能更好的利用射入的光线。 FSI和BSI为非堆栈式结构，堆栈式的结构首先由SONY应用在了Exmor RS 产品上。对于像素区域的制造工艺，可以使用65nm的制程，但对于处理电路的区域，如果能用45nm的制程制造，那么在处理电路上的晶体管数量就能翻倍，这样，像素处理的速度就更快。 由于像素部分和电路部分独立，因此像素部分可针对高画质优化，电路部分可针对高性能优化。堆栈式不仅继承了背照式的优点（像素区域依然是背照式），还克服了其在制作上的限制与缺陷。因为处理回路的改善和进步，摄像头也将能提供更多的功能，比如说硬件HDR，慢动作拍摄等等。像素与处理回路分家的同时，摄像头的体积也会变得更小，但功能和性能却不减，反而更佳。像素区域（CMOS的尺寸）可以相应地增大，用来种植更多或者更大的像素。 4.4.3 指标 常见缩略语 点击图片可查看完整电子表格 A. 图像压缩方式JPEG (joint photographic expert group)静态图像压缩方式。一种有损图像的压缩方式。压缩比越大，图像质量也就越差。 当图像精度要求不高存储空间有限时，可以选择这种格式。目前大部分数码相机都使用JPEG格式。 B. 图像噪音 指的是图像中的杂点干扰，表现为图像中有固定的彩色杂点。 C. 白平衡处理技术(AWB) 白平衡指不管在任何光源下，都能将白色物体还原为白色。白平衡是描述显示器或相机中红、绿、蓝三基色混合生成后白色精确度的一项指标。色温表示光谱成份，光的颜色。色温低表示长波光成分多。当色温改变时，光源中三基色（红、绿、蓝）的比例会发生变化，需要调节三基色的比例来达到彩色的平衡，这就是白平衡调节的实际。 图象传感器的图象数据被读取后，系统将对其进行针对镜头的边缘畸变的运算修正，然后经过坏像处理后被系统送进去进行白平衡处理（在不同的环境光照下，人类的眼睛可以把一些“白”色的物体都看成白色，是因为人眼进行了修正。但是SENSOR没有这种功能，因此需要对SENSOR输出的信号进行一定的修正，这就是白平衡处理技术）。 D. 彩色深度（色彩位数） 反映对色彩的识别能力和成像的色彩表现能力，就是用多少位的二进制数字来记录三种原色。实际就是A/D转换器的量化精度，是指将信号分成多少个等级，常用色彩位数（bit）表示。彩色深度越高，获得的影像色彩就越艳丽动人。非专业的SENSOR一般是24位；专业型SENSOR至少是36位。24位的SENSOR，感光单元能记录的光亮度值最多有2^8=256级，每一种原色用一个8位的二进制数字来记录，最多记录的色彩是256×256×256约16，77万种。36位的SENSOR，感光单元能记录的光亮度值最多有2^12=4096级，每一种原色用一个12位的二进制数字来记录，最多记录的色彩是4096×4096×4096约68.7亿种。 E. 图像格式(image Format/ Color space) 像素格式，比如: RGB24，RGB565，RGB444，YUV4:2:2等。 RGB24,I420是目前最常用的两种图像格式。 RGB24 表示R、G、B ，3种基色都用8个二进制位表示，那么红色、绿色、蓝色各有256种，那么由这三种基色构成的颜色就是256X256X256=16,777,216种，约等于1677万。这就是计算机表示颜色的原理，同样也是手机屏幕和显示器屏幕等显示颜色的原理。 颜色对应RGB值 YUV YUV 和我们熟知的 RGB 类似，是一种颜色编码格式。 YUV 包含三个分量，其中 Y 表示明亮度（Luminance 或 Luma），也就是灰度值。 而 U 和 V 则表示色度（Chrominance 或 Chroma），作用是描述图像色彩及饱和度，用于指定像素的颜色。 没有 UV 分量信息，一样可以显示完整的图像，只不过是黑白的灰度图像。 YUV的采样方式 4:4:4表示完全取样（每一个Y对应一组UV分量) 4:2:2表示2:1的水平取样，垂直完全采样(每两个Y共用一组UV分量) 4:2:0表示2:1的水平取样，垂直2：1采样(每四个Y共用一组UV分量) 4:1:1表示4:1的水平取样，垂直完全采样(每四个Y共用一组UV分量) F. 分辨率（Resolution） 所谓分辨率就是指画面的解析度，由多少像素构成的数值越大，图像也就越清晰。分辨率不仅与显示尺寸有关，还会受到显像管点距、视频带宽等因素的影响。 我们通常所看到的分辨率都以乘法形式表现的，比如1024*768，其中的1024表示屏幕上水平方向显示的点数，768表示垂直方向的点数。 点击图片可查看完整电子表格 G. 码流 码流就是指视频数据在单位时间内的数量大小，也叫码率，是视频编码画面质量控制中最重要的部分，同样的分辨率和帧率下，视频码流越大，画面质量越高，对应的存储容量也就越大。 H. 曝光 曝光就是图像的明暗程度 ，照片太暗称为曝光不足 ，照片太亮称为曝光过度。曝光由光圈、曝光时间、ISO三者共同决定。 光圈： 控制进光量。 曝光时间： 光到达的时间长度。 ISO： 增益，或称为感光度。 I. 像素 传感器上有许多感光单元，它们可以将光线转换成电荷，从而形成对应于景物的电子图像。而在传感器中，每一个感光单元对应一个像素（Pixels），像素越多，代表着它能够感测到更多的物体细节，从而图像就越清晰，像素越高，意味着成像效果越清晰。摄像机分辨率的乘积就是像素值，例如：1280×960=1228800 J. 靶面尺寸 图像传感器感光部分的大小，一般用英寸来表示。和电视机一样，通常这个数据指的是这个图像传感器的对角线长度，如 常见的有1/3英寸，靶面越大，意味着通光量越好，而靶面越小则比较容易获得更大的景深。 K. 感光度 即是通过CCD或CMOS以及相关的电子线路感应入射光线的强弱。感光度越高，感光面对光的敏感度就越强，快门速度就越高，这在拍摄运动车辆，夜间监控的时候尤其显得重要。 L. 电子快门 是比照照相机的机械快门功能提出的一个术语。其控制图像传感器的感光时间，由于图像传感器的感光值就是信号电荷的积累，感光越长，信号电荷积累时间也越长，输出信号电流的幅值也越大。电子快门越快，感光度越低，适合在强光下拍摄。 M. 帧率 既指单位时间所记录或者播放的图片的数量。连续播放一系列图片就会产生动画效果，根据人类的视觉系统，当图片的播放速度大于15幅/秒（即15帧）的时候， 人眼就基本看不出来图片的跳跃；在达到24幅/s——30幅/s（即24帧到30帧）之间时就已经基本觉察不到闪烁现象了。 每秒的帧数（fps）或者说帧率表示图形传感器在处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的视觉体验。 N. 信噪比 是信号电压对于噪声电压的比值，信噪比的单位用dB来表示。一般摄像机给出的信噪比值均是AGC（自动增益控制）关闭时的值，因为当AGC接通时，会对小信号进行提升，使得噪声电平也相应提高。 信噪比的典型值为45——55dB，若为50dB，则图像有少量噪声，但图像质量良好；若为60dB，则图像质量优良，不出现噪声，信噪比越大说明对噪声的控制越好。这个参数关系的图像中噪点的数量，信噪比越高，给人感觉画面越干净，夜视的画面中点状的噪点就越少。 4.5 DSP 数字信号处理器DSP(DIGITAL SIGNAL PROCESSING)功能：主要是通过一系列复杂的数学算法运算，对数字图像信号参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备 3.5.1 DSP和ISP区别 名词解释： ISP 是Image Signal Processor 的简称，也就是图像信号处理器。 DSP是Digital Signal Processor 的缩写，也就是数字信号处理器。 在介绍Camera ISP和DSP区别前，我们先看看Camera的工作流程 拍摄景物通过镜头，将生成的光学图像投射到传感器上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过DSP加工处理，再被送到电脑中进行处理，最终转换成手机屏幕上能够看到的图像。 数字信号处理器DSP(DIGITAL SIGNAL PROCESSING)功能：主要是通过一系列复杂的数学算法运算，对数字图像信号参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备。DSP结构框架: ISP(image signal processor)(图像信号处理器) JPEG encoder(JPEG图像解码器) USB device controller(USB设备控制器) ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level 等等功能的处理。 DSP功能就比较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。 ISP是一类特殊的处理图像信号的DSP。 05 摄像头模组的分类及相关概念 5.1 按接口分 5.1.1 USB接口 UVC，全称 USB Video Class 、是 USB-IF 定制的一套标准，所有遵循这一标准的 USB 接口摄像头在 Windows Linux 等系统下，几乎能直接使用，达到类似免驱的效果。 当然了，并不是说真正的不需要驱动，而是只要某个 USB 接口的摄像头遵循了 UVC标准，它就能被 Window、Linux 系统中一套通用的驱动所驱动，而不需要你再安装其他的驱动。比如 Linux 内核中就有一套针对 UVC 设备的通用驱动：drivers/media/usb/uvc , 只要打开了这套驱动，几乎所有的 UVC 摄像头都可以直接使用。 5.1.2 MIPI接口 MIPI（移动行业处理器接口）是Mobile Industry Processor Interface的缩写。MIPI是MIPI联盟发起的为移动应用处理器制定的开放标准。常见的智能手机上的摄像头是MIPI接口，CSI是相机串行接口（CMOS Sensor Interface）的简称。 MIPI 组织致力于把移动通信设备内部的接口标准化从而减少兼容性问题并简化设计。例如摄像头接口CSI、显示接口DSI、射频接口DigRF、麦克风/喇叭接口SLIMbus等。 MIPI总线速率lvds接口耦合，走线必须差分等长，并且需要保护，故对PCB走线以及阻抗控制要求高一点（一般来讲差分阻抗要求在85欧姆~125欧姆之间）MIPI是LVDS低压差分串口，只需要要CLKP/N、DATAP/N——最大支持4-lane，一般2-lane即可。MIPI接口比DVP的接口信号线少，由于是低压差分信号，产生的干扰小，抗干扰能力也强。DVP接口在信号完整性方面受限制，速率也受限制。500W还可以勉强用DVP，800W及以上都采用MIPI接口。所以高清摄像头我们都选用MIPI接口 。 5.1.3 DVP接口 还有一部分的摄像头（比如说某些支持DVP接口的硬件）是DVP(Digital Video Port)摄像头数据并口传输协议， DVP是并口，提供8-bit或10-bit并行传输数据线、HSYNC(Horizontal sync)行同步线、VSYNC(Vertical sync)帧同步线和PCLK(Pixel Clock)时钟同步线。 DVP总线PCLK极限约在96M左右，而且走线长度不能过长，所有DVP最大速率最好控制在72M以下，PCB layout较容易画 以OV3640摄像头为例： DVP分为三个部分： 输出总线输入总线电源总线 LVDS接口：LVDS（Low Voltage Differential Signaling)即低压差分信号传输 5.1.4 网口：IPC网络摄像头 5.1.5 SDI接口：专业视频接口，采用同轴电缆的，走数字信号，现在有18GHz带宽的产品，可以满足8K视频传输。 5.1.6 RGB接口：模拟视频接口，采用同轴电缆的，走模拟信号，720x576标清信号以下。 5.1.7 eDP接口：比较新的规范，在笔记本行业将广泛用于取代LVDS，支持超高分辨率，支持1080P以上 5.2 按镜头分类 广角镜头 标准镜头 长焦镜头 变焦镜头 针孔镜头 5.3 按成像分 彩色摄像头 黑白摄像头 红外摄像头 5.4按感光原件分 CCD CMOS 5.5按焦距是否可调分 定焦摄像头 变焦摄像头 5.6 按sensor封装分 COB： 是指Chip On Board。这种方式是将最原始的芯片(Bare Die，裸片)，通过打线（Wire Bond）的方式把芯片上的信号和线路板连接在一起。这种方式需要有专门的DA,WB等一系列机台配合。 CSP：这种方式是预先把Die通过半导体封装做成类似BGA的方式。但是由于封装的尺寸很小，所以叫做Chip Scale Package (芯片尺寸封装)。 06 摄像头模组的厂商 摄像头模组市场上有众多优秀的厂商，以下是一些代表性的企业： 舜宇光学科技集团有限公司： 中国最大的光学仪器制造商之一，专业从事光学镜头、光电产品的研发、制造和销售。其摄像头模组产品广泛应用于手机、相机、汽车等领域。 欧菲光集团股份有限公司： 中国领先的精密光电薄膜元器件制造商，专业从事摄像头模组的设计、制造和销售。产品广泛应用于智能手机、平板电脑、可穿戴设备等领域。 丘钛科技(深圳)有限公司： 中国领先的摄像头模组制造商，产品广泛应用于智能手机、平板电脑、汽车等领域。注重技术创新和产品质量，拥有多项核心专利和技术。 立景创新股份有限公司： 中国领先的智能视觉解决方案提供商，产品广泛应用于智能手机、平板电脑、可穿戴设备等领域。注重技术创新和产品质量，拥有多项核心专利和技术。 江西同兴达精密光电有限公司： 中国领先的摄像头模组制造商，产品广泛应用于智能手机、平板电脑、汽车等领域。注重技术创新和产品质量，拥有多项核心专利和技术。 合力泰科技股份有限公司： 中国领先的电子元器件制造商，专业从事多种电子产品的研发、制造和销售，包括摄像头模组。产品广泛应用于智能手机、平板电脑等领域。 联创电子科技股份有限公司： 中国领先的精密光电元器件制造商，产品广泛应用于智能手机、平板电脑等领域。注重技术创新和产品质量，拥有多项核心专利和技术。 这些厂商在摄像头模组领域具有较高的技术实力和市场份额，为物联网系统提供了高质量的摄像头模组解决方案。 供应商A：深圳市同赢实业有限公司 1、产品能力： （1）选型手册 同赢工业摄像头 选型清单.pdf （2）主推型号1：TYAX100-001 对应的产品详情介绍 品名型号:720P摄像头模组H62 品牌:TY 对焦方式:定焦/手动调焦 线长:标配1M 分辨率:1280*720P 产品接口:USB 2.0 产品尺寸:38*38mm/32*32mm 产品适用于:广告机,门禁,人脸识别 支持系统:And(需加uvc),Win,Linux 产品特点: 1:支持来图来样定制 2:可配不同广角镜头 3:可定制高中低端方案 本文章源自奇迹物联开源的物联网应用知识库Cellular IoT Wiki，更多技术干货欢迎关注收藏Wiki： Cellular IoT Wiki 知识库(https://rckrv97mzx.feishu.cn/wiki/wikcnBvAC9WOkEYG5CLqGwm6PHf) （如有侵权，联系删除）

阿里云 Imagine Computing 创新技术大赛，是由阿里云与英特尔主办，阿里云天池平台、边缘云、视频云共同承办的顶级赛事，面向个人开发者和企业的边缘云领域算法及实时音视频应用类挑战。 本次创新技术大赛共分为两个赛道：「 边缘云内容分发网络客户体验预测算法 」和「 设计低延时高体验的实时音视频应用 」。参赛者可自由组队参赛，基于英特尔顶级算力的边缘云计算节点，探索低延时与性能加速命题，体验边缘云端创新的无限魅力。 01 赛程安排 本次大赛分为初赛、复赛和决赛三个阶段，具体安排和要求如下： ❖ 报名 & 组队（即日起—12 月 2 日，UTC+8） ❖ 实名认证（即日起—12 月 3 日，UTC+8） ❖ 初赛（11 月 1 日—12 月 3 日，UTC+8） ❖ 复赛（12 月 7 日—12 月 24 日，UTC+8） ❖ 决赛（时间另行通知） 更多赛程信息参见官网内容： https://tianchi.aliyun.com/specials/promotion/Tianchi_2022EdgeCloudChallenge 02 赛道介绍 赛道一 边缘云内容分发网络客户体验预测算法 准确地预测网民侧的客户体验水平是 CDN 网络进行节点优化布局、流量调度策略调整、内核网络协议栈及应用层节点软件优化的基础和指南针。 本赛道要求参赛者基于给定的某区域的 CDN 节点的服务侧指标精准预测客户端的卡顿率，鼓励参赛者尝试融合更多的数据构造特征，利用机器学习和深度学习等人工智能模型来创新性地解决 CDN 中卡顿率预测这一问题。 赛道二 设计低延时高体验的实时音视频应用 随着企业数字化进程加速，云上算力也从中心逐步延展到网络边缘，从而形成新型的边缘基础设施。算力和网络在边缘侧加速融合，而视频应用是否流畅、高清、低延时等已成为用户最为关心的话题。 本赛道以音视频处理技术应用为核心，结合边缘云就近计算的特性，以实战的方式考察低延时、高体验的实时音视频应用开发。 03 奖项设置 本届创新技术大赛共设总奖金池34 万元人民币，每个赛道均设立奖金池17 万元，以决赛答辩名次决出冠军队伍1支，亚军队伍2支，季军队伍3支，并颁发获奖证书！ 04 参赛须知 ❖报名方式：用淘宝或阿里云账号登录比赛官网，完成个人信息注册，即可报名参赛； ❖参赛队伍 1-3 人组队参赛，每位选手只能加入一支队伍； ❖确保报名信息准确有效，否则会被取消参赛资格及激励； ❖选手报名、组队变更等操作截止时间为 12 月 2 日下午 18:00（UTC+8）； ❖各队伍（包括队长及全体队伍成员）需要在 12 月 3 日 22:00 前完成实名认证（认证入口：天池官网-右上角个人中心-认证-支付宝实名认证），未完成认证的参赛团队将无法进行后续的比赛； ❖大赛官方交流请加入选手钉钉交流群：

前言：近几年来，随着AIOT技术的演进以及工业4.0的飞速发展，强大性能，成本领先，供货周期长的嵌入式板卡已经成为这两类设备硬件开发的普遍需求。 为响应行业应用和满足客户需求，米尔推出了基于NXP公司i.MX 8M Mini系列芯片的MYC-C8MMX系列核心板及开发板，现已隆重上市发售。MYD-C8MMX开发板提供LVDS显示（单路/双路）、MIPI-DSI信号引出、MIPI-CSI摄像头接口、支持音频输入输出、千兆网、多路USB、多串口、WIFI及蓝牙模块等丰富的接口；同时核心板批量性价比高，稳定供货周期长达10年。 让我们一起来看下，一个高性价比的开发平台是什么样子的： 一、高性能低功耗的“芯” NXP公司的i.MX 8M Mini系列处理器，是恩智浦一款全新的嵌入式多核应用处理器，采用先进的14LPC FinFET工艺技术构建，提供更快的速度和更高的电源效率。凭借商业和工业级认证以及恩智浦产品长达10年供货计划的支持，可用于广泛的通用工业和物联网应用。 芯片系统框图： 可以访问 NXP 官方网站以了解关于 i.MX8M Mini 的更多资讯。 二、丰富软硬件资源的开发板 为了满足各种产品设备的功能需要，开发板MYD-C8MMX提供了丰富的外设接口，能最大程度利用核心板资源并为用户的硬件开发提供可靠的参考电路，简化开发难度和时间。 MYD-C8MMX 开发板框图 : 板载硬件特点 ： 采用i.MX8M Mini四核处理器，搭配2G DDR4+8G eMMC大容量内存，让系统运行更快更流畅，同时具有工业级温度及十年供货周期。 多媒体接口：LVDS+MIPI-DSI+MIPI-CSI,最高支持1080p60,支持高保真音频输入输出，大大丰富用户的数字多媒体设计应用。 通信接口：WIFI/蓝牙模块+千兆以太网+4G LTE，能够给工业物联网及AIOT产品提供稳定迅速的连接。 支持M.2 PCI-E接口的SSD存储扩展，让数据存储更加快速。 配套 软件 资源 ： Yocto Linux UbuntuLinux Android9.0 三、极具性价比优势的核心板 MYC-C8MMX核心板采用NXP公司i.MX8M Mini系列处理器，4核ARM Cortex A53处理器高达1.8G HZ主频，板上集成了 电源管理芯片、DDR4、eMMC、 QSPI FLASH、 千兆以太网PHY以及200 PIN的信号扩展 连接器 ，满足复杂应用及工业级温度要求，具有极高性价比优势。 米尔提供核心板MYC-C8MMX以及开发板MYD-C8MMX供客户选择。 四、广泛的应用场景 米尔MYC-C8MMX核心板及开发板适用于高性能板卡要求的工业控制以及物联网等领域，能够把运算以及实时处理的任务从云端释放到边缘，加速工业物联网以及AIOT产品落地应用。 产品可以广泛应用于智能充电桩、智慧灯杆、广告机、新零售自动售货/售票机、人机互动查询及业务办理机、车联网(V2X)、泛在电力物联网、高性能仪器仪表（工业及医疗）、工业控制及人机互动装置、智能交通、智慧消防、智慧城市、智慧楼宇等领域。 同时米尔电子提供了一系列完整的软件开发资源及文档说明，方便用户迅速进行开发，加速产品上市时间，在当今各行各业信息智能化、物联网化的时代中，相信会掀起一番新的应用浪潮，目前MYC-C8MMX核心板及开发板已隆重上市热卖。

          N32905U1DN是 台湾新唐推出的一款 基于ARM9内核的32位多媒体音视频专用处理器， 支持CMOS摄像头接口、音视频硬件编解码，集成32M内存，分辨率最大640x480，专为wifi音视频类产品而开发,是WIFI智能家居、物联网研发的最佳平台。片内集成32M内存 大大降低了EMI、噪声耦合，确保了更高的性能，从而时PCB支持双层板设计，大大降低硬件成本。         N32905U1DN可以用于开发儿童玩具、人机界面产品、安防产品、wifi类智能家居（网络摄像头、智能插座）、广告机等。             新唐N329x系列的多媒体处理器，相比同类型的处理器，集成度更高、功耗更低，在对功耗、体积、便携式敏感的场合，新唐的优势就体现出来了。           1.芯片 N32905U1DN 简介：   内核：ARM926EJ-S   工作频率：200MHz   工作电压：I/O-3.3V、核-1.8V   封装：LQFP-128   存储资源：集成32MB内存DDR、8KB SRAM、16KB ROM   接口资源： 80xGPIO、10位ADC、RTC、I2C、SPI、2xUART、4xPWM、 2xTimer、Watchdog、USB Host、USB Device、支持NAND、SD、SDIO接口、I2S、音频DAC、VPOST、5xDMA     特色资源 ：SPU-声音处理单元， 2D图像加速器；                       支持JPEG硬件编解码，编码原始视频数据；                       支持CMOS摄像头接口，捕获YUV、RGB格式数据；                       片内集成32M内存。   2.N32905内部结构图如下：   3. N32905典型应用图如下：            更多资料请关注我的Blog和淘宝店铺：http://shop115810328.taobao.com      中文手册下载  ： N3290x DataSheet-中文版-v1.0.pdf       开发板手册： Mini905开发板用户手册-v1.0.pdf  

随着数字化和网络化时代的到来，尤其是宽带无线网络的发展，为音视频这样大数据量传输业务在无线网络上的应用提供了契机。同时由于音视频独特的感官特性，使其相关的应用需求也变得越来越迫切。无线多媒体是多媒体和移动通信这两个领域的技术相互融合的产物，成为当今通信领域的一个热点。鉴于Linux内核的开源性，采用其作为操作系统，从而使整个系统具有更好的实时性和稳定性。整个系统以ARM11为核心处理器、采用新一代视频编解码标准H.264进行编译码，并通过无线网络传输音视频。它充分利用S3C6410微处理器内部集成的多媒体编解码器（Multi-Formatvideo Codec，MFC），有效提高了系统的性价比。整个系统为无线多媒体音视频的传输提供了一个好的解决方案，可广泛应用在远程监控、视频电话等各种领域，具有较好的实用价值和推广应用前景。 1 系统总体方案设计 通信双方系统中音频和视频采集模块负责采集模拟信号，并将采集到的音视频数据送到音视频管理模块，经过压缩处理，再加上数据包头一起由WiFi发送到对方；对方接收到数据后，经过相关处理，判断音视频帧类型，再送往解压缩处理模块，恢复出音视频数据。通信双方设备均包含嵌入式音视频管理模块和无线收发模块。无线WiFi 收发模块运行在2.4 GHz 频段，符合IEEE 802.11b无线局域网协议标准。 2 系统硬件设计 系统硬件设计以ARM11 为核心微处理器，主频为532 MHz，能够满足实时处理的要求，其内部集成有256 MB SDRAM、2 GB FLASH、音频录、放音接口、Camera视频接口、无线WiFi接口、LCD接口、SD卡接口等，同时以开源的Linux 2.6.28 为内核，yaffs2 为根文件系统，Qtopia 4.4.3 作为用户界面，为开发调试和系统设计提供了良好的平台。 2.1 音视频采集模块 音频采用处理器内部集成的IIS（Inter-IC SoundBus）音频接口和WM9714音频芯片。IIS是飞利浦公司为数字音频设备之间的音频数据传输而定制的一种总线标准。在飞利浦公司的IIS标准中，既规定了硬件接口系统，也规范了音频数据的格式。基于此硬件及接口规范，实现了集成音频输出、Linein输入和Mic输入功能。 视频采集使用的是OV9650CMOS摄像头模块，分辨率高达130万像素，可直接与OK6410开发板的Camera接口相接。适用于高端消费类电子产品、工业控制、车载导航、多媒体终端、行业PDA、嵌入式教育培训、个人学习等。其结构较简单，提供硬件驱动程序，便于使用和调试。 2.2 无线传输模块 本系统的无线传输模块采用工作在2.4 GHz 公共频段的WiFi模块来实现，它遵循IEEE 802.11b/g网络标准，可用于在后期开发中将终端接入Internet，其最高数据率为54 Mb/s，支持WinCE、Linux 系统。室内通信距离可达100 m，室外开阔地可达300 m。只需要对ARM-Linux操作系统进行简单的配置就可以由以太网连接模式转化为双机通信AD-HOC模式，在系统启动之后，设计了基于Qt的窗口设计，方便切换连接模式。 选用WiFi具有很好的可扩展性，可以通过无线路由器的WiFi连接到广域网，具有很好的应用前景。同时大多数手机等终端设备具有WiFi功能，后期还可以将软件升级至Andriod系统，方便开发和移植。它减少了音视频实时传输的开发成本和周期，也给现代移动通信提供了一种新的音视频通信方式。 WiFi的驱动配置好后，应用层和以太网接口模式编程完全相同。由于此设计音视频数据量较大，不宜采用UDP，因为当数据量过大或传输信号不好时，UDP会严重丢包，所以最终选择面向连接的TCP传输协议，保证了系统音视频有效传输。由于TCP是应答时式传输数据，在局域网内，无需考虑TCP丢包问题，为实现系统功能提供了可靠的保障。 3 软件设计 软件分为用户界面设计和数据处理、传输等模块的设计。 3.1 基于多线程的软件总体设计 系统软件架构如图1 所示，它是音视频单向采集、压缩、传输、接收、解压缩、处理回放音视频流控制过程，各个模块采用线程处理，由信号量处理线程间优先级构成循环的线程，有效地处理了音视频数据流。系统各功能模块化，便于修改和移植，代码简短精悍。 图1 软件架构 3.2 回音消除 系统开始时出现回音和延时问题，延时是由于采集传输过程中造成的，所以只能尽量缩短延时，而无法做到即时播放，这也是此系统的缺陷之一。回音是由于延时造成的，文中最后采用开源的Speex算法消除了回音。具体做法：将该算法编译成库文件，加入到Linux内核，即可以使用Speex 的API函数，实现音频的回音消除。 3.3 嵌入式音视频的同步 本文的基本思想是以视频流为主媒体流，音频流为从媒体流，视频的播放速率保持不变，根据本地系统时钟确定实际时间，通过调整音频播放速度来达到音视频同步。 首先选择一个本地系统时钟参考（LSCR），然后将LSCR发送到视频解码器和音频解码器，由这两个解码器根据各帧的PTS值对照本地系统时钟，参考产生各帧准确的显示或回放的时间。也就是说，生成输出数据流时依据本地参考时钟上的时间给每个数据块都打上时间戳（一般包括开始时间和结束时间）。在播放时，读取数据块上的时间戳，同时根据本地系统时钟参考上的时间来安排播放。 整个系统的音视频同步数据流程如图2所示。 图2 音视频同步数据流程 4 音视频通道管理 为了节约内存资源，便于通道的管理，本设计采用分通道的线程池管理，音、视频分别由自己的通道完成任务。 音视频采集使用同一个线程处理，采用select系统调用，每执行到此线程，就判断音视频设备是否就绪，若就绪即采集音频或视频到音视频缓冲区，再交给音视频采集压缩线程，最后再交给发送线程打包后采用TCP发送。需要说明的是本设计线程之间均采用信号量完成线程间基于TCP的音视频软件架构的同步管理。发送完以后进入接收线程等待对方发音视频数据。在接受端由接收线程接收到数据以后，判断数据的包头，再交由解压缩处理线程处理，然后播放音视频，再等待对方发数据到本机。 由于处理器的高速处理和高效率视频硬件H.264解压缩，使得整个系统实时性基本达到要求。嵌入式音视频管理模块实现了整个系统的统筹控制和实时处理，为音视频数据管理提供可靠的保证。 5 结语 目前基于嵌入式无线终端的视频监控产品由于无需布线、传输距离远、环境适应能力强，性能稳定及通信便利等优势而倍受青睐，在安全监察、巡查通信、施工联络、人员调配等场合发挥着不可替代的作用。本系统是基于嵌入式Linux的无线音视频通信手持式终端，其体积较小、携带方便，采用锂电池经过开关电源芯片降压的方式给整个系统供电，其效率较传统直流稳压大大提高。在户外可视化娱乐、施工现场监控、大型安保联络等场合均可使用，具有广泛的应用前景。