标签: 车载摄像头

车辆自动驾驶包括感知、判断和执行，而感知是整个过程的源头，是自动驾驶系统的重要模块。在车辆行车过程中，感知系统会通过传感器实时采集周边环境的信息，相当于自动驾驶汽车的“眼睛”，帮助汽车实现类似于人类驾驶员一样效果的观察能力。 感知系统主要由摄像头、超声波雷达、毫米波雷达、激光雷达（可选）等传感器构成。摄像头作为主要的环境感知传感器起着非常重要的作用，可以实现360°全面视觉感知，弥补雷达在物体识别上的缺陷，是最接近人类视觉的传感器。随着自动驾驶技术的发展，要求的车载摄像头数量越来越多，清晰度越来越高，稳定性越来越强。 传感器布局 目前L2+、L3级别车辆搭载的摄像头根据安装位置主要分为前视摄像头、环视摄像头、后视摄像头、侧视摄像头以及内置摄像头五种类别。在行车时，前视、侧视、后视与毫米波、激光雷达共同感知融合，提供给算法模块可行驶区域、目标障碍物等信息，实现ACC/ICA/NCA、AEB、LKA、TSR等功能，同时内置摄像头会监控驾驶员的状态，实现疲劳监测功能；在泊车时，环视摄像头和超声波雷达共同感知停车位环境，实现APA功能。 车载摄像头在汽车高级驾驶辅助系统（ADAS）中扮演着重要角色，为我们的行车安全提供了强大的支持。那么在做ADAS HiL测试时如何实现Camera仿真呢？ 北汇信息提供以下两种实现方案： 视频暗箱 视频暗箱是将虚拟仿真场景视频信号连接到暗箱中的显示器上，使用真实摄像头对着显示器拍摄视频，通过同轴线缆将拍摄到的视频信号传输给自动驾驶控制器，使控制器认为处于实车环境中，从而达到对ADAS控制器测试的目的。 视频暗箱方案示意图 暗箱设备主要由箱体、滑轨、显示器、透镜、摄像头及相关支架、底座组成。视频暗箱不需要主机厂或者Tire1提供图像采集模块与图像处理模块之间的通信协议，其采用真实的摄像头，这种方式容易实现、成本较低，但是需要根据显示器的大小，精确的设定摄像头的摆放位置和角度，易受光线和显示器的影响，同时显示器的频率有可能会造成图像识别的延迟。此方案适用于单目摄像头，并且摄像头视场角要小于120°（环视摄像头无法使用此方案），视频暗箱设备较大，一个暗箱只支持一路摄像头，精度也较低。 视频暗箱整体结构 摄像头标定分两部分，首先是硬件设备位置标定，保持摄像头、透镜、显示器中心在一条水平线上；其次要在仿真场景中对拍摄到的车道线进行标定。 视频注入 视频注入系统可用于摄像头原始数据流视频注入，使用视频注入盒对ADAS系统的车载摄像头传感器进行替换。摄像头仿真设备通过HDMI/DVI接口接收虚拟仿真场景不同Camera视角视频信号，内部进行图像处理后以特定协议的视频信号注入给ADAS控制器。 视频注入方案示意图 视频注入技术不受光线的影响，仿真精度高，支持在线调节摄像头信号颜色空间（RGB，YUV，RAW等）。一个视频注入盒最多同时支持两路摄像头仿真，注入盒体积较小，仿真多路摄像头信号时，各通道视频信号可通过串行器来同步信号触发，适用于多目摄像头、多通道注入。 视频注入需要特定的视频协议信息，需要主机厂或者Tire1提供图像采集模块与图像处理模块之间的通信协议，开发存在畸变标定、色差调节等技术难点，成本较高。 视频注入系统支持对多种Camera安装位置和特征进行配置（包括Resolution、Frame rate、Optics和Sensor特性等），适用于各类基于摄像头的应用。此外，视频注入+摄像头模型能还能在仿真环境中实现其他镜头特性效果，例如屏闪、镜头畸变、鱼眼、运动模糊等，模拟由于环境光线突变导致的摄像头短时间曝光过度或不足、部分或全部通道增益调节错误、摄像头成像噪点或图像失真、镜头被雨雾或污泥遮挡导致的成像故障。 曝光过度 像素坏点 对于视频注入方案，摄像头仿真模型需要根据真实畸变数据、FOV、像素大小、分辨率等参数生成，但仿真模型仍与真实车载摄像头存在细微畸变差异，需要进行标定。标定有两种方法，方法一是获取摄像头模型拍摄的图片，计算出图片的畸变参数，修改ADAS控制器配置的摄像头畸变参数；方法二是使用模型生成的黑白棋盘格图像和真实摄像头图像比照，细微调整仿真模型的参数，以达到畸变参数一致。 棋盘格标定 ADAS HiL中，仿真的摄像头视频流数据与动力学模型数据及其他传感器数据共同传输给控制器，在CANoe软件中做实验管理，形成闭环链路。 仿真摄像头可以模拟真实世界中的各种场景和情况，包括不同的道路条件、天气条件和交通情况。通过模拟这些场景，可以评估控制器 在各种情况下的性能和鲁棒性。 ADAS控制器接收视频流原始数据、激光雷达点云数据、毫米波雷达和超声波雷达目标列表数据，评估控制器 对不同传感器数据的融合和处理能力 。 摄像头仿真还可以用于测试和验证控制 算法和功能。通过模拟各种场景和情况，可以验证 控制器 的目标检测、目标跟踪、车道保持、自动紧急制动等功能的准确性和可靠性。 视频流数据模拟全黑、全白、噪声叠加、运动模糊、丢帧、延迟等故障，注入给控制器，验证控制器功能安全机制。 总结： 本文首先介绍了车载摄像头在ADAS系统中的作用，重点描述了在ADAS HiL中视频暗箱和视频注入两种摄像头仿真方案的差异，最后简要介绍了车载摄像头仿真在ADAS HiL中的应用。 北汇信息作为Vector的技术合作伙伴，覆盖智能驾驶系统MiL/HiL/ViL测试、车联网测试，传感感知测试等，为客户提供优质的智驾测试解决方案、测试集成系统和服务，助力智能驾驶仿真测试系统的快速验证和测试。

自动驾驶的迅速发展带动车载摄像头的需求，同时提高对其的性能要求。 2021年中国乘用车ADAS摄像头市场规模超70亿元，预计2025年中国乘用车ADAS摄像头市场规模可达250亿元。在市场快速发展下，车载摄像头需在耐高温、抗震、防磁、防水、高动态范围、低噪点等基本性能基础上，将进一步提升像素、识别距离、视场角、3D立体测距、夜视能力等，以满足高阶自动驾驶功能要求。 感知性能方面 车载摄像头相比毫米波雷达、激光雷达，具备技术成熟、成本低、可以识别目标并分类等优势，但其相对依赖光线并且受天气影响大。目前行业内自动驾驶感知主要有摄像头为主的视觉感知和激光雷达多传感融合两种方案，其中视觉方案性价比高，激光雷达多传感融合的感知能力则更强，因此各大厂商根据自身情况采用相应的技术路线。 市场规模预测 自动驾驶飞速发展带动摄像头需求，根据现阶段自动驾驶渗透率及每辆车平均搭载的摄像头数目测算，预计2025年中国乘用车ADAS摄像头市场规模可达250亿元。 市场竞争格局 车载摄像头模组的集中度较高，前视摄像头Top 5供应商占据68%的市场份额，主要为外资企业；环视摄像头Top 5供应商占据61.7%的市场份额，TTE、德赛西威等国内企业积极布局抢占市场。 主机厂搭载量 2022年上半年比亚迪搭载摄像头高达200万颗，平均每辆车搭载3.5颗，高于上半年整体汽车行业平均2.3颗的水平，同时，特斯拉在售车型均标配8颗摄像头。 技术趋势方面 在自动驾驶功能对高分辨率摄像头的迫切需求下，800万像素前视车载摄像头将逐渐成为主流；另一方面，相比单目摄像头而言，双目、三目测距较简单且准确，因此3D立体前视车载摄像头搭载量也正迅速增长。此外，算力集中化、整车E/E架构驱动车载摄像头“去芯”，未来车载摄像头或将逐渐去掉DSP（ ISP ）图像信号处理器，被定义为“只采集、不计算”。由于ADAS功能需全天候运转，增强摄像头的夜视能力也显得极其重要，其中远红外/热成像的夜视系统具备在全天候下工作的能力，且在测距、穿透性上性能更佳，且不会受强光或光线突变的影响，是目前最适合用在夜视系统的技术方案。 车载摄像头通过光、电、图像信号转化实现图像显示，主要由光学镜头、CMOS、DSP等部件构成。车载摄像头是自动驾驶之“眼”，模仿人的眼睛帮助驾驶员观察驾驶环境，由于驾驶环境复杂多变，需具备耐高温、抗震、防磁、防水、高动态范围、低噪点等基本性能。 相比毫米波雷达、激光雷达，车载摄像头技术成熟、成本低、可以识别目标并分类，但依赖光线、受天气影响大。以摄像头为主的视觉感知方案性价比高，是目前应用比较多的一种方案，如特斯拉、极氪（搭载Mobileye方案）等。以激光雷达为基础并融合毫米波、摄像头的雷达方案虽然成本更高，但其感知性能更好，因此受到向L3进阶的车企重视并使用，如小鹏、蔚来、极狐等。 自动驾驶飞速发展带动摄像头需求，车载摄像头市场规模迅速增长。2022年上半年中国乘用车平均每辆车搭载2.3颗ADAS摄像头，预计2025年增长至6颗；2022年上半年，乘用车ADAS摄像头搭载量为超2000万颗，其中后视摄像头渗透率最高，前视摄像头渗透率相比2020年上半年增长近18个百分点；2022年上半年车载摄像头市场规模约37亿元，同比增长15%，预计2025年可达250亿元。 从技术层面来说，自动驾驶对车辆自身安全、行人安全与预警提出了更高的要求，车载摄像头的应用需求从成像镜头向感知镜头转变，800万像素前视车载摄像头将成为主流，其提高清晰度同时，还可拥有更远探测距离、更大视场角；此外，3D立体摄像头搭载量迅速攀升，在测距方面双目、三目立体摄像头比单目摄像头直接简单、准确。 车载摄像头供应商纷纷布局智能摄像头产品以满足自动驾驶需求，如博世第三代前视摄像头应用纹理识别、密集光流法、CNN卷积神经网络三大技术，可识别无车道线的道路、任意边界的车道线、人蹲下来/小球在道路上滚动场景、交通标志、行人、自行车、房屋、草木、天空等目标；德赛西威可提供基于环视摄像头的540°全景影像（包含360° 环视、180°底盘透视）、自动泊车、遥控泊车、360°行车记录仪等功能与解决方案。 整体而言，车载摄像头作为自动驾驶感知层基础且重要的传感器，市场规模、技术趋势的变化与自动驾驶发展息息相关。基于车载摄像头广阔的市场空间，国内外摄像头企业也积极拓展相关产品与业务。海外Tier 1 厂商如博世、法雷奥等出货量大，其代表产品的性能与技术应用走在行业前沿；国内厂商在产业升级的背景下加大产品研发力度与布局，提升在自主品牌车型的应用，有望持续扩大车载摄像头业务规模。