标签: 自动驾驶

随着自动驾驶（AD）/高级驾驶辅助系统（ADAS）在车辆中的应用日益广泛，其引发的各类事件分析成为关键问题。本文聚焦 特斯拉Autopilot 的紧急制动情况，借助IVEX打造的 数据采集平台（Carvex） 及 安全分析平台（Safety Analytics platform） 展开研究。 通过对超过 15000公里 行程、 40TB 数据中 紧急制动事件 的剖析，发现Autopilot在面对超出操作设计域的场景时会解除自动驾驶，导致驾驶员紧急制动；同时还存在将正常情况 误判为风险 而紧急制动的现象，这些分析为深入了解AD/ADAS系统行为提供了参考。 一、引言 在过去几年里，AD/ ADAS组件在商用车和零售车辆中越来越受欢迎。这也带来了一系列亟待解决的复杂问题。比如一个备受关注的问题 ：如何从数千小时的驾驶数据（包括开发阶段和实际路测）中识别并理解由 AD/ADAS 行为触发的各类事件，如紧急制动、急加速、低碰撞时间等。 数据采集平台Carvex 集成了一套尖端传感器阵列，搭载于特斯拉Model 3车型，主要用于采集驾驶数据以驱动产品开发。大部分数据是在Autopilot（特斯拉的L2 ADAS系统）被激活时收集的。由于 Autopilot 是先进的 ADAS 系统之一，我们特别关注其性能表现，尤其是 误触发紧急制动 （false positive braking）这一ADAS领域长期存在的技术痛点。 起初，我们在检查数据中的紧急制动事件时也遇到了困难。Carvex 已经收集了 15000 公里的驾驶数据。虽然与正常 ADAS 系统在部署前所需的测试里程相比，这个数字还很小， 但我们发现，如果没有良好的辅助工具，识别和检查紧急制动事件并非易事。 本文将解析特斯拉的紧急制动事件。 图1：Carvex数据收集平台 二、研究背景 Carvex 以Model 3为载体，集成包含RTK GNSS、激光雷达、毫米波雷达和多路相机的传感器套件（其中舱内相机用于监测Autopilot状态），所有数据由车载计算机实时记录。系统采用 全天候设计 ，确保恶劣天气下的数据采集完整性。 在数据收集过程中，Autopilot 大部分时间处于开启状态。Autopilot 主要由两个部分组成： 自适应巡航控制 和 车道保持辅助 。Autopilot 需要驾驶员主动监督，一旦遇到超出其操作设计域（ODD）的情况，系统会发出警报并解除自动驾驶。 目前Carvex累计行驶15,000公里，生成超过40TB数据，其中包含大量与Autopilot行为相关的关键事件。 通过IVEX安全分析平台 ，我们实现了： （1） 自动识别 驾驶日志中的 异常事件 （2） 关联事件潜在诱因 （3） 监测Autopilot行为模式变化 本次研究聚焦 减速度超过4.0 m/s² （13.12 ft/s²）的紧急制动事件，包括 Autopilot主动触发 或 系统退出后驾驶员介入 两种情况。这类事件的研究价值在于： （1）可能反映Autopilot超出ODD时的处置失效 （2）假阳性紧急制动可能导致追尾事故，存在安全隐患 三、Autopilot紧急制动解析 Carvex 的传感器数据会通过 开源自动驾驶软件阿波罗（Apollo） 的感知模块进行离线处理。处理后的图像等传感器数据以及 物体列表格式 的感知输出，随后会被导入到IVEX安全分析平台。 平台 能够展示 AD/ADAS 车辆的所有相机视频流。在这种情况下，我们选择重点关注 前置相机 和 舱内相机 的视频流，以便能够观察到其他车辆与Autopilot的行为。 平台支持 多驾驶日志联合检索 ，并按参数分类关键场景，可以通过"聚合视图"功能 筛选特定车速区间 内触发的紧急制动事件。 图2：安全分析平台紧紧急制动聚合视图 1、右侧车辆引发的紧急制动 图3：右侧车辆引发的紧急制动 图4：IVEX中的紧急制动 从图3和图4中可以看出，尽管 右侧卡车未实际侵入车道 ，自车仍以28 m/s（100.8 km/h）时速突发制动（右侧卡车时速75.6 km/h）。同时数据分析显示：当卡车 短暂压线1秒时 ，Autopilot判定其可能 低速切入 （此时车距仅1.59米），遂触发持续1秒的紧急制动，导致车速骤降7 m/s（根据RTK GNSS估算），这对两辆车来说都是一个危险的情况。 图5：仪表盘Autopilot行为记录 我们可以看到，车辆的 Autopilot 将卡车标记为 可能驶入本车车道 的潜在安全风险，这就是车辆决定紧急制动的原因。 2、交通信号灯前的紧急制动 图6：遇到交通信号时的紧急制动 图7：IVEX中的紧急制动 从图6和图7，分析可得车辆以20 m/s（72 km/h）接近路口时，驾驶员在黄灯亮起1.8秒后接管并急刹，3.7秒内完成静止（减速度5.4 m/s²）。值得注意的是，该版本的Autopilot虽能识别信号灯（如下图示），但无响应功能， 紧急制动纯属驾驶员行为 。 图8：仪表盘Autopilot行为记录 3、环岛入口的紧急制动 图9：在进入环形交叉路口之前进行的紧急制动 图10：IVEX中的紧急制动 在紧急制动发生前约 3 秒，车辆以18 m/s（64.8 km/h）接近环岛时突发制动。实测表明，Autopilot因环岛 超出其ODD 而 静默退出 ，驾驶员接管时剩余反应时间不足，导致 制动过急 。所幸后方无车，未造成风险。 4、技术结论 基于上述分析，我们对Autopilot 的行为得出一些结论： （1）ODD边界行为： 当场景超出Autopilot设计域时，系统会无预警退出，迫使驾驶员紧急干预； （2）风险预判机制： 对潜在切入障碍物存在过度敏感现象，可能触发非必要制动。 四、结语 在本篇文章中，我们介绍了如何使用 IVEX 安全分析平台分析特定场景类别 —— 意外紧急制动情况 。从案例中也可清晰了解到IVEX安全分析平台在AD/ADAS数据解析中的三大优势： （1）异常行为快速定位 （2）多维度场景重建 （3）系统决策溯因分析

自动驾驶技术的飞速发展，正在重新定义未来出行的边界。从 感知 到 决策 ，从 规划 到 控制 ，每一个环节都离不开 海量、精准 的 高质量数据支撑 。然而，随着传感器数量的增加和数据规模的指数级增长，行业正面临一系列挑战： 多源传感器数据的时间同步难题 、 复杂数据格式的适配 、 测量技术的灵活性不足 、 设备集成周期冗长 等，这些问题正成为自动驾驶研发与测试的“隐形瓶颈”。 基于技术积累与行业洞察，本文分享一套创新的 ADAS时空融合数据采集方案 。通过硬件与软件的深度协同优化，能够很好地解决数据采集中的核心痛点，还为自动驾驶研发提供了高效、可靠、可扩展的完整解决方案。 一、方案架构 该方案以 “时空融合” 为核心，构建了 传感器层、数据处理层、存储层和用户交互层 ，如下图1所示： 图1：方案架构 传感器层： 负责采集数据，包括 LiDAR、Radar、RTK 和 Camera 等传感器。这些传感器从 不同维度感知环境 ，获得图像、点云、高精度定位以及被测目标物等信息，为系统 提供原始数据 。 数据处理层： 对传感器采集的原始数据进行处理。通过时 间同步算法（PTP/gPTP） ，使不同传感器数据在时间上对齐，解决多源传感器数据时间同步难题。运用 标定算法 ，对各传感器进行单传感器标定和传感器间标定，确定传感器之间的空间关系。同时，解析不同格式的数据，使其能在系统中统一处理。 存储层： 负责存储处理后的数据。支持 多种存储格式 ，如激光雷达数据可存为 pcd 格式或 rosbag 包，毫米波雷达和 RTK 数据可选择 csv 格式或 rosbag 包，方便不同场景下的数据使用和分析。并且按照传感器类型将数据分类存入单独文件夹，便于管理和查找。 用户交互层（软件界面） ：为用户提供操作入口。软件支持 各个传感器数据的可视化 ，方便用户实时查看传感器采集的信息。允许用户对数据采集进行多种配置，如选择存储路径、设置摄像头采集帧数、选择显示时间戳的来源等。还支持对采集环境进行描述，如记录天气和道路状况，为后续数据分析提供更丰富的背景信息。 二、系统搭建 基于方案架构的功能性设计，系统搭建如图2所示，包括 线束改造 ， 时间同步 ， 传感器标定 和 数据采集 。 图2：系统搭建 1、线束改造 线束改造方面，采用模 块化线束设计 ，针对不同传感器的接口特性进行定制化适配： （1）多协议兼容： 支持以太网（LiDAR）、CAN 总线（Radar/RTK）、ProFrame（Camera）等多种通信协议，通过标准化接口实现传感器即插即用，大幅缩短设备集成周期。 （2）轻量化布局 ：基于车辆工程设计，线束走向遵循最短路径原则，减少冗余布线，提升系统可靠性的同时便于后期维护。 （3）抗干扰优化： 采用屏蔽线缆与差分信号传输，降低电磁干扰对数据质量的影响，保障高速率数据（如 LiDAR 点云、Camera 原始图像）的稳定传输。 2、时间同步 方案通过 硬件触发 + 软件校准 实现多传感器纳秒级时间同步，确保时空融合精度： （1）同步基准统一： 以国际原子时（TAI）为时间基准，通过gPTP（通用精确时间协议）与 PPS（秒脉冲信号）实现系统级时间对齐。LiDAR采用gPTP 同步，Camera 通过采集卡 PPS 信号触发，RTK 与 Radar 通过 CAN Combo 的打上时间戳。 （2）外触发机制： 支持LiDAR 外触发Camera 拍摄，可自定义触发频率（10Hz/20Hz/30Hz），确保图像与点云数据严格同步。实测显示，8MP 相机在 30Hz 触发下，帧间对齐时间误差小于 10μs（一般误差在20-30ms）。 3、传感器标定 通过 标定算法 ，建立传感器与车辆坐标系的空间转换关系： 比如单传感器标定中LiDAR2Car，以 车辆后轴中心 为原点，通过标定板采集点云数据，利用 迭代最近点（ICP）算法 计算 4×4 变换矩阵，实现点云到车辆坐标系的转换。 传感器间标定中LiDAR2Camera，利用 同步采集 的点云与图像数据，通过标定板特征匹配，计算外参矩阵（旋转矩阵 R、平移向量 T），重投影误差均值 0.0138m，支持点云投影到图像像素坐标。 4、数据采集 在数据采集环节，配套软件提供 全流程可视化操作 与 高效数据管理能力 ： （1）多模态可视化： 实时显示 LiDAR 点云、Camera 图像、Radar 目标聚类及 RTK 定位信息，支持 分屏监控 与 时间戳同步显示， 便于实时校验数据质量。 （2）灵活配置能力： 格式选择： 支持LiDAR (ros bag)、Radar/RTK (ros bag)、Camera (RAW/PNG)等多种格式，满足不同算法开发需求。 环境标注： 自动记录天气（晴 / 雨 / 雾）、道路类型（城市 / 高速 / 乡村）等元数据，生成包含时间戳、存储路径、传感器配置的场景采集文件，提升数据可追溯性。 （3）稳定存储方案： 按传感器类型生成独立文件夹（如 LiDAR_data、Radar_data），避免数据混杂。 三、总结 通过 线束改造 、 时间同步 、 传感器标定 与 采集软件 的 深度协同 ，以上方案可以系统性解决了多源数据采集中的 时空对齐 、 格式适配 与 高效存储难题 。 具体内容已经通过 实车测试验证 ，支持 厘米级空间定位 与 纳秒级时间同步 ，为自动驾驶算法研发、传感器融合验证提供了可靠的数据基石。

基于 3DGS 和 NeRF 的 三维重建技术 在过去的一年中取得了快速的进步，动态模型也变得越来越普遍，然而这些模型仅限于处理 原始轨迹域内的对象。 HRMAD 作为一种混合方案，将传统的基于网格的动态三维神经重建和物理渲染优势结合，支持在任意位置部署网格动态代理，自由调整环境条件，在多个相机视角下进行自由切换，与传统仿真方法相比有效 减少了领域差距， 同时 保留了可控性。 一、方法描述 HRMAD提出的 NeRF2GS双模型训练范式 显著提升了 合成质量 ，尤其是道路和车道标志，同时满足交互式帧率。通过此块级并行训练架构，可以处理 超过10万平方米场景重建 ，并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端，HRMAD支持多个相机模型、LiDAR和Radar的 实时多模态输出 。如图1所示的模型架构。 图1 具体而言，HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了 NeRF优秀的泛化能力 和 3DGS实时的渲染速度 ，通过T-S结构，将NeRF生成的深度、法线和外观监督信息传递给3DGS模型，并通过正则化将LiDAR深度数据引入NeRF，从而实现更准确的 几何结构建模 。 传统基于透视投影的渲染方法通常依赖于特定的投影模型，为了在3DGS场景中 适配任意传感器 ，HRMAD提出了一种 新的渲染算法架构 ，如下图2所示。 图2 该架构基于 共享代码库 实现了光栅化和光线追踪渲染，用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持 任意相机畸变模型 ，还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后， 点云的可视化效果 。 图3 图4表明HRMAD在 极端视角 下RGB、深度、法线和分割（基于Mask2Former）模态下的几何细节和表面特性，重建面积约为165000平方米（ZalaZone测试场，此重建场景将于 aiSim5.7 版本进行发布）。 图4 二、下游任务验证 1、重建质量验证 由于HRMAD采用的是 基于双边网格的色彩校正方法 ，传统的PSNR指标不再适用，而SSIM和LPIPS指标对 结果相似性 更为敏感，但从结果上看，这两个指标仍然受到 ISP解耦 导致的RAW与重建图像之间 色彩失配 的影响。这一影响体现在了评估结果中，如表1，表中对比了原始3DGS和TCLC-GS在 6个Waymo场景 上的指标表现。 表1 2、语义分割验证 在语义分割上分别从 三个角度 评估模型性能， 首先 通过统计所有像素中 语义分类一致 的比例，反映 全局重建一致性 。 通过 Mask2Former 获取真实图像上计算的分割Mask，并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较，验证 重建的准确性 。同时为了降低道路、天空等易分割区域对整体结果的偏差影响，针对" Car "进行 单独IoU计算 。 为确保验证过程的公平性，真实图像被 重投影 至与渲染过程一致的无畸变针孔相机参数空间，当重建结果正确标注了远距离或被遮挡物体，而Mask2Former因输入信息有限导致 误判 时，此类误差会被 计入评估指标 。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356)， 掩膜一致性 显著下降。结果如表2所示。 表2 其次 在 非常规视角 下进行模型渲染，并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成，并在 米范围内平移前视相机仿真模型。 表3 展示了针对道路表面信息和车辆的 重建性能 。其中 Car类型 的重建性能相对较低，这是由于 Mask2Frame 无法检测远处或被遮挡的物体，从而扩大了差异。 图5 显了示相关结果，绿色为匹配区域，蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。 表3 图5 最后在 极端渲染视角 下（高5m，横向偏移2m，向下偏转25°），针对车道线和路沿语义分割结果进行了 定性评估 ，如图6所示。 图6 3、3D目标检测验证 为了验证HRMAD在 3D目标检测 上的 一致性 ，采用在Waymo Open数据集训练中公开的 DEVIANT 3D目标检测模型 ，进行定量和定性实验。 定量实验 中，在Waymo-13469905891836363794片段中从 横向偏移视角下进行验证，并通过平移变换后的3DBBox定量计算。 定性实验 选取三个驾驶片段进行 静态环境渲染 ，并基于网格渲染添加动态车辆，主要用于评估仿真生成的车辆是否引入了 领域差距 。 表4基于 Waymo指标 进行验证，Original为原始图像。特别在近距离下，HRMAD的表现性能要优于原始图像，这是由于原始图像中 假阳FP 数量更高。在非常规视角渲染下，观察到的差异主要是横向偏移视角下 目标截断 的数量增加，但 整体检测结果 在很大程度上 保持一致。 表4 图7为 DEVIANT模型 在HRMAD渲染Waymo场景中的表现。 图7 三、结语 虽然 HRMAD渲染方法 旨在最大程度减少 区块边界的不连续性 ，但仍不可避免地会产生可见的 伪影 ，特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好，但在自动驾驶仿真测试场景中，在非常规视角下仍然会导致 伪影和结构痕迹 。 在下游任务中，HRMAD针对自动驾驶场景的评估结果已 非常接近真实数据， 但由于 样本有限 ，仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距，具体来说，可以通过探索 层次化高斯泼溅 来减少区块伪影，并利用生成的法线信息改进LiDAR强度模拟，来更好地反应 点云数据 的方向敏感强度。

基于 3DGS 和 NeRF 的 三维重建技术 在过去的一年中取得了快速的进步，动态模型也变得越来越普遍，然而这些模型仅限于处理 原始轨迹域内的对象。 HRMAD 作为一种混合方案，将传统的基于网格的动态三维神经重建和物理渲染优势结合，支持在任意位置部署网格动态代理，自由调整环境条件，在多个相机视角下进行自由切换，与传统仿真方法相比有效 减少了领域差距， 同时 保留了可控性。 一、方法描述 HRMAD提出的 NeRF2GS双模型训练范式 显著提升了 合成质量 ，尤其是道路和车道标志，同时满足交互式帧率。通过此块级并行训练架构，可以处理 超过10万平方米场景重建 ，并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端，HRMAD支持多个相机模型、LiDAR和Radar的 实时多模态输出 。如图1所示的模型架构。 图1 具体而言，HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了 NeRF优秀的泛化能力 和 3DGS实时的渲染速度 ，通过T-S结构，将NeRF生成的深度、法线和外观监督信息传递给3DGS模型，并通过正则化将LiDAR深度数据引入NeRF，从而实现更准确的 几何结构建模 。 传统基于透视投影的渲染方法通常依赖于特定的投影模型，为了在3DGS场景中 适配任意传感器 ，HRMAD提出了一种 新的渲染算法架构 ，如下图2所示。 图2 该架构基于 共享代码库 实现了光栅化和光线追踪渲染，用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持 任意相机畸变模型 ，还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后， 点云的可视化效果 。 图3 图4表明HRMAD在 极端视角 下RGB、深度、法线和分割（基于Mask2Former）模态下的几何细节和表面特性，重建面积约为165000平方米（ZalaZone测试场，此重建场景将于 aiSim5.7 版本进行发布）。 图4 二、下游任务验证 1、重建质量验证 由于HRMAD采用的是 基于双边网格的色彩校正方法 ，传统的PSNR指标不再适用，而SSIM和LPIPS指标对 结果相似性 更为敏感，但从结果上看，这两个指标仍然受到 ISP解耦 导致的RAW与重建图像之间 色彩失配 的影响。这一影响体现在了评估结果中，如表1，表中对比了原始3DGS和TCLC-GS在 6个Waymo场景 上的指标表现。 表1 2、语义分割验证 在语义分割上分别从 三个角度 评估模型性能， 首先 通过统计所有像素中 语义分类一致 的比例，反映 全局重建一致性 。 通过 Mask2Former 获取真实图像上计算的分割Mask，并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较，验证 重建的准确性 。同时为了降低道路、天空等易分割区域对整体结果的偏差影响，针对" Car "进行 单独IoU计算 。 为确保验证过程的公平性，真实图像被 重投影 至与渲染过程一致的无畸变针孔相机参数空间，当重建结果正确标注了远距离或被遮挡物体，而Mask2Former因输入信息有限导致 误判 时，此类误差会被 计入评估指标 。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356)， 掩膜一致性 显著下降。结果如表2所示。 表2 其次 在 非常规视角 下进行模型渲染，并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成，并在 米范围内平移前视相机仿真模型。 表3 展示了针对道路表面信息和车辆的 重建性能 。其中 Car类型 的重建性能相对较低，这是由于 Mask2Frame 无法检测远处或被遮挡的物体，从而扩大了差异。 图5 显了示相关结果，绿色为匹配区域，蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。 表3 图5 最后在 极端渲染视角 下（高5m，横向偏移2m，向下偏转25°），针对车道线和路沿语义分割结果进行了 定性评估 ，如图6所示。 图6 3、3D目标检测验证 为了验证HRMAD在 3D目标检测 上的 一致性 ，采用在Waymo Open数据集训练中公开的 DEVIANT 3D目标检测模型 ，进行定量和定性实验。 定量实验 中，在Waymo-13469905891836363794片段中从 横向偏移视角下进行验证，并通过平移变换后的3DBBox定量计算。 定性实验 选取三个驾驶片段进行 静态环境渲染 ，并基于网格渲染添加动态车辆，主要用于评估仿真生成的车辆是否引入了 领域差距 。 表4基于 Waymo指标 进行验证，Original为原始图像。特别在近距离下，HRMAD的表现性能要优于原始图像，这是由于原始图像中 假阳FP 数量更高。在非常规视角渲染下，观察到的差异主要是横向偏移视角下 目标截断 的数量增加，但 整体检测结果 在很大程度上 保持一致。 表4 图7为 DEVIANT模型 在HRMAD渲染Waymo场景中的表现。 图7 三、结语 虽然 HRMAD渲染方法 旨在最大程度减少 区块边界的不连续性 ，但仍不可避免地会产生可见的 伪影 ，特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好，但在自动驾驶仿真测试场景中，在非常规视角下仍然会导致 伪影和结构痕迹 。 在下游任务中，HRMAD针对自动驾驶场景的评估结果已 非常接近真实数据， 但由于 样本有限 ，仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距，具体来说，可以通过探索 层次化高斯泼溅 来减少区块伪影，并利用生成的法线信息改进LiDAR强度模拟，来更好地反应 点云数据 的方向敏感强度。 目前， HRMAD生成场景 已集成在 aiSim 中，可在不同传感器模型配置方案下，实现 端到端仿真测试 交互式验证和测试。

随着自动驾驶技术的快速发展，仿真软件在开发过程中扮演着越来越重要的角色。 仿真传感器与环境 不仅能够加速算法验证，还能在安全可控的条件下进行复杂场景的重复测试。 本文将分享如何利用 自动驾驶仿真软件配置仿真传感器与搭建仿真环境 ，并对脚本进行修改，优化和验证4个鱼眼相机生成AVM（Around View Monitor） 合成数据 的流程。通过这一过程，一同深入体验仿真软件的应用潜力！ 一、流程概述 AVM 是一种通过多相机实现车辆周围环境的 实时监控和显示 的系统，广泛应用于自动驾驶和高级驾驶辅助系统（ADAS）的环境感知中。本文基于仿真软件与脚本生成AVM图像的流程如下所示： 图1：基于aiSim构建AVM图像流程 首先，在 Unreal Engine 中配置标定投影参数所需的地图，并在仿真器中为车辆部署4个方向的鱼眼相机； 其次，基于相机内参进行 去畸变 ，并记录求解投影矩阵所需的 关键参考值 ，例如AVM画幅尺寸、参考点的相对坐标、参考区域的大小与位置、车辆与参考区域的距离等； 随后，在完成了角点提取预处理的标定图像中快速 选取参考点 ，生成单方向的BEV视图，重复4次完成 标定去畸变 ； 后文将对每个流程进行具体描述。 二、仿真传感器与环境配置 对于AVM功能而言，通常需要配备4个及以上的 大FOV相机 以拍摄车辆周围的图像，在此基础上还可 配备雷达 以更好地获取车辆周围的障碍物信息。 图2：aiSim相机传感器障碍物真值输出 由于本文所使用仿真软件的相机传感器可以直接输出识别对象（车辆、行人等）的2D、3D边界框真值，所以只需配置 4个方向的鱼眼相机 即可满足整体需求： （1）前置鱼眼相机： 安装在前方车标附近，约15°俯视角； （2）后置鱼眼相机： 安装在后备箱附近，约25°俯视角； （3）左、右侧鱼眼相机： 分别安装在左右后视镜下方，约40°俯视角与相对车纵轴约100°的偏航角。 图3：环视OpenCV鱼眼相机传感器配置 除了传感器的配置，考虑到脚本是通过选取地面点，求解相机到地面的投影矩阵，并转换生成BEV视图进行组合，所以还需要构建一张 特征明显、易于辨认标定效果的地图。 本文所使用的仿真软件支持在 Unreal Engine 中进行 地图编辑与导出 ，并带有一定数量的 3D资产库， 因此可以基于一张基础室内地图，布置一定数量的正方形黑白标定板，根据需要搭建一个标定地图： 图4：基于aiSim插件的Unreal Engine地图编辑 首先，在 Unreal Engine 中打开项目，并进入 室内合成地图； 然后，从 3D资产库 中选择100cm×100cm×5cm的标定板静态网格体，拖放到地图中； 随后，通过直接拖动模型上的变换工具或者修改侧边栏中的变换属性框 调整标定板的位置与姿态； 进而，配置标定板的材质，以黑色、白色的交替顺序铺展标定板； 最终形成一个 长方形的标定区域。 图5：编辑完成后的地图效果参考 批量铺展的过程可以拆分为对2×2的标定板组合实施 横向与纵向阵列 ，完成后的地图如图所示，整体是一个6m×11m的矩形区域， 车辆 放置在中间2m×5m的矩形区域中。 三、图像处理与AVM合成验证集 如前文所述，本文使用的 AVM脚本 是基于车辆四周，位于相邻两个相机重叠视野的标定物，通过 选取参考投影区域 实现鱼眼相机到 BEV 的转化，以前视鱼眼相机为例： 图6：投影区域及BEV转化示意图 首先，由于是仿真传感器的标准OpenCV鱼眼相机模型，焦距、中心像素位置、畸变参数等内参均已知，可直接使用 OpenCV的去畸变函数 实现去畸变，如图6的(c)到(d)所示； 其次，设定 图6(a)与(b)所示关键参数 ，确定图像上的点对应的真实世界位置，进而计算尺度： （1）AVM视野总宽 total_width = 2 × shift_width + 6 × board_size； （2）AVM视野总长 total_height = 2 × shift_height + 11 × board_size； （3）board_size为 标定板边长 ，此处为100，单位cm； （4）shift_width与shift_height为 视野延伸距离 ，单位cm； （5）左上角投影点 projection_point_0：(shift_width + 100, shift_height)，以此类推 右上角、左下角、右下角 投影点坐标，形成 投影区域； （6）inner_height与inner_width为投影区域相对车辆的 横向、纵向距离 ，单位cm，由此可以推算出自车所处区域； 而后，对去畸变相机图像追加 Shi-Tomasi角点提取处理 ，并增加 半自动采点 的模式切换，自动选取鼠标点击像素位置周围欧式距离最小的角点，保障准确度的同时提升效率； 最后，如图6(d)选取4个角点，形成与(b)对应的参考投影区域，输出的 BEV视图 如图6(e)所示。 图7：环视BEV合成AVM示例 以此类推可以得到4个方向的BEV视图及对应的投影参数，结合车辆图层作为覆盖，即可生成对应传感器布置下的 二维AVM合成图像 ，如图7所示，其中每个像素分辨率为1cm²。 图8：传感器外参优化示例 通过仿真软件，一方面可以在 控制算法不变 的情况下寻找出更优的 传感器外参布局 ，另一方面也可以在 控制传感器不变 的情况下在多种不同场景验证，进而迭代 优化AVM算法 的表现。结合相机传感器自带的标注信息，后续也可以进行包括 障碍物识别 在内的更多功能验证。 图9：不同场景下的AVM合成数据 四、总结与展望 本文介绍了基于aiSim仿真软件生成 AVM合成数据 的完整流程，包括传感器与地图的配置、图像处理与BEV视图生成以及最终的AVM合成验证。 不难看出，仿真软件的 高效性与灵活性 保障了在安全可控的环境中 快速验证算法性能 的可行性，并可以通过多场景测试与参数优化改进算法，最终提升其综合表现。