标签: 汽车

一、引言 随着自动驾驶技术的逐步落地， 感知系统对数据的依赖 正以前所未有的速度增长。 传统实车采集 虽然真实可信，但在 效率 、 安全性 、 标注精度 以及 边缘场景覆盖 方面均存在 显著限制 。 合成数据（Synthetic Data） 因具备低成本、高可控性、无限扩展性和高精度标签等优势，已成为 感知算法训练与验证 的重要数据来源。尤其在多模态、多场景、大规模自动化生成等方面， 仿真平台 正成为构建感知数据体系的重要工具。 在感知系统的开发过程中，我们依托仿真平台生成覆盖多种场景和传感器类型的合成数据，用于支持 AVM（环视系统） 开发，同时也利用合成数据生成符合公开格式标准的数据集，助力算法在 真实部署前 实现高效迭代与验证。 本文将系统介绍利用合成数据开发的具体应用流程和实践效果。 二、 AVM系统开发中的仿真验证应用 环视系统（AVM, Around View Monitor） 是自动驾驶和高级辅助驾驶系统（ADAS）中常见的功能模块，通常由4个或更多广角鱼眼相机构成，通过拼接多个摄像头图像生成车辆周围360°的鸟瞰图。 自动泊车系统（APA） 需要环视图像提供对车辆周围环境的精准感知。通过仿真方式模拟鱼眼相机布设和 BEV 拼接，可生成多种泊车场景下的高保真图像，包括地库、斜列车位、窄通道等复杂工况。 相比实车采集，仿真 不仅可以批量构造极端和边缘泊车条件，还能自动提供精确的障碍物位置与车辆姿态标注，大幅加速感知模型的训练和验证流程， 减少实车调试时间 。 传统 AVM 系统的相机 标定依赖人工操作和实车设备， 流程繁琐且精度受限 。 通过仿真 ，可控制各摄像头位置与视角，并生成可重复、可验证的图像和标定数据，适用于整车项目开发初期的快速迭代。 虚拟标定 不仅 提高了标定效率 ，还支持在方案切换、批量测试、相机布局验证等场景中自动生成对齐标注，降低人力投入， 提升系统上线速度 。 在实际开发中，AVM对图像畸变建模、拼接精度、投影映射等有较高要求，传统方法依赖人工标定与测试，周期长、灵活性差。而基于aiSim的仿真流程，可有效提升开发效率与验证精度。 通过合成数据仿真平台，我们借助从 环境搭建 到 数据生成 的 全流程仿真 ，成功实现了 4个鱼眼相机生成AVM合成数据的优化和验证。 图1 基于aiSim构建AVM图像流程 1、标定地图与仿真环境构建 我们在 Unreal Engine环境 中快速搭建6米×11米标定区域，使用2×2黑白相间标定板构成特征纹理区域，并精确布设车辆初始位置，确保视野重叠区域满足投影需求，并通过特定插件将其无缝导入仿真器中。 图2 基于aiSim插件的Unreal Engine地图编辑 2、鱼眼相机配置与参数设置 设置 前、后、左、右 四个鱼眼相机，分别具备： （1）高水平FOV（约180°）； （2）不同俯仰角（前15°、后25°、侧向40°）； （3）安装位置贴近真实车辆安装场景（如后视镜下方）。 我们采用了仿真器内置的 OpenCV标准内参 建模，输出图像同步生成物体的2D/3D边界框与语义标签。 图3 环视OpenCV鱼眼相机传感器配置 3、BEV图像生成与AVM拼接 利用已知相机内参和标定区域结构，通过OpenCV完成图像去畸变与投影矩阵求解，逐方向生成 BEV视图（Bird's Eye View） 。结合车辆图层与坐标对齐规则，拼接生成完整的AVM图像。 支持配置图像分辨率（如1cm²/像素）与投影视野范围，确保几何准确性。 图4 投影区域及BEV转化示意图 4、多场景合成与传感器布局优化 通过 批量仿真脚本 ，可 快速测试 不同环境（如夜间、窄巷、地库）、不同相机布局组合对AVM系统效果的影响。在算法不变的前提下，系统性评估外参配置的优劣，为传感器部署提供数据支持。 图5 不同场景下的AVM合成数据 三、合成数据构建多模态数据集 随着智能驾驶逐步从基础辅助走向复杂场景下的高阶功能，对 感知系统的数据需求 也在迅速升级。不仅需要覆盖高速、城区、出入口等典型 NOA 场景，还要求在 不同模态之间实现精确对齐 ，以支撑融合感知模型的训练与验证。在这类任务中， 仿真生成的合成数据 具备可控性强、标签精准、格式标准的优势，正在成为算法开发的重要支撑手段。 在 智能领航辅助（NOA）场景 中，系统需识别高速匝道、变道车辆、道路边缘等要素，对 训练数据多样性与标注精度要求极高。通过仿真构建 城市快速路、高速公路等 多类 NOA 场景 ，配合光照、天气、车流密度等变量自动生成图像与多模态同步数据。 这类合成数据 可用于训练检测、分割、追踪等模型模块，特别适合用于 填补实车采集难以覆盖的复杂或高风险场景 ，增强模型鲁棒性。 融合感知模型 依赖相机、毫米波雷达、激光雷达等 多种传感器协同输入 ，对数据的同步性和一致性要求较高。 通过仿真 ，可以 同时生成这三类传感器 的视角数据，并自动对齐时间戳、坐标系和标注信息，输出包括 3D 边界框、语义分割、目标速度等在内的完整标签，且格式兼容 nuScenes 等主流标准。这类数据可用于 训练融合模型识别道路上的异形障碍物 ，例如夜间难以通过视觉识别的散落杂物，或需要多模态补强感知的边缘目标。仿真带来的高度可控性也 便于统一测试条件 ，对模型性能进行定量分析与精细化调优。 在实际项目中， 合成数据的价值 不仅体现在生成效率和标注精度，更在于其 能否与下游算法开发流程无缝衔接 。为了实现这一目标，我们将 aiSim 导出的多模态原始数据，通过 自研数据处理脚本 ，转换为 基本符合 nuScenes 标准格式的数据集 。 数据构建流程如下： 1、编写符合 nuScenes 规范的传感器配置文件 首先 ，我们 根据 nuScenes 的数据结构要求 ，定义并生成了包含相机、雷达、激光雷达等传感器的配置文件，包括传感器类型、安装位置、外参信息等。该步骤确保生成数据可直接映射至 nuScenes 的 calibrated_sensor.json 和 sensor.json。 图6 激光雷达部分的传感器配置文件 图7 符合nuScenes格式的传感器配置 2、利用 aiSim Stepped 模式导出对齐的原始数据 其次，在仿真阶段， 我们启用了 仿真器的 Stepped Simulation 模式 ，该模式支持以固定时间步长（如每 0.1 秒）推进仿真，并确保所有传感器在 同一时间戳输出数据 。这种方式实现了多模态数据的时间戳全局对齐，满足 nuScenes 对数据同步的要求。 图8 aiSim相机传感器Bounding Box真值输出 然后，在仿真运行中 ，我们导出包含图像、点云、雷达、Ego Pose、2D/3D 标注等原始数据，场景长度约为 20 秒，覆盖了一段在高流量城市交通中经过十字路口的场景，作为构建示例数据集的基础。 3、结构化转换为 nuScenes JSON 格式 此外，使用 自研转换脚本 ，我们将导出的原始数据组织并填充为 nuScenes 所需的各类 JSON 文件 ，并和官方标准格式对齐，包括： scene.json：记录场景序列； sample.json：定义帧级时间结构； sample_data.json：图像、雷达、点云等数据路径与时间戳； calibrated_sensor.json 和 sensor.json：传感器类型及配置； ego_pose.json：车辆轨迹； sample_annotation.json：3D 边界框、类别、属性； instance.json、category.json、visibility.json 等其他语义层级数据。 图9 nuScenes 标准数据集JSON结构表 4、数据集结构搭建完成 最终， 构建完成的数据集具备 完整的时空同步结构 与 语义标签 ，可直接用于视觉感知、雷达检测、融合感知等模型训练与评估任务。该流程验证了合成数据向标准训练数据的转换路径，并具备可扩展性， 适用于更大规模的批量数据生成 。 图10 激光雷达点云 + 相机融合标注框 图11 激光雷达点云 + 同类型标注框 （俯视/侧视） 图12 多帧实例+激光雷达点云 （俯视+路径） 这一完整流程不仅验证了合成数据在工程流程中的落地能力，也为后续基于大规模仿真生成标准训练集打下了结构基础。 四、aiSim：感知研发全流程平台 在自动驾驶感知系统的开发过程中，仿真平台已逐渐发展为合成数据生产的重要基础设施。 aiSim 通过集成环境建模、传感器仿真、多模态数据输出与标准格式转换等功能， 支持从场景构建到数据集生成的完整流程 。 1、多样场景与数据格式的灵活支持 aiSim 可 精细还原 环视系统中鱼眼相机的安装布局、图像畸变特性及 BEV 视角拼接逻辑，生成 贴近实车采集的高保真图像 。同时，平台有一套 自成体系的仿真数据组织与输出机制 ，涵盖视觉、激光雷达、毫米波雷达等多类型传感器数据及真值标注。支持通过脚本调度 自动批量生成 不同气候、光照、地形和交通条件下的多样化场景，满足大规模训练与边缘场景验证的需求。 2、从物理建模到标签输出的完整链条 借助图形引擎，aiSim 实现了对真实物理光照、材质、阴影和天气的 动态建模 。平台支持相机、激光雷达、毫米波雷达等传感器的物理与几何特性建模，兼容 OpenCV、ROS 等常见开发标准。在数据输出方面，aiSim 支持多传感器同步控制 ，可自动生成对齐的 2D/3D 检测框、语义标签、Ego 轨迹等数据，覆盖感知算法训练常见需求，减少数据清洗与后处理工作量。 3、工程集成与可扩展性 aiSim 提供 图形界面、工具链与开放 API ，方便用户将其集成至企业现有的数据平台和模型训练流程中。平台内的场景配置与资源系统具备良好的 可扩展性 ，支持用户自定义传感器布设、交通要素和场景资产，用于支持环视系统、感知模型、融合算法等不同研发阶段的需求。 无论是 环视系统的泊车能力 与 虚拟标定 ，还是面向 NOA 和多模态融合 的训练任务， 仿真生成的数据 都在感知系统的实际落地中提供了可衡量、可扩展的价值。让数据获取从“拍”到“造”，从“靠人”到“自动”，为智能驾驶研发提速、降本、增稳。

在竞争激烈的新能源汽车市场中，极氪近年来发展势头迅猛。2024年，极氪全年销量突破50万辆，总营收达1138.92亿元，整车营收为945.64亿元，成绩相当亮眼。其中，极氪品牌自身的表现也可圈可点，2024年全年销量超22.2万辆，同比增长87%，单车平均售价近30万元，实现了“量价齐升”，还成功摘得中国纯电豪华品牌年度销冠的殊荣。 在一些细分市场中，极氪旗下车型表现突出，极氪001稳居25万以上纯电销冠，并成为最快突破25万台交付的中国纯电车型；豪华大五座SUV极氪7X蝉联20以上中国纯电SUV销冠；极氪009家族连续5个月蝉联40万以上纯电全品类销冠，极氪009光辉稳居超豪华四座销冠。 然而，新能源汽车市场犹如逆水行舟，不进则退。尽管极氪在2024年取得了不错的成绩，但面对不断变化的市场环境和日益激烈的竞争，极氪仍需不断努力，持续推出有竞争力的新车，才能在市场中站稳脚跟并实现销量的进一步增长。 2025年，极氪给自己定下了更高的目标，销量规划提升10万台，要实现全年汽车品牌销量32万辆。而在第一季度，极氪仅仅交付了不到4万辆新车，距离全年目标还有较大差距，压力不言而喻。 极氪007GT亮相上海车展 为了实现销量目标，极氪在产品布局上持续发力。 在2025上海车展上，极氪携多款重磅车型亮相，其中极氪007GT无疑是全场焦点之一。这款车于4月15日正式上市，官方指导售价区间为20.29-23.29万元，限时权益价更是低至19.99-22.99万元，直接将价格下探到20万元以内，展现出极高的性价比。 首先极氪007GT的一大设计亮点，便是其原创的Shooting Line极氪猎装线，线条夹角精准锁定为21°。这一黄金夹角设计极为精妙，从A柱开始，车顶线条沿着这一角度缓缓下滑，与车尾完美衔接，塑造出流畅且动感的车身姿态，使整车看起来优雅而不失力量感，让人一眼就能感受到它与众不同的魅力。 其次它更具备卓越的性能，为驾驶者带来速度与激情的极致体验。它在动力、底盘和制动等方面的出色表现，使其在众多新能源汽车中脱颖而出，成为追求驾驶乐趣的消费者的理想之选。再加上其出色的续航能力和高效的充电技术，为用户解决了里程焦虑，让出行更加自由、便捷。无论是日常通勤，还是长途旅行，极氪007GT都能成为你可靠的伙伴。 最后极氪007GT在智能驾驶领域达到了行业领先水平，它配备了一系列先进的硬件和软件系统，为用户提供安全、高效、轻松的驾驶体验。新车全系标配激光雷达和双英伟达Orin - X智驾芯片，算力高达508TOPS，能够快速处理大量的传感器数据，做出精准的驾驶决策。 面临的挑战与竞争 尽管极氪007GT在产品力方面表现出色，但极氪品牌在过去却遭遇了一系列负面事件，对品牌口碑产生了一定的影响。 （一）品牌口碑问题 2024年，极氪在短时间内推出多款新车，上演“一年氪三剑”的戏码，其中2025款极氪001和极氪007的发布，让刚购买老款车型不久的车主感到被“背刺”。2024款极氪001才推出没多久，2025款极氪001就迅速登场，不仅智驾能力大幅提升，还采用了新的智驾方案，然而价格却维持不变甚至有所降低。 这使得老车主们觉得自己的车辆迅速贬值，新车未提就已过时，引发了老车主的强烈不满和维权行动。在新品发布会直播期间，直播间内骂声四起，官方不得不关闭评论功能来平息风波，但仍有车主通过改昵称送礼的方式继续表达不满。 此外，极氪还被曝出“锁电锁功率”问题。此前有极氪001 WE86车主反映，车辆在不告知车主的情况下，通过升级系统锁电锁功率，导致充电速度变慢，电池容量也出现衰减，让车主们感到寒心。 还有250万网红“慧慧饱饱”事件也引发了广泛关注。该博主在购买极氪车辆时，因贷款和定金等问题与极氪产生纠纷，该事件在网络上引发热议，也让极氪品牌的形象受到了一定的冲击。这些负面事件的不断发酵，使得极氪品牌在消费者心中的形象受损，影响了消费者对极氪品牌的信任度，也给极氪007GT的市场推广带来了一定的阻力。 （二）竞品的技术与价格压制 在新能源汽车市场中，极氪007GT面临着来自众多竞品的激烈竞争，其中比亚迪汉LEV和特斯拉等品牌的车型对其构成了较大的威胁。 比亚迪汉LEV在技术方面具有显著优势。它基于比亚迪超级e平台打造，搭载了真1000V + SiC全域高压平台，相比极氪007GT的800V高压平台，领先了一代。高压平台带来了性能与补能方面的提升，汉LEV配备了全球首个量产的30511rpm电机，单电机功率高达580kW，电机功率密度为16.4kW/kg。 在补能速度上，汉LEV配合比亚迪专属的兆瓦闪充桩，从10%充至70%只需6分钟，平均每秒充电2公里，充电5分钟补能400km，补能速度远超极氪007GT。 在智能驾驶方面，汉LEV标配激光雷达和NVIDIA DRIVE Orin X智驾芯片，算力达254TOPS，配备DiPilot 300 “天神之眼”高阶智能驾驶辅助系统，具备城市高速路段NOA功能、主动泊车、遥控泊车、哨兵模式以及主动安全预警系统等，智能驾驶功能同样丰富。 在价格方面，比亚迪汉LEV的指导价为20.98 - 27.98万元，与极氪007GT的价格区间相近，但其在技术和性能上的优势，使得极氪007GT在竞争中面临一定的压力。 特斯拉作为新能源汽车行业的先驱者，一直以来以其先进的自动驾驶技术和品牌影响力在市场中占据重要地位。特斯拉采用动态定价策略，根据市场需求、原材料价格波动以及竞争对手的情况，适时调整产品价格。 虽然特斯拉在智能驾驶芯片算力等方面可能不如极氪007GT，但特斯拉在自动驾驶算法和数据积累方面具有优势，其Autopilot和FSD自动驾驶辅助系统经过多年的发展和优化，在全球范围内拥有大量的用户数据，能够不断提升自动驾驶的安全性和可靠性。 此外，特斯拉的品牌形象在消费者心中较为高端，品牌知名度和美誉度较高，这也使得其在市场竞争中具有一定的优势，极氪007GT要想在市场中脱颖而出，需要在品牌建设和市场推广方面付出更多努力，以应对特斯拉的竞争压力。 （三）内部产品竞争 除了面临外部竞品的挑战，极氪007GT还面临着来自极氪品牌内部产品的竞争。极氪001和极氪007作为极氪品牌的两款重要车型，在市场上已经积累了一定的用户基础和口碑，它们与极氪007GT在产品定位、性能、设计等方面存在一定的重叠，这使得极氪007GT在市场推广和销售过程中面临着内部竞争的压力。 极氪001是一款猎装轿跑车型，自上市以来凭借其独特的外观设计、出色的性能和较大的空间受到了消费者的喜爱。它的车身尺寸较大，长宽高分别为5022/1999/1548mm，轴距为3025mm，车内空间较为宽敞，能够满足家庭用户对空间的需求。在动力方面，极氪001提供多种动力版本可选，其中高性能版本的零百加速时间最快可达3.8秒，续航里程最高可达1032km。 在智能驾驶方面，2025款极氪001搭载了浩瀚智驾2.0系统，配备双英伟达Orin - X智驾芯片，算力高达508TOPS，具备高速和城市智能领航辅助驾驶等功能。极氪001在产品定位上更偏向于追求空间和性能的消费者，而极氪007GT则更注重性价比和智能驾驶体验，但两者在价格区间上有一定的重合，这就导致部分潜在消费者在选择时会在两者之间犹豫不决。 极氪007则是一款中型轿车，与极氪007GT定位相近。它同样采用了极氪品牌的家族化设计语言，外观时尚动感，具备较高的颜值。在性能方面，极氪007提供后驱和四驱版本，后驱版最大功率310k，峰值扭矩440Nm，零百加速时间为5.4秒；四驱版综合功率475kW，峰值扭矩710Nm，零百加速时间为3.8秒。续航方面，极氪007搭载不同容量的电池，CLTC续航里程最高可达822km。在智能驾驶方面，极氪007也配备了激光雷达和智驾芯片，具备智能领航辅助驾驶等功能。 极氪007在市场上已经有了一定的销量和用户基础，其先入为主的优势使得极氪007GT在市场竞争中需要更加努力地突出自身的差异化优势，才能吸引消费者的关注和购买。 未来展望与结论 极氪007GT作为极氪品牌的一款重要车型，凭借其性价比优势、独特的产品亮点，在竞争激烈的新能源汽车市场中具备一定的竞争力。然而，它也面临着品牌口碑受损、竞品技术与价格压制以及内部产品竞争等诸多挑战。 未来，极氪007GT要想成为爆款车型，实现销量的大幅增长，极氪品牌首先需要积极采取措施修复品牌口碑，加强与消费者的沟通和互动，提高消费者的满意度和忠诚度。在产品方面，持续优化和升级，保持技术领先，不断提升产品的竞争力。在市场推广方面，制定精准的营销策略，突出产品的差异化优势，吸引更多消费者的关注。同时，合理规划品牌内部产品线，避免内部产品的过度竞争。 尽管面临重重挑战，但新能源汽车市场潜力巨大，随着消费者对新能源汽车的接受度不断提高，以及技术的不断进步和成本的降低，极氪007GT仍有机会在市场中脱颖而出。它能否成功，让我们拭目以待。

随着自动驾驶（AD）/高级驾驶辅助系统（ADAS）在车辆中的应用日益广泛，其引发的各类事件分析成为关键问题。本文聚焦 特斯拉Autopilot 的紧急制动情况，借助IVEX打造的 数据采集平台（Carvex） 及 安全分析平台（Safety Analytics platform） 展开研究。 通过对超过 15000公里 行程、 40TB 数据中 紧急制动事件 的剖析，发现Autopilot在面对超出操作设计域的场景时会解除自动驾驶，导致驾驶员紧急制动；同时还存在将正常情况 误判为风险 而紧急制动的现象，这些分析为深入了解AD/ADAS系统行为提供了参考。 一、引言 在过去几年里，AD/ ADAS组件在商用车和零售车辆中越来越受欢迎。这也带来了一系列亟待解决的复杂问题。比如一个备受关注的问题 ：如何从数千小时的驾驶数据（包括开发阶段和实际路测）中识别并理解由 AD/ADAS 行为触发的各类事件，如紧急制动、急加速、低碰撞时间等。 数据采集平台Carvex 集成了一套尖端传感器阵列，搭载于特斯拉Model 3车型，主要用于采集驾驶数据以驱动产品开发。大部分数据是在Autopilot（特斯拉的L2 ADAS系统）被激活时收集的。由于 Autopilot 是先进的 ADAS 系统之一，我们特别关注其性能表现，尤其是 误触发紧急制动 （false positive braking）这一ADAS领域长期存在的技术痛点。 起初，我们在检查数据中的紧急制动事件时也遇到了困难。Carvex 已经收集了 15000 公里的驾驶数据。虽然与正常 ADAS 系统在部署前所需的测试里程相比，这个数字还很小， 但我们发现，如果没有良好的辅助工具，识别和检查紧急制动事件并非易事。 本文将解析特斯拉的紧急制动事件。 图1：Carvex数据收集平台 二、研究背景 Carvex 以Model 3为载体，集成包含RTK GNSS、激光雷达、毫米波雷达和多路相机的传感器套件（其中舱内相机用于监测Autopilot状态），所有数据由车载计算机实时记录。系统采用 全天候设计 ，确保恶劣天气下的数据采集完整性。 在数据收集过程中，Autopilot 大部分时间处于开启状态。Autopilot 主要由两个部分组成： 自适应巡航控制 和 车道保持辅助 。Autopilot 需要驾驶员主动监督，一旦遇到超出其操作设计域（ODD）的情况，系统会发出警报并解除自动驾驶。 目前Carvex累计行驶15,000公里，生成超过40TB数据，其中包含大量与Autopilot行为相关的关键事件。 通过IVEX安全分析平台 ，我们实现了： （1） 自动识别 驾驶日志中的 异常事件 （2） 关联事件潜在诱因 （3） 监测Autopilot行为模式变化 本次研究聚焦 减速度超过4.0 m/s² （13.12 ft/s²）的紧急制动事件，包括 Autopilot主动触发 或 系统退出后驾驶员介入 两种情况。这类事件的研究价值在于： （1）可能反映Autopilot超出ODD时的处置失效 （2）假阳性紧急制动可能导致追尾事故，存在安全隐患 三、Autopilot紧急制动解析 Carvex 的传感器数据会通过 开源自动驾驶软件阿波罗（Apollo） 的感知模块进行离线处理。处理后的图像等传感器数据以及 物体列表格式 的感知输出，随后会被导入到IVEX安全分析平台。 平台 能够展示 AD/ADAS 车辆的所有相机视频流。在这种情况下，我们选择重点关注 前置相机 和 舱内相机 的视频流，以便能够观察到其他车辆与Autopilot的行为。 平台支持 多驾驶日志联合检索 ，并按参数分类关键场景，可以通过"聚合视图"功能 筛选特定车速区间 内触发的紧急制动事件。 图2：安全分析平台紧紧急制动聚合视图 1、右侧车辆引发的紧急制动 图3：右侧车辆引发的紧急制动 图4：IVEX中的紧急制动 从图3和图4中可以看出，尽管 右侧卡车未实际侵入车道 ，自车仍以28 m/s（100.8 km/h）时速突发制动（右侧卡车时速75.6 km/h）。同时数据分析显示：当卡车 短暂压线1秒时 ，Autopilot判定其可能 低速切入 （此时车距仅1.59米），遂触发持续1秒的紧急制动，导致车速骤降7 m/s（根据RTK GNSS估算），这对两辆车来说都是一个危险的情况。 图5：仪表盘Autopilot行为记录 我们可以看到，车辆的 Autopilot 将卡车标记为 可能驶入本车车道 的潜在安全风险，这就是车辆决定紧急制动的原因。 2、交通信号灯前的紧急制动 图6：遇到交通信号时的紧急制动 图7：IVEX中的紧急制动 从图6和图7，分析可得车辆以20 m/s（72 km/h）接近路口时，驾驶员在黄灯亮起1.8秒后接管并急刹，3.7秒内完成静止（减速度5.4 m/s²）。值得注意的是，该版本的Autopilot虽能识别信号灯（如下图示），但无响应功能， 紧急制动纯属驾驶员行为 。 图8：仪表盘Autopilot行为记录 3、环岛入口的紧急制动 图9：在进入环形交叉路口之前进行的紧急制动 图10：IVEX中的紧急制动 在紧急制动发生前约 3 秒，车辆以18 m/s（64.8 km/h）接近环岛时突发制动。实测表明，Autopilot因环岛 超出其ODD 而 静默退出 ，驾驶员接管时剩余反应时间不足，导致 制动过急 。所幸后方无车，未造成风险。 4、技术结论 基于上述分析，我们对Autopilot 的行为得出一些结论： （1）ODD边界行为： 当场景超出Autopilot设计域时，系统会无预警退出，迫使驾驶员紧急干预； （2）风险预判机制： 对潜在切入障碍物存在过度敏感现象，可能触发非必要制动。 四、结语 在本篇文章中，我们介绍了如何使用 IVEX 安全分析平台分析特定场景类别 —— 意外紧急制动情况 。从案例中也可清晰了解到IVEX安全分析平台在AD/ADAS数据解析中的三大优势： （1）异常行为快速定位 （2）多维度场景重建 （3）系统决策溯因分析

自动驾驶技术的飞速发展，正在重新定义未来出行的边界。从 感知 到 决策 ，从 规划 到 控制 ，每一个环节都离不开 海量、精准 的 高质量数据支撑 。然而，随着传感器数量的增加和数据规模的指数级增长，行业正面临一系列挑战： 多源传感器数据的时间同步难题 、 复杂数据格式的适配 、 测量技术的灵活性不足 、 设备集成周期冗长 等，这些问题正成为自动驾驶研发与测试的“隐形瓶颈”。 基于技术积累与行业洞察，本文分享一套创新的 ADAS时空融合数据采集方案 。通过硬件与软件的深度协同优化，能够很好地解决数据采集中的核心痛点，还为自动驾驶研发提供了高效、可靠、可扩展的完整解决方案。 一、方案架构 该方案以 “时空融合” 为核心，构建了 传感器层、数据处理层、存储层和用户交互层 ，如下图1所示： 图1：方案架构 传感器层： 负责采集数据，包括 LiDAR、Radar、RTK 和 Camera 等传感器。这些传感器从 不同维度感知环境 ，获得图像、点云、高精度定位以及被测目标物等信息，为系统 提供原始数据 。 数据处理层： 对传感器采集的原始数据进行处理。通过时 间同步算法（PTP/gPTP） ，使不同传感器数据在时间上对齐，解决多源传感器数据时间同步难题。运用 标定算法 ，对各传感器进行单传感器标定和传感器间标定，确定传感器之间的空间关系。同时，解析不同格式的数据，使其能在系统中统一处理。 存储层： 负责存储处理后的数据。支持 多种存储格式 ，如激光雷达数据可存为 pcd 格式或 rosbag 包，毫米波雷达和 RTK 数据可选择 csv 格式或 rosbag 包，方便不同场景下的数据使用和分析。并且按照传感器类型将数据分类存入单独文件夹，便于管理和查找。 用户交互层（软件界面） ：为用户提供操作入口。软件支持 各个传感器数据的可视化 ，方便用户实时查看传感器采集的信息。允许用户对数据采集进行多种配置，如选择存储路径、设置摄像头采集帧数、选择显示时间戳的来源等。还支持对采集环境进行描述，如记录天气和道路状况，为后续数据分析提供更丰富的背景信息。 二、系统搭建 基于方案架构的功能性设计，系统搭建如图2所示，包括 线束改造 ， 时间同步 ， 传感器标定 和 数据采集 。 图2：系统搭建 1、线束改造 线束改造方面，采用模 块化线束设计 ，针对不同传感器的接口特性进行定制化适配： （1）多协议兼容： 支持以太网（LiDAR）、CAN 总线（Radar/RTK）、ProFrame（Camera）等多种通信协议，通过标准化接口实现传感器即插即用，大幅缩短设备集成周期。 （2）轻量化布局 ：基于车辆工程设计，线束走向遵循最短路径原则，减少冗余布线，提升系统可靠性的同时便于后期维护。 （3）抗干扰优化： 采用屏蔽线缆与差分信号传输，降低电磁干扰对数据质量的影响，保障高速率数据（如 LiDAR 点云、Camera 原始图像）的稳定传输。 2、时间同步 方案通过 硬件触发 + 软件校准 实现多传感器纳秒级时间同步，确保时空融合精度： （1）同步基准统一： 以国际原子时（TAI）为时间基准，通过gPTP（通用精确时间协议）与 PPS（秒脉冲信号）实现系统级时间对齐。LiDAR采用gPTP 同步，Camera 通过采集卡 PPS 信号触发，RTK 与 Radar 通过 CAN Combo 的打上时间戳。 （2）外触发机制： 支持LiDAR 外触发Camera 拍摄，可自定义触发频率（10Hz/20Hz/30Hz），确保图像与点云数据严格同步。实测显示，8MP 相机在 30Hz 触发下，帧间对齐时间误差小于 10μs（一般误差在20-30ms）。 3、传感器标定 通过 标定算法 ，建立传感器与车辆坐标系的空间转换关系： 比如单传感器标定中LiDAR2Car，以 车辆后轴中心 为原点，通过标定板采集点云数据，利用 迭代最近点（ICP）算法 计算 4×4 变换矩阵，实现点云到车辆坐标系的转换。 传感器间标定中LiDAR2Camera，利用 同步采集 的点云与图像数据，通过标定板特征匹配，计算外参矩阵（旋转矩阵 R、平移向量 T），重投影误差均值 0.0138m，支持点云投影到图像像素坐标。 4、数据采集 在数据采集环节，配套软件提供 全流程可视化操作 与 高效数据管理能力 ： （1）多模态可视化： 实时显示 LiDAR 点云、Camera 图像、Radar 目标聚类及 RTK 定位信息，支持 分屏监控 与 时间戳同步显示， 便于实时校验数据质量。 （2）灵活配置能力： 格式选择： 支持LiDAR (ros bag)、Radar/RTK (ros bag)、Camera (RAW/PNG)等多种格式，满足不同算法开发需求。 环境标注： 自动记录天气（晴 / 雨 / 雾）、道路类型（城市 / 高速 / 乡村）等元数据，生成包含时间戳、存储路径、传感器配置的场景采集文件，提升数据可追溯性。 （3）稳定存储方案： 按传感器类型生成独立文件夹（如 LiDAR_data、Radar_data），避免数据混杂。 三、总结 通过 线束改造 、 时间同步 、 传感器标定 与 采集软件 的 深度协同 ，以上方案可以系统性解决了多源数据采集中的 时空对齐 、 格式适配 与 高效存储难题 。 具体内容已经通过 实车测试验证 ，支持 厘米级空间定位 与 纳秒级时间同步 ，为自动驾驶算法研发、传感器融合验证提供了可靠的数据基石。

随着自动驾驶技术的快速发展，仿真软件在开发过程中扮演着越来越重要的角色。 仿真传感器与环境 不仅能够加速算法验证，还能在安全可控的条件下进行复杂场景的重复测试。 本文将分享如何利用 自动驾驶仿真软件配置仿真传感器与搭建仿真环境 ，并对脚本进行修改，优化和验证4个鱼眼相机生成AVM（Around View Monitor） 合成数据 的流程。通过这一过程，一同深入体验仿真软件的应用潜力！ 一、流程概述 AVM 是一种通过多相机实现车辆周围环境的 实时监控和显示 的系统，广泛应用于自动驾驶和高级驾驶辅助系统（ADAS）的环境感知中。本文基于仿真软件与脚本生成AVM图像的流程如下所示： 图1：基于aiSim构建AVM图像流程 首先，在 Unreal Engine 中配置标定投影参数所需的地图，并在仿真器中为车辆部署4个方向的鱼眼相机； 其次，基于相机内参进行 去畸变 ，并记录求解投影矩阵所需的 关键参考值 ，例如AVM画幅尺寸、参考点的相对坐标、参考区域的大小与位置、车辆与参考区域的距离等； 随后，在完成了角点提取预处理的标定图像中快速 选取参考点 ，生成单方向的BEV视图，重复4次完成 标定去畸变 ； 后文将对每个流程进行具体描述。 二、仿真传感器与环境配置 对于AVM功能而言，通常需要配备4个及以上的 大FOV相机 以拍摄车辆周围的图像，在此基础上还可 配备雷达 以更好地获取车辆周围的障碍物信息。 图2：aiSim相机传感器障碍物真值输出 由于本文所使用仿真软件的相机传感器可以直接输出识别对象（车辆、行人等）的2D、3D边界框真值，所以只需配置 4个方向的鱼眼相机 即可满足整体需求： （1）前置鱼眼相机： 安装在前方车标附近，约15°俯视角； （2）后置鱼眼相机： 安装在后备箱附近，约25°俯视角； （3）左、右侧鱼眼相机： 分别安装在左右后视镜下方，约40°俯视角与相对车纵轴约100°的偏航角。 图3：环视OpenCV鱼眼相机传感器配置 除了传感器的配置，考虑到脚本是通过选取地面点，求解相机到地面的投影矩阵，并转换生成BEV视图进行组合，所以还需要构建一张 特征明显、易于辨认标定效果的地图。 本文所使用的仿真软件支持在 Unreal Engine 中进行 地图编辑与导出 ，并带有一定数量的 3D资产库， 因此可以基于一张基础室内地图，布置一定数量的正方形黑白标定板，根据需要搭建一个标定地图： 图4：基于aiSim插件的Unreal Engine地图编辑 首先，在 Unreal Engine 中打开项目，并进入 室内合成地图； 然后，从 3D资产库 中选择100cm×100cm×5cm的标定板静态网格体，拖放到地图中； 随后，通过直接拖动模型上的变换工具或者修改侧边栏中的变换属性框 调整标定板的位置与姿态； 进而，配置标定板的材质，以黑色、白色的交替顺序铺展标定板； 最终形成一个 长方形的标定区域。 图5：编辑完成后的地图效果参考 批量铺展的过程可以拆分为对2×2的标定板组合实施 横向与纵向阵列 ，完成后的地图如图所示，整体是一个6m×11m的矩形区域， 车辆 放置在中间2m×5m的矩形区域中。 三、图像处理与AVM合成验证集 如前文所述，本文使用的 AVM脚本 是基于车辆四周，位于相邻两个相机重叠视野的标定物，通过 选取参考投影区域 实现鱼眼相机到 BEV 的转化，以前视鱼眼相机为例： 图6：投影区域及BEV转化示意图 首先，由于是仿真传感器的标准OpenCV鱼眼相机模型，焦距、中心像素位置、畸变参数等内参均已知，可直接使用 OpenCV的去畸变函数 实现去畸变，如图6的(c)到(d)所示； 其次，设定 图6(a)与(b)所示关键参数 ，确定图像上的点对应的真实世界位置，进而计算尺度： （1）AVM视野总宽 total_width = 2 × shift_width + 6 × board_size； （2）AVM视野总长 total_height = 2 × shift_height + 11 × board_size； （3）board_size为 标定板边长 ，此处为100，单位cm； （4）shift_width与shift_height为 视野延伸距离 ，单位cm； （5）左上角投影点 projection_point_0：(shift_width + 100, shift_height)，以此类推 右上角、左下角、右下角 投影点坐标，形成 投影区域； （6）inner_height与inner_width为投影区域相对车辆的 横向、纵向距离 ，单位cm，由此可以推算出自车所处区域； 而后，对去畸变相机图像追加 Shi-Tomasi角点提取处理 ，并增加 半自动采点 的模式切换，自动选取鼠标点击像素位置周围欧式距离最小的角点，保障准确度的同时提升效率； 最后，如图6(d)选取4个角点，形成与(b)对应的参考投影区域，输出的 BEV视图 如图6(e)所示。 图7：环视BEV合成AVM示例 以此类推可以得到4个方向的BEV视图及对应的投影参数，结合车辆图层作为覆盖，即可生成对应传感器布置下的 二维AVM合成图像 ，如图7所示，其中每个像素分辨率为1cm²。 图8：传感器外参优化示例 通过仿真软件，一方面可以在 控制算法不变 的情况下寻找出更优的 传感器外参布局 ，另一方面也可以在 控制传感器不变 的情况下在多种不同场景验证，进而迭代 优化AVM算法 的表现。结合相机传感器自带的标注信息，后续也可以进行包括 障碍物识别 在内的更多功能验证。 图9：不同场景下的AVM合成数据 四、总结与展望 本文介绍了基于aiSim仿真软件生成 AVM合成数据 的完整流程，包括传感器与地图的配置、图像处理与BEV视图生成以及最终的AVM合成验证。 不难看出，仿真软件的 高效性与灵活性 保障了在安全可控的环境中 快速验证算法性能 的可行性，并可以通过多场景测试与参数优化改进算法，最终提升其综合表现。