标签: 仿真

中国汽车市场以年均 超 3000 万辆 的销量规模（占全球 1/3以上），正推动安全标准从 被动防护向主动预防 转型。2024 年 7 月实施的 C-NCAP （ China New Car Assessment Program）修订版首次将 驾驶员监控系统（DMS） 、 道路特征识别（RFR） 纳入评分体系，其中 DMS 占主动安全分值 40% （总分 2 分），检测准确率需 ≥90% 。 这一变革不仅响应 工信部 GB/T 41796-2022 等三项国家标准要求，更标志着中国从汽车安全规则 跟随者向制定者 的角色转变。 一、标准解读：C-NCAP 2024 1、什么是 C-NCAP？ C-NCAP（中国新车评价规程） 于 2006 年启动，以 Euro NCAP为蓝本，是中国官方的车辆安全评级系统。该项目由中国汽车技术研究中心（CATARC）管理，目前同时 评估被动安全和主动安全性能 。 关键里程碑： （1）2006 年：C-NCAP 成立，专注于乘员碰撞耐撞性评估。 （2）2018-2021 年：引入被动安全增强测试（侧柱碰撞和鞭打测试）。 （3）2024 年修订版：重大更新包括纳入主动安全，新增自动紧急制动（AEB）、驾驶员监控系统（DMS）、道路特征识别（RFR）和弱势道路使用者（VRU）保护等测试。 2、中国汽车安全框架要求 驾驶员状态监控（DFM）： 测量驾驶员的身体 - 认知状态（如眼睑开合度、头部姿势），并在达到特定阈值后发出疲劳警告。 驾驶员注意力监控（DAM）： 检测视线方向和分心行为，若眼睛离开道路超过 3-5 秒，将逐级发出警报。 数据隐私与安全： 收集的驾驶员数据必须符合中国《个人信息保护法》（PIPL），对生物识别信息进行匿名化处理，并确保传输安全。 3、C-NCAP亮点： 2024 年 C-NCAP 协议将主动安全提升至核心地位，为车内监控和 ADAS 功能分配了总分中最高 2 分的分值。这是 DMS 首次直接对整体安全评级产生影响。 （1）评分构成： DMS 占 2 分，分值仅次于 AEB 的 3 分。 （2）测试场景： DFM 测试：闭眼、打哈欠、头部低垂； DAM 测试：视线偏离道路、使用手机。 （3）评分标准： 需达到≥90% 的检测准确率才能获得满分。 （4）传感器融合：评估车内与车外传感器的集成能力（如 DMS + AEB + VRU）。 （5）道路特征识别（RFR）： 评估在不同天气和光照条件下对交通标志和车道的检测能力。 除此之外， 行人和骑行者保护 一直未受到足够重视。2024 版 C-NCAP 改变了这一现状，整合了 VRU-AEB 测试和被动碰撞评估： （1）主动 VRU-AEB： 场景包括遮挡行人与骑行者，分昼夜进行测试。 （2）被动安全测试： 对行人假人进行头部和腿部碰撞评估。 （3）全球最佳实践接轨： 通过结合规避（AEB-VRU）和伤害减轻测试，C-NCAP 与 Euro NCAP 针对 VRU 安全的双重方法形成呼应。 这种双重办法反映了全球最佳做法，既处理避免损害问题，也处理减轻损害问题。这些措施推动 OEM 集成 先进的传感器融合 和 坚固的车辆结构 ，使所有用户的街道更安全。 二、行业落地的技术瓶颈与合规挑战 1、落地情况 自 2024 版 C-NCAP 实施以来， 中国主要 OEM （如上汽、吉利、比亚迪）已 在所有新车型 中集成符合 C-NCAP 标准的 DMS。 比如 博世 和 法雷奥 等行业龙头已推出集成 DMS 平台，采用 多模态传感器组合 （红外、RGB、雷达）。 目前存在以下 验证趋势 ： - 虚拟仿真：将基于物理的传感器建模与 AI 结合，加速验证进程。 - 合成数据：减少对真实道路测试的依赖，加快合规工作流程。 2、合规难点 当前，汽车行业在迈向 更高安全合规标准 的过程中仍面临 多重挑战： - 成本压力： 高性能ADAS（高级驾驶辅助系统）硬件的研发与生产成本高昂，如何在保证性能的同时控制成本，成为车企面临的一大挑战。 - 恶劣环境可靠性： 雨、雪、雾和低光等恶劣环境对DMS和RFR系统的可靠性提出了更高要求，如何确保在这些条件下系统的准确性和稳定性，是车企必须解决的问题。 - 复杂协议测试： AEB（自动紧急制动）、DMS和RFR等系统的广泛测试要求，给车企的研发团队带来了巨大压力，如何在保证测试质量的同时缩短产品上市时间，成为亟待解决的难题。 - 误导性广告风险： 部分车企在宣传ADAS功能时存在误导性陈述，导致消费者对系统能力产生过高期望，增加了事故风险。 - 国际法规差异： 随着中国车企积极进军国际市场，如何满足不同国家和地区的法规要求，成为车企必须面对的挑战。 三、Anyverse助力车企应对安全挑战 我们不难发现， 传统的开发测试模式 已 难以满足 新规下 快速迭代与严格合规 的双重需求。 Anyverse平台优势 显得尤为重要，它以其 独特的虚拟仿真 与 合成数据技术 ，正在彻底改变 OEM 测试 和 验证驾驶员监控系统 的方式： - 模拟 数千种 车内场景（人口特征、行为、光照）。 - 实现摄像头、红外和雷达模态的 完美校准 。 - 针对 GB/T 和 C-NCAP 基准进行预验证，将物理原型需求 减少高达 80%。 通过使用 合成数据 ，即使在面对中国监管机构的严格审查时，制造商能够大胆地扩展开发、加速验证并保持安全合规性。 Anyverse 已通过提供 符合 Euro NCAP 的测试场景目录 ，帮助 OEM 和一级供应商实现 Euro NCAP 合规。这使得目标为进入欧洲市场的中国 OEM 能够 提前验证其系统 ， 利用合成数据满足最新的欧盟法规 。 Anyverse| InCabin 是一个符合 NCAP 要求的 一站式平台， 能够生成所有需要的数据，根据 C-NCAP 和 Euro NCAP 的精确测试场景验证系统。使汽车企业能够 “一次构建，全球合规” ，在加快上市时间的同时，降低验证的成本和复杂性。 四、结论 在汽车安全标准日益严苛的今天，C-NCAP新规的出台无疑为汽车行业指明了新的发展方向—— 从被动安全向主动安全全面转型。 通过与 GB/T 标准保持一致 并利用 基于物理的仿真， OEM 和供应商才可以实现遵守、超越，并提供强大、可靠的舱内 AI，进而满足中国及其他地区最严格的安全和监管基准。 因此面对技术实现难点与法规合规的双重挑战，车企亟需 创新解决方案 以提升产品安全性能并加速市场布局。

在自动驾驶时代奔涌向前的路上， 仿真测试 早已不再是可选项，而是验证智能驾驶系统安全性、鲁棒性和泛化能力的 刚需 ，如何提升仿真测试的 保真度 已成为无法避免的重要话题。 这正是“ 数字孪生 ”出现的时代背景。本文为大家详细介绍 如何用传统与前沿结合的数字孪生构建流程 ，再配合 3DGS 的神经网络重建技术 ，为自动驾驶仿真测试注入真正的“现实之眼”。 一、从点云到高精地图的重建 依托独家的 aiData工具链 与 aiSim仿真平台 ，本文建立了一套 高精度数字孪生地图构建流程 ，已经广泛应用于布达佩斯 Kolosy广场、ZalaZone测试场等真实道路还原项目。整个流程包括： （左）带有标注的HD地图、（中）装饰HD地图、（右）aiSim中渲染 1、数据采集 采用搭载激光雷达（LiDAR）、高精度GNSS/INS系统的测绘车（如康谋DATALynx ATX4）执行移动激光扫描（MLS），通过aiData Recorder进行录制，主要路线至少绘制两次，确保 厘米级空间精度。 数采车示意图 2、点云聚合 使用 aiData Annotator 将多帧点云拼接为统一的全局坐标系，结合反射率、时间戳等多通道信息形成 高密度、低误差 的空间点集。 Tips： 详细数据采集精度和点云数据格式可联系康谋技术团队获取，可接受第三方数据，但建议在采集前与我们技术团队沟通优化策略。 3、高精地图建模 基于 聚合点云 手工标注道路元素：车道线、交通标志、人行道、护栏、红绿灯等。输出为GeoPackage格式的HD Map，用于自动驾驶系统参考。 ZalaZone试验场 LiDAR点云建模 ZalaZone试验场卫星参考图像 4、三维建模与装饰 借助 Atlas程序化建模引擎 ，生成道路、地形等基础结构，再通过aiSim Unreal插件手工装饰建筑、植被、街景设施，最大程度复现现实细节。为了获取最大精度，康谋将会采用 DCC工具 ，例如Maya、Blender、Substance等工具利用可用数据构建新模型； 二、颠覆性革新：NeRF 与 3DGS 重建 传统方式 固然精准，但 高成本、高周期、强人工依赖 ，难以支撑大规模、快速迭代的测试需求。 本文分享的 神经网络重建方案 ，则以 NeRF+ 3DGS 为核心技术，实现了从真实环境到仿真世界的跃迁： 1、仅需数日，完成街景重建 相比传统数月的手动建模，神经网络重建 只需几天时间 ，就能将采集到的图像和点云数据自动生成高保真的三维静态场景。 在aiSim中重建Waymo场景 2、进一步消除 Domain gap，场景逼真如实地拍摄 通过 DEVIANT算法 验证3D目标检测精度、Mask2Former测量像素一致性等方式，验证了神经重建场景在多摄像头视角下的 高可用性 与 仿真一致性 。 请查看最新发表的论文“Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation” 3、降本增效，拒绝重复建模 方案致力于告别繁复的建模软件与人工建模流程，实现 端到端自动化构建 ，大幅降低人力与制作成本。 4、场景增强与标准兼容 在生成的三维场景中，可 灵活添加动态对象 （车辆、行人、信号灯等），并 全面兼容OpenSCENARIO 标准，适配多种自动驾驶测试平台。 三、重建工作流：从采集到仿真部署 神经网络重建方案遵循高度自动化流程： 流程图 （1）数据采集： 使用DATALynx ATX4记录图像、LiDAR点云和自车位姿；推荐配置包括Hesai Pandar64、环视非鱼眼摄像头和NovAtel高精度组合导航系统。 （2）数据转换： 将原始数据转化为康谋格式，统一处理点云、图像和标定信息。 （3）自动标注： 利用aiData工具链去除动态目标、生成GT数据，实现非因果式追踪。 环视系统自动标注 （4）神经网络训练： 使用NeRF/3DGS算法生成高精度三维场景。 （5）仿真部署与增强： 在aiSim仿真平台中集成重建场景，配置不同环境（暴雨、夜晚、雪天）、多模态传感器（摄像头、LiDAR、毫米波雷达等）与虚拟交通流。 雨天场景 四、仿真世界，无需困于“假” 在自动驾驶技术快速发展的今天，数字孪生已从 简单的场景复制 ，进化为具备 真实物理特性的虚拟世界 。我们和众多同行们正在见证一场仿真技术的革命： （1）通过激光雷达的精准测绘确保厘米级精度 （2）借助3DGS/NeRF实现场景的智能重建 （3）融合传统与创新的技术优势 康谋致力于将 传统构建流程 与 前沿神经网络重建技术 相融合，用速度、真实与自动化重塑自动驾驶仿真测试的范式。

在智能座舱感知系统（如 DMS、OMS、安全带识别、儿童遗留检测等）逐渐从研发进入大规模部署的阶段，数据成为模型性能提升的核心瓶颈。尤其在现实采集成本高、隐私受限、长尾样本稀缺的前提下，越来越多客户将目光投向了“舱内合成数据”。 在与算法供应商和主机厂诸多客户的交流过程中，我们也观察到三个始终被反复提出的核心问题，本文为大家详细揭秘： 一、模态是否丰富，能否覆盖多任务模型需求？ 相较于传统车外感知任务，舱内感知往往涉及多种任务并发： （1）驾驶员状态监测（DMS）需提供 RGB、NIR、深度图、红外热图等； （2）舱内目标识别（OMS）需识别成人、儿童、宠物及其关键点； （3）安全带/手势/打电话等行为检测需使用语义分割或姿态估计； （4）基于时序的行为识别模型还需高帧率、长时间段的时序一致数据。 1、客户普遍反馈 “不是只有图像就够了，我们训练要同时用 RGB、深度、语义 mask，还需要完整的关键点标注。” 因此，一个面向舱内场景的合成平台，必须具备多模态输出能力： （1）支持同步输出：RGB、NIR、IR、深度图、分割图、关键点、动作标签； （2） 每一帧支持完整 2D/3D 标注（如人脸姿态、骨架、Bounding Box）； （3）模态间具备严格的像素级对齐与时间同步。 二、是否支持高度可控的“边缘舱内场景”构建？ 现实座舱中的极端情况是舱内模型失效的最大来源，例如： （1）小孩被遗留在车内后座但被玩具遮挡； （2）夜间父母怀抱婴儿但光照极弱； （3）多人乘坐，后排座椅被倒下遮挡视野； （4）驾驶员佩戴口罩、墨镜、低头、侧脸、疲劳、抽烟等行为混合出现。 1、客户直接表达 “这些是我们在真实测试中经常出错的场景，能不能直接构造出来，用来补训练集？” 所以平台需要具备： （1）多乘员、多体态、多遮挡物控制能力； （2）情绪、疲劳、注意力偏移等状态标签控制； （3）光照条件（夜间、背光）、遮挡类型（雨伞、杂物）、视角模糊模拟能力； （4）可脚本控制的场景生成引擎，如配置文件中直接设定“后排有儿童+玩具遮挡+车内弱光”组合。 只有能合成这些“长尾”和“不可采集”的场景，合成数据才具备真正补全实采数据盲区的价值。 三、合成数据真实度是否支持模型训练与部署？ 相比单纯用于验证，舱内合成数据平台的客户越来越倾向于用模型直接训练，这也就对“拟真程度”提出了更高要求： 1、客户真实需求 “我们担心合成图太假，训练完上车精度掉得厉害。你们的合成数据真实度有保证吗？” 为了让数据能用于实际训练，平台需要从三方面确保高拟真性： （1）真实人物建模 - 多体型、种族、性别、穿着、年龄段（尤其是儿童与老人）； - 姿态逼真（靠座、打瞌睡、回头、躺倒）； - 动作/表情基于真实骨骼驱动，避免“动画感”。 （2）真实座舱还原 - 车辆内饰结构完整，覆盖不同车型、座位布局； - 可配置装饰物（抱枕、饰品）、反光材质（玻璃、显示屏）； - 支持模拟不同车型的FOV、分辨率、摄像头位置偏移等。 （3）物理光照/材质真实感 - 支持真实 HDR 光照渲染； - 模拟 IR/热红外成像特性； - 加入模糊、噪声、运动拖影、畸变等现实感知特性。 为了达到可用于实际训练的效果，合成数据平台需要在图像质量、行为表现和传感器建模等多个维度具备高保真能力，确保模型在部署后具备良好的泛化性能。 例如，图像应能准确模拟真实摄像头的曝光、模糊和遮挡；人物动作需基于真实骨骼驱动而非静态拼接；同时还应支持多种模态协同输出，以满足训练对数据质量的一致性要求。 四、平台实现参考：Anyverse 的应用实践 在平台实现层面，Anyverse 提供了一个相对成熟的参考范式，覆盖了舱内感知数据合成中的多个关键环节。 1、模态生成方面 平台支持多通道同步输出，包括 RGB、NIR、深度图、红外图、语义图、关键点和动作标签等，满足多种感知模型的数据输入需求； 2、场景构建方面 平台可以灵活配置人物数量、姿态、遮挡物、光照条件等变量，以生成多样化甚至极端条件下的舱内场景； 3、图像与行为建模方面 平台使用物理渲染与骨骼动画系统，对座舱结构、乘员动作及其与环境交互过程进行了细致建模，提升了数据的真实感与一致性。 这些工程机制协同构成了一个面向规模化训练的合成数据生成基础，也为舱内感知模型在复杂环境中的表现提供了有力支撑。 五、合成数据应为舱内感知系统“数据主力军” 从客户反馈出发，我们始终认为： 合成数据的价值，不仅在于节省成本，更在于它能合成“你永远采不到、但必须要有”的关键场景。 真正面向工程落地的舱内合成数据平台，应同时满足以下三点： （1）模态丰富、标注完整 （2）边缘场景可控、可批量 （3）图像逼真、拟合实车部署 这将是支撑下一阶段舱内智能感知系统发展的关键基础设施。

随着自动驾驶技术走向 高阶智能化 以及法律法规的逐渐完善， 仿真测试 将会成为ADAS/AD 研发流程的必不可少的环节。 标准化接口 与 数据格式 不仅提升了测试效率，更成为推动产业协同的关键基石。 康谋 aiSim 深度集成 ASAM OpenX 系列标准 ，构建了高度兼容、高度还原的自动驾驶仿真平台。本文将从 五大核心标准 切入，系统解读 aiSim 如何通过标准化接口，全面支持自动驾驶仿真各环节。 一、OpenDRIVE：兼容多版本地图标准 ASAM OpenDRIVE 是自动驾驶仿真中最常用的 道路拓扑标准， 用于描述路网结构、几何形态及拓扑关系，采用 XML 格式，扩展名为 .xodr。 aiSim 支持 OpenDRIVE 1.4 至 1.7 版本 ，并提供 双工作流 以满足不同使用场景： （1）Atlas 工作流 基于 自研 Atlas 工具链 ，适用于快速搭建交通场景及行为测试流程，道路信息以 逻辑形式 加载，不参与实时渲染，能够实现高效构建、快速测试。 （2）UE Plugin 工作流 面向UE开发的aiSim插件，适用于 数字孪生仿真 与 可视化场景搭建 ，地图导入时完成高保真渲染，便于添加静态资产与视觉验证，真实感强、适合 高精还原 。 aiSim的灵活地图导入能力，不仅提升仿真效率，更帮助用户在开发早期快速实现从测试到交付的闭环。 二、OpenSCENARIO：标准化动态行为建模 ASAM OpenSCENARIO（.xosc） 定义了交通参与者的行为、事件与触发机制，是仿真场景动态建模的核心标准。 aiSim 支持 OpenSCENARIO 1.2 ，具备以下优势： a. 桌面版与云端 GUI 场景编辑器支持交互式构建，所见即所得； b. 可描述复杂的车、人、交通灯、静态物体之间的行为交互； c. 支持导出每次仿真过程的 EvaluationResult，便于结果记录与对比。 如构建一个典型的 cut-in 场景，用户只需在编辑器中完成参数配置，即可 自动生成 可复现场景文件，大幅简化开发流程。 aiSim用标准构建动态场景、用结果衡量系统能力，助力自动驾驶功能闭环验证 三、OpenCRG：还原毫米级路面细节 OpenCRG 提供标准化方式描述道路表面细节，支持毫米级不规则地形建模，用于动力学仿真与轮胎接触等精细化测试。CRG 文件使用二维 UV 网格系统，描述每个点的精确高程信息。 aiSim 在导入OpenDRIVE 地图时 自动解析 符合条件（purpose = elevation，mode = global）的 CRG 元素，提升仿真中的 道路表面真实度 。 a. 用户导入地图时可启用“ 应用 CRG 元素 ”选项，自动映射高程信息。 b. 支持设置横纵向 最小增量值 ，控制网格精度，最小支持毫米级，显著提升仿真保真度。精准路面建模，进一步增强地形还原与物理行为一致性。 从低到高增量值下OpenDRIVE地形的变化 四、OpenMATERIAL：更真实的感知仿真 在感知仿真中，物理材质决定了相机/激光雷达的真实响应， OpenMATERIAL 提供统一材质描述标准，链接 3D 几何与真实物理属性，实现更贴近真实的感知仿真环境。 aiSim 已初步集成 OpenMATERIAL，支持在传感器仿真中对材质反射、纹理、透明度等进行 高保真建模 。 在 aiSim 中，材质信息被高度还原并用于物理传感器模拟，特别适用于摄像头模型的成像仿真。通过 OpenMATERIAL 标准， aiSim 能够提供 更准确的光照 、 色彩与纹理响应 ，为感知算法的训练与验证创造更接近真实世界的环境。 我们还开源了基于 OpenMATERIAL 构建的 aiSim Archer 车辆模型 ，包含： a. 超过 140k 多边形精度建模 b. 全 UV 展开与规范命名 c. 23 个可控灯光节点 d. 包含 glTF 材质与 .xoma 文件 e. 以及额外的法线贴图与细节纹理提升视觉质量 五、OSI：标准化环境接口 ASAM Open Simulation Interface（OSI） 为自动驾驶系统提供通用“ 环境感知输入接口 ”，用于传输仿真中感知相关数据。标准基于 Protocol Buffers，结构清晰、模块可扩展。 在 aiSim 中，OSI 被用于输出 高频率、高一致性 的 Ground Truth 数据，包括： a. 自车及他车的位置、姿态、速度、加速度等状态 b. 所在车道信息及边界点分布 c. 持续每步仿真中生成并记录，支持全流程回溯 同时，aiSim 提供两种查询方式： a. GetAllOSIGT： 获取全部仿真过程中的 GT 数据（带时间戳） b. GetLastStepsOSIGT： 仅获取最新一步仿真数据，便于实时监控 aiSim的 模块化输出 + 高效接口 ，从仿真生成到算法验证的无缝衔接，大幅提升测试流程的规范化与自动化程度。 六、总结 在自动驾驶迈向规模化落地的关键阶段， 开放、标准化、可复现 的仿真能力是保障算法稳定性与法规符合性的核心基础。 aiSim 将持续深度适配 ASAM OpenX 生态，联动OpenDRIVE构图、OpenSCENARIO 场景定义、OpenMATERIAL 材质标准、OSI 接口协议等核心能力，为行业客户提供更高质量、更高效率的仿真解决方案。

一、引言 随着自动驾驶技术的逐步落地， 感知系统对数据的依赖 正以前所未有的速度增长。 传统实车采集 虽然真实可信，但在 效率 、 安全性 、 标注精度 以及 边缘场景覆盖 方面均存在 显著限制 。 合成数据（Synthetic Data） 因具备低成本、高可控性、无限扩展性和高精度标签等优势，已成为 感知算法训练与验证 的重要数据来源。尤其在多模态、多场景、大规模自动化生成等方面， 仿真平台 正成为构建感知数据体系的重要工具。 在感知系统的开发过程中，我们依托仿真平台生成覆盖多种场景和传感器类型的合成数据，用于支持 AVM（环视系统） 开发，同时也利用合成数据生成符合公开格式标准的数据集，助力算法在 真实部署前 实现高效迭代与验证。 本文将系统介绍利用合成数据开发的具体应用流程和实践效果。 二、 AVM系统开发中的仿真验证应用 环视系统（AVM, Around View Monitor） 是自动驾驶和高级辅助驾驶系统（ADAS）中常见的功能模块，通常由4个或更多广角鱼眼相机构成，通过拼接多个摄像头图像生成车辆周围360°的鸟瞰图。 自动泊车系统（APA） 需要环视图像提供对车辆周围环境的精准感知。通过仿真方式模拟鱼眼相机布设和 BEV 拼接，可生成多种泊车场景下的高保真图像，包括地库、斜列车位、窄通道等复杂工况。 相比实车采集，仿真 不仅可以批量构造极端和边缘泊车条件，还能自动提供精确的障碍物位置与车辆姿态标注，大幅加速感知模型的训练和验证流程， 减少实车调试时间 。 传统 AVM 系统的相机 标定依赖人工操作和实车设备， 流程繁琐且精度受限 。 通过仿真 ，可控制各摄像头位置与视角，并生成可重复、可验证的图像和标定数据，适用于整车项目开发初期的快速迭代。 虚拟标定 不仅 提高了标定效率 ，还支持在方案切换、批量测试、相机布局验证等场景中自动生成对齐标注，降低人力投入， 提升系统上线速度 。 在实际开发中，AVM对图像畸变建模、拼接精度、投影映射等有较高要求，传统方法依赖人工标定与测试，周期长、灵活性差。而基于aiSim的仿真流程，可有效提升开发效率与验证精度。 通过合成数据仿真平台，我们借助从 环境搭建 到 数据生成 的 全流程仿真 ，成功实现了 4个鱼眼相机生成AVM合成数据的优化和验证。 图1 基于aiSim构建AVM图像流程 1、标定地图与仿真环境构建 我们在 Unreal Engine环境 中快速搭建6米×11米标定区域，使用2×2黑白相间标定板构成特征纹理区域，并精确布设车辆初始位置，确保视野重叠区域满足投影需求，并通过特定插件将其无缝导入仿真器中。 图2 基于aiSim插件的Unreal Engine地图编辑 2、鱼眼相机配置与参数设置 设置 前、后、左、右 四个鱼眼相机，分别具备： （1）高水平FOV（约180°）； （2）不同俯仰角（前15°、后25°、侧向40°）； （3）安装位置贴近真实车辆安装场景（如后视镜下方）。 我们采用了仿真器内置的 OpenCV标准内参 建模，输出图像同步生成物体的2D/3D边界框与语义标签。 图3 环视OpenCV鱼眼相机传感器配置 3、BEV图像生成与AVM拼接 利用已知相机内参和标定区域结构，通过OpenCV完成图像去畸变与投影矩阵求解，逐方向生成 BEV视图（Bird's Eye View） 。结合车辆图层与坐标对齐规则，拼接生成完整的AVM图像。 支持配置图像分辨率（如1cm²/像素）与投影视野范围，确保几何准确性。 图4 投影区域及BEV转化示意图 4、多场景合成与传感器布局优化 通过 批量仿真脚本 ，可 快速测试 不同环境（如夜间、窄巷、地库）、不同相机布局组合对AVM系统效果的影响。在算法不变的前提下，系统性评估外参配置的优劣，为传感器部署提供数据支持。 图5 不同场景下的AVM合成数据 三、合成数据构建多模态数据集 随着智能驾驶逐步从基础辅助走向复杂场景下的高阶功能，对 感知系统的数据需求 也在迅速升级。不仅需要覆盖高速、城区、出入口等典型 NOA 场景，还要求在 不同模态之间实现精确对齐 ，以支撑融合感知模型的训练与验证。在这类任务中， 仿真生成的合成数据 具备可控性强、标签精准、格式标准的优势，正在成为算法开发的重要支撑手段。 在 智能领航辅助（NOA）场景 中，系统需识别高速匝道、变道车辆、道路边缘等要素，对 训练数据多样性与标注精度要求极高。通过仿真构建 城市快速路、高速公路等 多类 NOA 场景 ，配合光照、天气、车流密度等变量自动生成图像与多模态同步数据。 这类合成数据 可用于训练检测、分割、追踪等模型模块，特别适合用于 填补实车采集难以覆盖的复杂或高风险场景 ，增强模型鲁棒性。 融合感知模型 依赖相机、毫米波雷达、激光雷达等 多种传感器协同输入 ，对数据的同步性和一致性要求较高。 通过仿真 ，可以 同时生成这三类传感器 的视角数据，并自动对齐时间戳、坐标系和标注信息，输出包括 3D 边界框、语义分割、目标速度等在内的完整标签，且格式兼容 nuScenes 等主流标准。这类数据可用于 训练融合模型识别道路上的异形障碍物 ，例如夜间难以通过视觉识别的散落杂物，或需要多模态补强感知的边缘目标。仿真带来的高度可控性也 便于统一测试条件 ，对模型性能进行定量分析与精细化调优。 在实际项目中， 合成数据的价值 不仅体现在生成效率和标注精度，更在于其 能否与下游算法开发流程无缝衔接 。为了实现这一目标，我们将 aiSim 导出的多模态原始数据，通过 自研数据处理脚本 ，转换为 基本符合 nuScenes 标准格式的数据集 。 数据构建流程如下： 1、编写符合 nuScenes 规范的传感器配置文件 首先 ，我们 根据 nuScenes 的数据结构要求 ，定义并生成了包含相机、雷达、激光雷达等传感器的配置文件，包括传感器类型、安装位置、外参信息等。该步骤确保生成数据可直接映射至 nuScenes 的 calibrated_sensor.json 和 sensor.json。 图6 激光雷达部分的传感器配置文件 图7 符合nuScenes格式的传感器配置 2、利用 aiSim Stepped 模式导出对齐的原始数据 其次，在仿真阶段， 我们启用了 仿真器的 Stepped Simulation 模式 ，该模式支持以固定时间步长（如每 0.1 秒）推进仿真，并确保所有传感器在 同一时间戳输出数据 。这种方式实现了多模态数据的时间戳全局对齐，满足 nuScenes 对数据同步的要求。 图8 aiSim相机传感器Bounding Box真值输出 然后，在仿真运行中 ，我们导出包含图像、点云、雷达、Ego Pose、2D/3D 标注等原始数据，场景长度约为 20 秒，覆盖了一段在高流量城市交通中经过十字路口的场景，作为构建示例数据集的基础。 3、结构化转换为 nuScenes JSON 格式 此外，使用 自研转换脚本 ，我们将导出的原始数据组织并填充为 nuScenes 所需的各类 JSON 文件 ，并和官方标准格式对齐，包括： scene.json：记录场景序列； sample.json：定义帧级时间结构； sample_data.json：图像、雷达、点云等数据路径与时间戳； calibrated_sensor.json 和 sensor.json：传感器类型及配置； ego_pose.json：车辆轨迹； sample_annotation.json：3D 边界框、类别、属性； instance.json、category.json、visibility.json 等其他语义层级数据。 图9 nuScenes 标准数据集JSON结构表 4、数据集结构搭建完成 最终， 构建完成的数据集具备 完整的时空同步结构 与 语义标签 ，可直接用于视觉感知、雷达检测、融合感知等模型训练与评估任务。该流程验证了合成数据向标准训练数据的转换路径，并具备可扩展性， 适用于更大规模的批量数据生成 。 图10 激光雷达点云 + 相机融合标注框 图11 激光雷达点云 + 同类型标注框 （俯视/侧视） 图12 多帧实例+激光雷达点云 （俯视+路径） 这一完整流程不仅验证了合成数据在工程流程中的落地能力，也为后续基于大规模仿真生成标准训练集打下了结构基础。 四、aiSim：感知研发全流程平台 在自动驾驶感知系统的开发过程中，仿真平台已逐渐发展为合成数据生产的重要基础设施。 aiSim 通过集成环境建模、传感器仿真、多模态数据输出与标准格式转换等功能， 支持从场景构建到数据集生成的完整流程 。 1、多样场景与数据格式的灵活支持 aiSim 可 精细还原 环视系统中鱼眼相机的安装布局、图像畸变特性及 BEV 视角拼接逻辑，生成 贴近实车采集的高保真图像 。同时，平台有一套 自成体系的仿真数据组织与输出机制 ，涵盖视觉、激光雷达、毫米波雷达等多类型传感器数据及真值标注。支持通过脚本调度 自动批量生成 不同气候、光照、地形和交通条件下的多样化场景，满足大规模训练与边缘场景验证的需求。 2、从物理建模到标签输出的完整链条 借助图形引擎，aiSim 实现了对真实物理光照、材质、阴影和天气的 动态建模 。平台支持相机、激光雷达、毫米波雷达等传感器的物理与几何特性建模，兼容 OpenCV、ROS 等常见开发标准。在数据输出方面，aiSim 支持多传感器同步控制 ，可自动生成对齐的 2D/3D 检测框、语义标签、Ego 轨迹等数据，覆盖感知算法训练常见需求，减少数据清洗与后处理工作量。 3、工程集成与可扩展性 aiSim 提供 图形界面、工具链与开放 API ，方便用户将其集成至企业现有的数据平台和模型训练流程中。平台内的场景配置与资源系统具备良好的 可扩展性 ，支持用户自定义传感器布设、交通要素和场景资产，用于支持环视系统、感知模型、融合算法等不同研发阶段的需求。 无论是 环视系统的泊车能力 与 虚拟标定 ，还是面向 NOA 和多模态融合 的训练任务， 仿真生成的数据 都在感知系统的实际落地中提供了可衡量、可扩展的价值。让数据获取从“拍”到“造”，从“靠人”到“自动”，为智能驾驶研发提速、降本、增稳。