标签: 场景

随着自动驾驶技术走向 高阶智能化 以及法律法规的逐渐完善， 仿真测试 将会成为ADAS/AD 研发流程的必不可少的环节。 标准化接口 与 数据格式 不仅提升了测试效率，更成为推动产业协同的关键基石。 康谋 aiSim 深度集成 ASAM OpenX 系列标准 ，构建了高度兼容、高度还原的自动驾驶仿真平台。本文将从 五大核心标准 切入，系统解读 aiSim 如何通过标准化接口，全面支持自动驾驶仿真各环节。 一、OpenDRIVE：兼容多版本地图标准 ASAM OpenDRIVE 是自动驾驶仿真中最常用的 道路拓扑标准， 用于描述路网结构、几何形态及拓扑关系，采用 XML 格式，扩展名为 .xodr。 aiSim 支持 OpenDRIVE 1.4 至 1.7 版本 ，并提供 双工作流 以满足不同使用场景： （1）Atlas 工作流 基于 自研 Atlas 工具链 ，适用于快速搭建交通场景及行为测试流程，道路信息以 逻辑形式 加载，不参与实时渲染，能够实现高效构建、快速测试。 （2）UE Plugin 工作流 面向UE开发的aiSim插件，适用于 数字孪生仿真 与 可视化场景搭建 ，地图导入时完成高保真渲染，便于添加静态资产与视觉验证，真实感强、适合 高精还原 。 aiSim的灵活地图导入能力，不仅提升仿真效率，更帮助用户在开发早期快速实现从测试到交付的闭环。 二、OpenSCENARIO：标准化动态行为建模 ASAM OpenSCENARIO（.xosc） 定义了交通参与者的行为、事件与触发机制，是仿真场景动态建模的核心标准。 aiSim 支持 OpenSCENARIO 1.2 ，具备以下优势： a. 桌面版与云端 GUI 场景编辑器支持交互式构建，所见即所得； b. 可描述复杂的车、人、交通灯、静态物体之间的行为交互； c. 支持导出每次仿真过程的 EvaluationResult，便于结果记录与对比。 如构建一个典型的 cut-in 场景，用户只需在编辑器中完成参数配置，即可 自动生成 可复现场景文件，大幅简化开发流程。 aiSim用标准构建动态场景、用结果衡量系统能力，助力自动驾驶功能闭环验证 三、OpenCRG：还原毫米级路面细节 OpenCRG 提供标准化方式描述道路表面细节，支持毫米级不规则地形建模，用于动力学仿真与轮胎接触等精细化测试。CRG 文件使用二维 UV 网格系统，描述每个点的精确高程信息。 aiSim 在导入OpenDRIVE 地图时 自动解析 符合条件（purpose = elevation，mode = global）的 CRG 元素，提升仿真中的 道路表面真实度 。 a. 用户导入地图时可启用“ 应用 CRG 元素 ”选项，自动映射高程信息。 b. 支持设置横纵向 最小增量值 ，控制网格精度，最小支持毫米级，显著提升仿真保真度。精准路面建模，进一步增强地形还原与物理行为一致性。 从低到高增量值下OpenDRIVE地形的变化 四、OpenMATERIAL：更真实的感知仿真 在感知仿真中，物理材质决定了相机/激光雷达的真实响应， OpenMATERIAL 提供统一材质描述标准，链接 3D 几何与真实物理属性，实现更贴近真实的感知仿真环境。 aiSim 已初步集成 OpenMATERIAL，支持在传感器仿真中对材质反射、纹理、透明度等进行 高保真建模 。 在 aiSim 中，材质信息被高度还原并用于物理传感器模拟，特别适用于摄像头模型的成像仿真。通过 OpenMATERIAL 标准， aiSim 能够提供 更准确的光照 、 色彩与纹理响应 ，为感知算法的训练与验证创造更接近真实世界的环境。 我们还开源了基于 OpenMATERIAL 构建的 aiSim Archer 车辆模型 ，包含： a. 超过 140k 多边形精度建模 b. 全 UV 展开与规范命名 c. 23 个可控灯光节点 d. 包含 glTF 材质与 .xoma 文件 e. 以及额外的法线贴图与细节纹理提升视觉质量 五、OSI：标准化环境接口 ASAM Open Simulation Interface（OSI） 为自动驾驶系统提供通用“ 环境感知输入接口 ”，用于传输仿真中感知相关数据。标准基于 Protocol Buffers，结构清晰、模块可扩展。 在 aiSim 中，OSI 被用于输出 高频率、高一致性 的 Ground Truth 数据，包括： a. 自车及他车的位置、姿态、速度、加速度等状态 b. 所在车道信息及边界点分布 c. 持续每步仿真中生成并记录，支持全流程回溯 同时，aiSim 提供两种查询方式： a. GetAllOSIGT： 获取全部仿真过程中的 GT 数据（带时间戳） b. GetLastStepsOSIGT： 仅获取最新一步仿真数据，便于实时监控 aiSim的 模块化输出 + 高效接口 ，从仿真生成到算法验证的无缝衔接，大幅提升测试流程的规范化与自动化程度。 六、总结 在自动驾驶迈向规模化落地的关键阶段， 开放、标准化、可复现 的仿真能力是保障算法稳定性与法规符合性的核心基础。 aiSim 将持续深度适配 ASAM OpenX 生态，联动OpenDRIVE构图、OpenSCENARIO 场景定义、OpenMATERIAL 材质标准、OSI 接口协议等核心能力，为行业客户提供更高质量、更高效率的仿真解决方案。

基于 3DGS 和 NeRF 的 三维重建技术 在过去的一年中取得了快速的进步，动态模型也变得越来越普遍，然而这些模型仅限于处理 原始轨迹域内的对象。 HRMAD 作为一种混合方案，将传统的基于网格的动态三维神经重建和物理渲染优势结合，支持在任意位置部署网格动态代理，自由调整环境条件，在多个相机视角下进行自由切换，与传统仿真方法相比有效 减少了领域差距， 同时 保留了可控性。 一、方法描述 HRMAD提出的 NeRF2GS双模型训练范式 显著提升了 合成质量 ，尤其是道路和车道标志，同时满足交互式帧率。通过此块级并行训练架构，可以处理 超过10万平方米场景重建 ，并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端，HRMAD支持多个相机模型、LiDAR和Radar的 实时多模态输出 。如图1所示的模型架构。 图1 具体而言，HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了 NeRF优秀的泛化能力 和 3DGS实时的渲染速度 ，通过T-S结构，将NeRF生成的深度、法线和外观监督信息传递给3DGS模型，并通过正则化将LiDAR深度数据引入NeRF，从而实现更准确的 几何结构建模 。 传统基于透视投影的渲染方法通常依赖于特定的投影模型，为了在3DGS场景中 适配任意传感器 ，HRMAD提出了一种 新的渲染算法架构 ，如下图2所示。 图2 该架构基于 共享代码库 实现了光栅化和光线追踪渲染，用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持 任意相机畸变模型 ，还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后， 点云的可视化效果 。 图3 图4表明HRMAD在 极端视角 下RGB、深度、法线和分割（基于Mask2Former）模态下的几何细节和表面特性，重建面积约为165000平方米（ZalaZone测试场，此重建场景将于 aiSim5.7 版本进行发布）。 图4 二、下游任务验证 1、重建质量验证 由于HRMAD采用的是 基于双边网格的色彩校正方法 ，传统的PSNR指标不再适用，而SSIM和LPIPS指标对 结果相似性 更为敏感，但从结果上看，这两个指标仍然受到 ISP解耦 导致的RAW与重建图像之间 色彩失配 的影响。这一影响体现在了评估结果中，如表1，表中对比了原始3DGS和TCLC-GS在 6个Waymo场景 上的指标表现。 表1 2、语义分割验证 在语义分割上分别从 三个角度 评估模型性能， 首先 通过统计所有像素中 语义分类一致 的比例，反映 全局重建一致性 。 通过 Mask2Former 获取真实图像上计算的分割Mask，并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较，验证 重建的准确性 。同时为了降低道路、天空等易分割区域对整体结果的偏差影响，针对" Car "进行 单独IoU计算 。 为确保验证过程的公平性，真实图像被 重投影 至与渲染过程一致的无畸变针孔相机参数空间，当重建结果正确标注了远距离或被遮挡物体，而Mask2Former因输入信息有限导致 误判 时，此类误差会被 计入评估指标 。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356)， 掩膜一致性 显著下降。结果如表2所示。 表2 其次 在 非常规视角 下进行模型渲染，并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成，并在 米范围内平移前视相机仿真模型。 表3 展示了针对道路表面信息和车辆的 重建性能 。其中 Car类型 的重建性能相对较低，这是由于 Mask2Frame 无法检测远处或被遮挡的物体，从而扩大了差异。 图5 显了示相关结果，绿色为匹配区域，蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。 表3 图5 最后在 极端渲染视角 下（高5m，横向偏移2m，向下偏转25°），针对车道线和路沿语义分割结果进行了 定性评估 ，如图6所示。 图6 3、3D目标检测验证 为了验证HRMAD在 3D目标检测 上的 一致性 ，采用在Waymo Open数据集训练中公开的 DEVIANT 3D目标检测模型 ，进行定量和定性实验。 定量实验 中，在Waymo-13469905891836363794片段中从 横向偏移视角下进行验证，并通过平移变换后的3DBBox定量计算。 定性实验 选取三个驾驶片段进行 静态环境渲染 ，并基于网格渲染添加动态车辆，主要用于评估仿真生成的车辆是否引入了 领域差距 。 表4基于 Waymo指标 进行验证，Original为原始图像。特别在近距离下，HRMAD的表现性能要优于原始图像，这是由于原始图像中 假阳FP 数量更高。在非常规视角渲染下，观察到的差异主要是横向偏移视角下 目标截断 的数量增加，但 整体检测结果 在很大程度上 保持一致。 表4 图7为 DEVIANT模型 在HRMAD渲染Waymo场景中的表现。 图7 三、结语 虽然 HRMAD渲染方法 旨在最大程度减少 区块边界的不连续性 ，但仍不可避免地会产生可见的 伪影 ，特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好，但在自动驾驶仿真测试场景中，在非常规视角下仍然会导致 伪影和结构痕迹 。 在下游任务中，HRMAD针对自动驾驶场景的评估结果已 非常接近真实数据， 但由于 样本有限 ，仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距，具体来说，可以通过探索 层次化高斯泼溅 来减少区块伪影，并利用生成的法线信息改进LiDAR强度模拟，来更好地反应 点云数据 的方向敏感强度。

基于 3DGS 和 NeRF 的 三维重建技术 在过去的一年中取得了快速的进步，动态模型也变得越来越普遍，然而这些模型仅限于处理 原始轨迹域内的对象。 HRMAD 作为一种混合方案，将传统的基于网格的动态三维神经重建和物理渲染优势结合，支持在任意位置部署网格动态代理，自由调整环境条件，在多个相机视角下进行自由切换，与传统仿真方法相比有效 减少了领域差距， 同时 保留了可控性。 一、方法描述 HRMAD提出的 NeRF2GS双模型训练范式 显著提升了 合成质量 ，尤其是道路和车道标志，同时满足交互式帧率。通过此块级并行训练架构，可以处理 超过10万平方米场景重建 ，并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端，HRMAD支持多个相机模型、LiDAR和Radar的 实时多模态输出 。如图1所示的模型架构。 图1 具体而言，HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了 NeRF优秀的泛化能力 和 3DGS实时的渲染速度 ，通过T-S结构，将NeRF生成的深度、法线和外观监督信息传递给3DGS模型，并通过正则化将LiDAR深度数据引入NeRF，从而实现更准确的 几何结构建模 。 传统基于透视投影的渲染方法通常依赖于特定的投影模型，为了在3DGS场景中 适配任意传感器 ，HRMAD提出了一种 新的渲染算法架构 ，如下图2所示。 图2 该架构基于 共享代码库 实现了光栅化和光线追踪渲染，用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持 任意相机畸变模型 ，还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后， 点云的可视化效果 。 图3 图4表明HRMAD在 极端视角 下RGB、深度、法线和分割（基于Mask2Former）模态下的几何细节和表面特性，重建面积约为165000平方米（ZalaZone测试场，此重建场景将于 aiSim5.7 版本进行发布）。 图4 二、下游任务验证 1、重建质量验证 由于HRMAD采用的是 基于双边网格的色彩校正方法 ，传统的PSNR指标不再适用，而SSIM和LPIPS指标对 结果相似性 更为敏感，但从结果上看，这两个指标仍然受到 ISP解耦 导致的RAW与重建图像之间 色彩失配 的影响。这一影响体现在了评估结果中，如表1，表中对比了原始3DGS和TCLC-GS在 6个Waymo场景 上的指标表现。 表1 2、语义分割验证 在语义分割上分别从 三个角度 评估模型性能， 首先 通过统计所有像素中 语义分类一致 的比例，反映 全局重建一致性 。 通过 Mask2Former 获取真实图像上计算的分割Mask，并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较，验证 重建的准确性 。同时为了降低道路、天空等易分割区域对整体结果的偏差影响，针对" Car "进行 单独IoU计算 。 为确保验证过程的公平性，真实图像被 重投影 至与渲染过程一致的无畸变针孔相机参数空间，当重建结果正确标注了远距离或被遮挡物体，而Mask2Former因输入信息有限导致 误判 时，此类误差会被 计入评估指标 。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356)， 掩膜一致性 显著下降。结果如表2所示。 表2 其次 在 非常规视角 下进行模型渲染，并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成，并在 米范围内平移前视相机仿真模型。 表3 展示了针对道路表面信息和车辆的 重建性能 。其中 Car类型 的重建性能相对较低，这是由于 Mask2Frame 无法检测远处或被遮挡的物体，从而扩大了差异。 图5 显了示相关结果，绿色为匹配区域，蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。 表3 图5 最后在 极端渲染视角 下（高5m，横向偏移2m，向下偏转25°），针对车道线和路沿语义分割结果进行了 定性评估 ，如图6所示。 图6 3、3D目标检测验证 为了验证HRMAD在 3D目标检测 上的 一致性 ，采用在Waymo Open数据集训练中公开的 DEVIANT 3D目标检测模型 ，进行定量和定性实验。 定量实验 中，在Waymo-13469905891836363794片段中从 横向偏移视角下进行验证，并通过平移变换后的3DBBox定量计算。 定性实验 选取三个驾驶片段进行 静态环境渲染 ，并基于网格渲染添加动态车辆，主要用于评估仿真生成的车辆是否引入了 领域差距 。 表4基于 Waymo指标 进行验证，Original为原始图像。特别在近距离下，HRMAD的表现性能要优于原始图像，这是由于原始图像中 假阳FP 数量更高。在非常规视角渲染下，观察到的差异主要是横向偏移视角下 目标截断 的数量增加，但 整体检测结果 在很大程度上 保持一致。 表4 图7为 DEVIANT模型 在HRMAD渲染Waymo场景中的表现。 图7 三、结语 虽然 HRMAD渲染方法 旨在最大程度减少 区块边界的不连续性 ，但仍不可避免地会产生可见的 伪影 ，特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好，但在自动驾驶仿真测试场景中，在非常规视角下仍然会导致 伪影和结构痕迹 。 在下游任务中，HRMAD针对自动驾驶场景的评估结果已 非常接近真实数据， 但由于 样本有限 ，仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距，具体来说，可以通过探索 层次化高斯泼溅 来减少区块伪影，并利用生成的法线信息改进LiDAR强度模拟，来更好地反应 点云数据 的方向敏感强度。 目前， HRMAD生成场景 已集成在 aiSim 中，可在不同传感器模型配置方案下，实现 端到端仿真测试 交互式验证和测试。

随着自动驾驶技术的迅猛发展，构建 高保真、动态的仿真场景 成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下， 3D高斯点阵渲染（3DGS） 技术应运而生，成为自动驾驶仿真场景重建的关键突破。 一、3DGS技术概述与原理 1、3DGS的技术概述 3DGS是一种基于3D高斯分布的 三维场景表示方法 。通过将场景中的对象转化为多个 3D高斯点 ，每个点包含位置、协方差矩阵和不透明度等信息，3DGS能够精确地表达复杂场景的 几何形状 和 光照特性 。 与 传统的神经辐射场（NeRF） 方法相比，3DGS在渲染速度和图像质量方面表现出色，弥补了NeRF在动态场景处理和细节保留上的不足。 图1：3DGS重建流程 2、3DGS的技术原理 在3DGS中，首先通过 SfM（Structure from Motion） 技术进行数据预处理，校准相机位置并恢复其内部和外部参数，生成稀疏点云。然后，基于这些点云 初始化一组3D高斯点 ，每个高斯点的初始位置、协方差矩阵和不透明度都会进行设置。 训练过程中，3DGS通过 反向传播 不断优化这些高斯点的位置、形状和不透明度。值得注意的是，3DGS采用了 自适应密度控制 ，能够在每次反向传播后去除那些不重要的高斯点，并根据需要对高斯点进行 分裂或克隆 ，以保证场景重建的精度和细节。 图2：训练过程中高斯点的优化 二、3DGS在自动驾驶仿真中的应用 在自动驾驶领域，3DGS技术被广泛应用于 高保真仿真场景 的重建。通过将 多视角图像转化为3D高斯点云 ，3DGS能够快速、精确地重建复杂的街道场景，为自动驾驶系统的训练和验证提供真实的虚拟环境。例如，Huang等人提出的 S³Gaussian 方法，通过自监督学习，从4D一致性中分解动态和静态元素，实现了高质量的街道场景重建。 此外，Zhou等人提出的 DrivingGaussian 方法，针对环视动态自动驾驶场景，发展了基于3D高斯的重建仿真技术。该方法能够有效建模复杂的多尺度背景和前景，提升了自动驾驶系统在复杂环境下的感知能力。 图3：S³Gaussian方法 图4：DrivingGaussian方法 1、3DGS的优势与挑战 （1）优势 高效性： 通过显式建模方法，3DGS避免了传统神经网络训练中的计算开销，训练速度更快，渲染效率更高。 精度： 3D高斯点可以细致地捕捉场景中的每个细节，从而实现高精度的三维重建。 实时性： 3DGS支持实时渲染，适合需要快速响应的应用场景，如自动驾驶仿真。 （2）挑战 场景复杂度： 对于极为复杂的三维场景，3DGS可能需要大量的高斯点，这会增加计算负担和内存消耗。 动态场景的支持： 目前，3DGS主要集中在静态场景的重建，如何高效地处理 动态场景 中的物体变化，仍然是一个技术挑战。 三、aiSim的3DGS重建功能 aiSim仿真平台结合3DGS 技术，可以提供强大的三维重建功能，极大地提升了自动驾驶仿真测试的效率和精度。 在aiSim中，3DGS被用于从 多视角图像 中重建复杂的三维场景。aiSim能够精确地捕捉环境的 几何形状 和 光照特性 ，为自动驾驶系统提供 高保真的虚拟环境 。这种高精度的三维重建使得自动驾驶算法能够在仿真中进行更为真实的测试，减少了对实际道路测试的依赖。 图5：大FoV相机渲染出现非一致性（左）重建3DGS渲染方案后（右） aiSim新构建的 GGSR通用高斯泼溅渲染器 优化了重建场景下光线追踪传感器的渲染效果，增强了广角镜头渲染下的 一致性 ，并能减少伪影的产生，实现高保真度的3DGS重建场景兼容。 在重建的静态场景之上，aiSim支持 自定义动态的场景交通流 。通过添加动态实体，aiSim可以模拟交通流、行人行为等动态元素，为自动驾驶系统提供更为全面的测试场景。这种动态重建能力使得aiSim在验证自动驾驶系统的泛化能力和 应对复杂场景 的能力方面，展现出了巨大的优势。 图6：十字路口车辆起步场景 四、结语 3DGS作为一种新兴的三维场景重建技术，凭借其高效、精确和实时的特点，在自动驾驶仿真领域展现出了巨大的潜力。我们有理由相信，未来3DGS将为更多行业带来创新性的解决方案。 ▍参考文献 1.3D Gaussian Splatting for Real-Time Radiance Field Rendering 2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving 3.DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes