标签: 仿真

随着汽车向智能化、场景化加速演进， 智能座舱 已成为人车交互的核心承载。从驾驶员注意力监测到 儿童遗留检测 ，从乘员识别到 安全带状态判断 ，座舱内的每一次行为都蕴含着巨大的安全与体验价值。 然而，这些 感知系统 要在多样驾驶行为、复杂座舱布局和极端光照条件下持续稳定运行，传统的真实数据采集方式已难以支撑其 开发迭代需求 。智能座舱的技术演进，正由 “采集驱动” 转向 “仿真驱动” 。 一、智能座舱仿真的挑战与突破 图1：座舱实例图 智能座舱中的AI系统 ，不仅需要理解驾驶员的行为和状态，还要同时感知乘员、儿童、宠物乃至环境中的 潜在交互风险 。其仿真面临 几大挑战 ： （1）行为维度复杂： 如疲劳驾驶、身体遮挡、婴儿误留、饮水打电话等多样行为难以统一采集； （2）环境变因多样： 如夜间光照、红外反射、遮挡物等情况干扰传感器判断； （3）隐私合规严苛： 特别是在儿童检测等场景，获取真实数据存在法律与伦理障碍。 这些因素决定了：高质量的、多模态的 合成数据与虚拟仿真 ，已成为智能座舱感知系统研发不可或缺的支撑工具。 二、合成数据：真实世界外的“数据宇宙” 在 智能座舱开发 中，获取高质量训练数据往往面临 隐私、成本和长尾场景覆盖不足 的问题。 合成数据 以其可控、高效、多样、合规等优势，正成为训练AI感知系统的重要资源。 图2：多种类型传感器下的合成数据（Anyverse） 相比真实数据， 合成数据具有以下优势： （1）全面多样： 可灵活生成不同人群、行为、座舱结构与环境变量组合，轻松覆盖极端和低频场景； （2）精准标注： 输出像素级真值、凝视向量、关键点、分割图等，省去人工标注； （3）高效合规： 不涉及真实乘员或儿童影像，天然满足GDPR等隐私法规； （4）可重复与可扩展： 相同条件下随时重建，便于模型对比测试与大规模数据扩增。 在 DMS、OMS、儿童存在检测（CPD）、安全带识别、宠物识别等 多个智能座舱感知模块 中， 合成数据 不仅作为训练数据使用，也广泛应用于模型验证、场景补全与鲁棒性测试。 三、研究积累：智能座舱仿真技术的支撑 智能座舱的核心 不再只是对驾驶员状态的检测，更在于理解人在车内的 各种行为与交互模式 。为了实现这一目标， 学术界 在近几年不断推进 舱内仿真与合成数据相关研究 ，这些成果也为 Anyverse 的平台能力提供了坚实的技术基础。 其中， CVPR 2023 发表的 BEHAVE 数据集是第一个聚焦全身人-物体交互的 大规模 3D 数据集 。该研究通过 多视角 RGB-D 采集与三维重建 ，精细还原了人类与日常物品之间的自然行为，包括动作接触点、物体遮挡、身体姿态等，为仿真平台构建乘员使用手机、饮水、与物体互动等细致行为场景提供了完整建模方案。 图3：BEHAVE数据集 在 视线与注意力建模方面 ， ICCV 2019 的 Gaze360 提出了无需设备佩戴的 3D 凝视估计方法。该数据集涵盖不同光照和姿态条件下的大量受试者样本，引入时间建模与不确定性表达，为驾驶员注意力评估和视觉交互训练提供了更加贴近实际场景的支持，也使得 Anyverse 能够更加自然地模拟驾驶员在不同状态下的凝视方向和关注点。 图4 ：Gaze360视线标注数据集 图5：Anyverse合成的打瞌睡的司机元数据可视化 这些研究标志着 舱内感知 正从静态姿态识别，逐步迈向对 复杂交互行为 和 多模态信息 的 深度建模 。 Anyverse 正是建立在这类前沿研究成果的基础之上，不断拓展其在角色行为生成、传感器仿真、多视角场景构建等方面的能力，助力智能座舱系统走向更加真实、可靠与安全的交互未来。 四、舱内多模态感知仿真平台 舱内感知系统设计的多模态仿真平台（ Anyverse ） ，覆盖从驾驶员监控（DMS）到乘员识别（OMS）、儿童存在检测（CPD）、安全带识别、红外仿真、雷达仿真等多场景需求。 图6：功能概览 图7：多样化的舱内合成数据 1、关键功能亮点 （1）多样化舱内合成数据生成 支持多年龄、种族、姿态的角色建模，覆盖儿童座椅状态、宠物遮挡、错误安全带系法等复杂情境，输出 RGB、IR、ToF、Radar 等多传感器格式数据。 （2）快速虚拟验证与闭环测试 适配 Euro NCAP、IIHS、China NCAP 等安全法规标准，提供像素级真值标注、行为追踪与模型性能可视化验证。 （3）物理级传感器仿真引擎 支持基于 SBR 技术的雷达建模、高保真红外与近红外成像、MIMO 系统仿真，输出雷达立方体与点云格式数据。 （4）开放、可复用的数据资产库 提供可自定义的角色、座舱结构、传感器布置与互动物体库，快速构建多变场景，显著降低研发成本。 凭借高保真仿真能力与多模态数据生成优势，Anyverse 展现出在整车厂、Tier 1 与算法研发团队中广泛部署的潜力，正加速舱内感知系统的训练与验证闭环。 五、结语：仿真驱动的智能座舱创新路径 智能座舱的真正挑战，不是识别驾驶员是否闭眼，而是理解“此时此刻车内发生了什么”。这需要多 模态、多角色、多行为的精准感知系统 ，更需要背后支撑它的，一整套高保真、低成本、标准对齐的 仿真机制 。 未来的人车交互，不止于响应，而源于洞察！ 参考文献： 1. Sundaram, S., et al. (2023). BEHAVE: Dataset and Method for Tracking Human-Object Interaction. CVPR 2023. 2. Kellnhofer, P., et al. (2019). Gaze360: Physically Unconstrained Gaze Estimation in the Wild. ICCV 2019. 3. Nguyen, T., et al. (2023). Synthevehicle: A Synthetic Dataset and Benchmark for Vehicle Interior Perception. WACV 2023.

基于 3DGS 和 NeRF 的 三维重建技术 在过去的一年中取得了快速的进步，动态模型也变得越来越普遍，然而这些模型仅限于处理 原始轨迹域内的对象。 HRMAD 作为一种混合方案，将传统的基于网格的动态三维神经重建和物理渲染优势结合，支持在任意位置部署网格动态代理，自由调整环境条件，在多个相机视角下进行自由切换，与传统仿真方法相比有效 减少了领域差距， 同时 保留了可控性。 一、方法描述 HRMAD提出的 NeRF2GS双模型训练范式 显著提升了 合成质量 ，尤其是道路和车道标志，同时满足交互式帧率。通过此块级并行训练架构，可以处理 超过10万平方米场景重建 ，并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端，HRMAD支持多个相机模型、LiDAR和Radar的 实时多模态输出 。如图1所示的模型架构。 图1 具体而言，HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了 NeRF优秀的泛化能力 和 3DGS实时的渲染速度 ，通过T-S结构，将NeRF生成的深度、法线和外观监督信息传递给3DGS模型，并通过正则化将LiDAR深度数据引入NeRF，从而实现更准确的 几何结构建模 。 传统基于透视投影的渲染方法通常依赖于特定的投影模型，为了在3DGS场景中 适配任意传感器 ，HRMAD提出了一种 新的渲染算法架构 ，如下图2所示。 图2 该架构基于 共享代码库 实现了光栅化和光线追踪渲染，用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持 任意相机畸变模型 ，还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后， 点云的可视化效果 。 图3 图4表明HRMAD在 极端视角 下RGB、深度、法线和分割（基于Mask2Former）模态下的几何细节和表面特性，重建面积约为165000平方米（ZalaZone测试场，此重建场景将于 aiSim5.7 版本进行发布）。 图4 二、下游任务验证 1、重建质量验证 由于HRMAD采用的是 基于双边网格的色彩校正方法 ，传统的PSNR指标不再适用，而SSIM和LPIPS指标对 结果相似性 更为敏感，但从结果上看，这两个指标仍然受到 ISP解耦 导致的RAW与重建图像之间 色彩失配 的影响。这一影响体现在了评估结果中，如表1，表中对比了原始3DGS和TCLC-GS在 6个Waymo场景 上的指标表现。 表1 2、语义分割验证 在语义分割上分别从 三个角度 评估模型性能， 首先 通过统计所有像素中 语义分类一致 的比例，反映 全局重建一致性 。 通过 Mask2Former 获取真实图像上计算的分割Mask，并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较，验证 重建的准确性 。同时为了降低道路、天空等易分割区域对整体结果的偏差影响，针对" Car "进行 单独IoU计算 。 为确保验证过程的公平性，真实图像被 重投影 至与渲染过程一致的无畸变针孔相机参数空间，当重建结果正确标注了远距离或被遮挡物体，而Mask2Former因输入信息有限导致 误判 时，此类误差会被 计入评估指标 。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356)， 掩膜一致性 显著下降。结果如表2所示。 表2 其次 在 非常规视角 下进行模型渲染，并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成，并在 米范围内平移前视相机仿真模型。 表3 展示了针对道路表面信息和车辆的 重建性能 。其中 Car类型 的重建性能相对较低，这是由于 Mask2Frame 无法检测远处或被遮挡的物体，从而扩大了差异。 图5 显了示相关结果，绿色为匹配区域，蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。 表3 图5 最后在 极端渲染视角 下（高5m，横向偏移2m，向下偏转25°），针对车道线和路沿语义分割结果进行了 定性评估 ，如图6所示。 图6 3、3D目标检测验证 为了验证HRMAD在 3D目标检测 上的 一致性 ，采用在Waymo Open数据集训练中公开的 DEVIANT 3D目标检测模型 ，进行定量和定性实验。 定量实验 中，在Waymo-13469905891836363794片段中从 横向偏移视角下进行验证，并通过平移变换后的3DBBox定量计算。 定性实验 选取三个驾驶片段进行 静态环境渲染 ，并基于网格渲染添加动态车辆，主要用于评估仿真生成的车辆是否引入了 领域差距 。 表4基于 Waymo指标 进行验证，Original为原始图像。特别在近距离下，HRMAD的表现性能要优于原始图像，这是由于原始图像中 假阳FP 数量更高。在非常规视角渲染下，观察到的差异主要是横向偏移视角下 目标截断 的数量增加，但 整体检测结果 在很大程度上 保持一致。 表4 图7为 DEVIANT模型 在HRMAD渲染Waymo场景中的表现。 图7 三、结语 虽然 HRMAD渲染方法 旨在最大程度减少 区块边界的不连续性 ，但仍不可避免地会产生可见的 伪影 ，特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好，但在自动驾驶仿真测试场景中，在非常规视角下仍然会导致 伪影和结构痕迹 。 在下游任务中，HRMAD针对自动驾驶场景的评估结果已 非常接近真实数据， 但由于 样本有限 ，仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距，具体来说，可以通过探索 层次化高斯泼溅 来减少区块伪影，并利用生成的法线信息改进LiDAR强度模拟，来更好地反应 点云数据 的方向敏感强度。

基于 3DGS 和 NeRF 的 三维重建技术 在过去的一年中取得了快速的进步，动态模型也变得越来越普遍，然而这些模型仅限于处理 原始轨迹域内的对象。 HRMAD 作为一种混合方案，将传统的基于网格的动态三维神经重建和物理渲染优势结合，支持在任意位置部署网格动态代理，自由调整环境条件，在多个相机视角下进行自由切换，与传统仿真方法相比有效 减少了领域差距， 同时 保留了可控性。 一、方法描述 HRMAD提出的 NeRF2GS双模型训练范式 显著提升了 合成质量 ，尤其是道路和车道标志，同时满足交互式帧率。通过此块级并行训练架构，可以处理 超过10万平方米场景重建 ，并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端，HRMAD支持多个相机模型、LiDAR和Radar的 实时多模态输出 。如图1所示的模型架构。 图1 具体而言，HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了 NeRF优秀的泛化能力 和 3DGS实时的渲染速度 ，通过T-S结构，将NeRF生成的深度、法线和外观监督信息传递给3DGS模型，并通过正则化将LiDAR深度数据引入NeRF，从而实现更准确的 几何结构建模 。 传统基于透视投影的渲染方法通常依赖于特定的投影模型，为了在3DGS场景中 适配任意传感器 ，HRMAD提出了一种 新的渲染算法架构 ，如下图2所示。 图2 该架构基于 共享代码库 实现了光栅化和光线追踪渲染，用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持 任意相机畸变模型 ，还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后， 点云的可视化效果 。 图3 图4表明HRMAD在 极端视角 下RGB、深度、法线和分割（基于Mask2Former）模态下的几何细节和表面特性，重建面积约为165000平方米（ZalaZone测试场，此重建场景将于 aiSim5.7 版本进行发布）。 图4 二、下游任务验证 1、重建质量验证 由于HRMAD采用的是 基于双边网格的色彩校正方法 ，传统的PSNR指标不再适用，而SSIM和LPIPS指标对 结果相似性 更为敏感，但从结果上看，这两个指标仍然受到 ISP解耦 导致的RAW与重建图像之间 色彩失配 的影响。这一影响体现在了评估结果中，如表1，表中对比了原始3DGS和TCLC-GS在 6个Waymo场景 上的指标表现。 表1 2、语义分割验证 在语义分割上分别从 三个角度 评估模型性能， 首先 通过统计所有像素中 语义分类一致 的比例，反映 全局重建一致性 。 通过 Mask2Former 获取真实图像上计算的分割Mask，并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较，验证 重建的准确性 。同时为了降低道路、天空等易分割区域对整体结果的偏差影响，针对" Car "进行 单独IoU计算 。 为确保验证过程的公平性，真实图像被 重投影 至与渲染过程一致的无畸变针孔相机参数空间，当重建结果正确标注了远距离或被遮挡物体，而Mask2Former因输入信息有限导致 误判 时，此类误差会被 计入评估指标 。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356)， 掩膜一致性 显著下降。结果如表2所示。 表2 其次 在 非常规视角 下进行模型渲染，并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成，并在 米范围内平移前视相机仿真模型。 表3 展示了针对道路表面信息和车辆的 重建性能 。其中 Car类型 的重建性能相对较低，这是由于 Mask2Frame 无法检测远处或被遮挡的物体，从而扩大了差异。 图5 显了示相关结果，绿色为匹配区域，蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。 表3 图5 最后在 极端渲染视角 下（高5m，横向偏移2m，向下偏转25°），针对车道线和路沿语义分割结果进行了 定性评估 ，如图6所示。 图6 3、3D目标检测验证 为了验证HRMAD在 3D目标检测 上的 一致性 ，采用在Waymo Open数据集训练中公开的 DEVIANT 3D目标检测模型 ，进行定量和定性实验。 定量实验 中，在Waymo-13469905891836363794片段中从 横向偏移视角下进行验证，并通过平移变换后的3DBBox定量计算。 定性实验 选取三个驾驶片段进行 静态环境渲染 ，并基于网格渲染添加动态车辆，主要用于评估仿真生成的车辆是否引入了 领域差距 。 表4基于 Waymo指标 进行验证，Original为原始图像。特别在近距离下，HRMAD的表现性能要优于原始图像，这是由于原始图像中 假阳FP 数量更高。在非常规视角渲染下，观察到的差异主要是横向偏移视角下 目标截断 的数量增加，但 整体检测结果 在很大程度上 保持一致。 表4 图7为 DEVIANT模型 在HRMAD渲染Waymo场景中的表现。 图7 三、结语 虽然 HRMAD渲染方法 旨在最大程度减少 区块边界的不连续性 ，但仍不可避免地会产生可见的 伪影 ，特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好，但在自动驾驶仿真测试场景中，在非常规视角下仍然会导致 伪影和结构痕迹 。 在下游任务中，HRMAD针对自动驾驶场景的评估结果已 非常接近真实数据， 但由于 样本有限 ，仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距，具体来说，可以通过探索 层次化高斯泼溅 来减少区块伪影，并利用生成的法线信息改进LiDAR强度模拟，来更好地反应 点云数据 的方向敏感强度。 目前， HRMAD生成场景 已集成在 aiSim 中，可在不同传感器模型配置方案下，实现 端到端仿真测试 交互式验证和测试。

随着自动驾驶技术的快速发展，仿真软件在开发过程中扮演着越来越重要的角色。 仿真传感器与环境 不仅能够加速算法验证，还能在安全可控的条件下进行复杂场景的重复测试。 本文将分享如何利用 自动驾驶仿真软件配置仿真传感器与搭建仿真环境 ，并对脚本进行修改，优化和验证4个鱼眼相机生成AVM（Around View Monitor） 合成数据 的流程。通过这一过程，一同深入体验仿真软件的应用潜力！ 一、流程概述 AVM 是一种通过多相机实现车辆周围环境的 实时监控和显示 的系统，广泛应用于自动驾驶和高级驾驶辅助系统（ADAS）的环境感知中。本文基于仿真软件与脚本生成AVM图像的流程如下所示： 图1：基于aiSim构建AVM图像流程 首先，在 Unreal Engine 中配置标定投影参数所需的地图，并在仿真器中为车辆部署4个方向的鱼眼相机； 其次，基于相机内参进行 去畸变 ，并记录求解投影矩阵所需的 关键参考值 ，例如AVM画幅尺寸、参考点的相对坐标、参考区域的大小与位置、车辆与参考区域的距离等； 随后，在完成了角点提取预处理的标定图像中快速 选取参考点 ，生成单方向的BEV视图，重复4次完成 标定去畸变 ； 后文将对每个流程进行具体描述。 二、仿真传感器与环境配置 对于AVM功能而言，通常需要配备4个及以上的 大FOV相机 以拍摄车辆周围的图像，在此基础上还可 配备雷达 以更好地获取车辆周围的障碍物信息。 图2：aiSim相机传感器障碍物真值输出 由于本文所使用仿真软件的相机传感器可以直接输出识别对象（车辆、行人等）的2D、3D边界框真值，所以只需配置 4个方向的鱼眼相机 即可满足整体需求： （1）前置鱼眼相机： 安装在前方车标附近，约15°俯视角； （2）后置鱼眼相机： 安装在后备箱附近，约25°俯视角； （3）左、右侧鱼眼相机： 分别安装在左右后视镜下方，约40°俯视角与相对车纵轴约100°的偏航角。 图3：环视OpenCV鱼眼相机传感器配置 除了传感器的配置，考虑到脚本是通过选取地面点，求解相机到地面的投影矩阵，并转换生成BEV视图进行组合，所以还需要构建一张 特征明显、易于辨认标定效果的地图。 本文所使用的仿真软件支持在 Unreal Engine 中进行 地图编辑与导出 ，并带有一定数量的 3D资产库， 因此可以基于一张基础室内地图，布置一定数量的正方形黑白标定板，根据需要搭建一个标定地图： 图4：基于aiSim插件的Unreal Engine地图编辑 首先，在 Unreal Engine 中打开项目，并进入 室内合成地图； 然后，从 3D资产库 中选择100cm×100cm×5cm的标定板静态网格体，拖放到地图中； 随后，通过直接拖动模型上的变换工具或者修改侧边栏中的变换属性框 调整标定板的位置与姿态； 进而，配置标定板的材质，以黑色、白色的交替顺序铺展标定板； 最终形成一个 长方形的标定区域。 图5：编辑完成后的地图效果参考 批量铺展的过程可以拆分为对2×2的标定板组合实施 横向与纵向阵列 ，完成后的地图如图所示，整体是一个6m×11m的矩形区域， 车辆 放置在中间2m×5m的矩形区域中。 三、图像处理与AVM合成验证集 如前文所述，本文使用的 AVM脚本 是基于车辆四周，位于相邻两个相机重叠视野的标定物，通过 选取参考投影区域 实现鱼眼相机到 BEV 的转化，以前视鱼眼相机为例： 图6：投影区域及BEV转化示意图 首先，由于是仿真传感器的标准OpenCV鱼眼相机模型，焦距、中心像素位置、畸变参数等内参均已知，可直接使用 OpenCV的去畸变函数 实现去畸变，如图6的(c)到(d)所示； 其次，设定 图6(a)与(b)所示关键参数 ，确定图像上的点对应的真实世界位置，进而计算尺度： （1）AVM视野总宽 total_width = 2 × shift_width + 6 × board_size； （2）AVM视野总长 total_height = 2 × shift_height + 11 × board_size； （3）board_size为 标定板边长 ，此处为100，单位cm； （4）shift_width与shift_height为 视野延伸距离 ，单位cm； （5）左上角投影点 projection_point_0：(shift_width + 100, shift_height)，以此类推 右上角、左下角、右下角 投影点坐标，形成 投影区域； （6）inner_height与inner_width为投影区域相对车辆的 横向、纵向距离 ，单位cm，由此可以推算出自车所处区域； 而后，对去畸变相机图像追加 Shi-Tomasi角点提取处理 ，并增加 半自动采点 的模式切换，自动选取鼠标点击像素位置周围欧式距离最小的角点，保障准确度的同时提升效率； 最后，如图6(d)选取4个角点，形成与(b)对应的参考投影区域，输出的 BEV视图 如图6(e)所示。 图7：环视BEV合成AVM示例 以此类推可以得到4个方向的BEV视图及对应的投影参数，结合车辆图层作为覆盖，即可生成对应传感器布置下的 二维AVM合成图像 ，如图7所示，其中每个像素分辨率为1cm²。 图8：传感器外参优化示例 通过仿真软件，一方面可以在 控制算法不变 的情况下寻找出更优的 传感器外参布局 ，另一方面也可以在 控制传感器不变 的情况下在多种不同场景验证，进而迭代 优化AVM算法 的表现。结合相机传感器自带的标注信息，后续也可以进行包括 障碍物识别 在内的更多功能验证。 图9：不同场景下的AVM合成数据 四、总结与展望 本文介绍了基于aiSim仿真软件生成 AVM合成数据 的完整流程，包括传感器与地图的配置、图像处理与BEV视图生成以及最终的AVM合成验证。 不难看出，仿真软件的 高效性与灵活性 保障了在安全可控的环境中 快速验证算法性能 的可行性，并可以通过多场景测试与参数优化改进算法，最终提升其综合表现。

随着自动驾驶技术的迅猛发展，构建 高保真、动态的仿真场景 成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下， 3D高斯点阵渲染（3DGS） 技术应运而生，成为自动驾驶仿真场景重建的关键突破。 一、3DGS技术概述与原理 1、3DGS的技术概述 3DGS是一种基于3D高斯分布的 三维场景表示方法 。通过将场景中的对象转化为多个 3D高斯点 ，每个点包含位置、协方差矩阵和不透明度等信息，3DGS能够精确地表达复杂场景的 几何形状 和 光照特性 。 与 传统的神经辐射场（NeRF） 方法相比，3DGS在渲染速度和图像质量方面表现出色，弥补了NeRF在动态场景处理和细节保留上的不足。 图1：3DGS重建流程 2、3DGS的技术原理 在3DGS中，首先通过 SfM（Structure from Motion） 技术进行数据预处理，校准相机位置并恢复其内部和外部参数，生成稀疏点云。然后，基于这些点云 初始化一组3D高斯点 ，每个高斯点的初始位置、协方差矩阵和不透明度都会进行设置。 训练过程中，3DGS通过 反向传播 不断优化这些高斯点的位置、形状和不透明度。值得注意的是，3DGS采用了 自适应密度控制 ，能够在每次反向传播后去除那些不重要的高斯点，并根据需要对高斯点进行 分裂或克隆 ，以保证场景重建的精度和细节。 图2：训练过程中高斯点的优化 二、3DGS在自动驾驶仿真中的应用 在自动驾驶领域，3DGS技术被广泛应用于 高保真仿真场景 的重建。通过将 多视角图像转化为3D高斯点云 ，3DGS能够快速、精确地重建复杂的街道场景，为自动驾驶系统的训练和验证提供真实的虚拟环境。例如，Huang等人提出的 S³Gaussian 方法，通过自监督学习，从4D一致性中分解动态和静态元素，实现了高质量的街道场景重建。 此外，Zhou等人提出的 DrivingGaussian 方法，针对环视动态自动驾驶场景，发展了基于3D高斯的重建仿真技术。该方法能够有效建模复杂的多尺度背景和前景，提升了自动驾驶系统在复杂环境下的感知能力。 图3：S³Gaussian方法 图4：DrivingGaussian方法 1、3DGS的优势与挑战 （1）优势 高效性： 通过显式建模方法，3DGS避免了传统神经网络训练中的计算开销，训练速度更快，渲染效率更高。 精度： 3D高斯点可以细致地捕捉场景中的每个细节，从而实现高精度的三维重建。 实时性： 3DGS支持实时渲染，适合需要快速响应的应用场景，如自动驾驶仿真。 （2）挑战 场景复杂度： 对于极为复杂的三维场景，3DGS可能需要大量的高斯点，这会增加计算负担和内存消耗。 动态场景的支持： 目前，3DGS主要集中在静态场景的重建，如何高效地处理 动态场景 中的物体变化，仍然是一个技术挑战。 三、aiSim的3DGS重建功能 aiSim仿真平台结合3DGS 技术，可以提供强大的三维重建功能，极大地提升了自动驾驶仿真测试的效率和精度。 在aiSim中，3DGS被用于从 多视角图像 中重建复杂的三维场景。aiSim能够精确地捕捉环境的 几何形状 和 光照特性 ，为自动驾驶系统提供 高保真的虚拟环境 。这种高精度的三维重建使得自动驾驶算法能够在仿真中进行更为真实的测试，减少了对实际道路测试的依赖。 图5：大FoV相机渲染出现非一致性（左）重建3DGS渲染方案后（右） aiSim新构建的 GGSR通用高斯泼溅渲染器 优化了重建场景下光线追踪传感器的渲染效果，增强了广角镜头渲染下的 一致性 ，并能减少伪影的产生，实现高保真度的3DGS重建场景兼容。 在重建的静态场景之上，aiSim支持 自定义动态的场景交通流 。通过添加动态实体，aiSim可以模拟交通流、行人行为等动态元素，为自动驾驶系统提供更为全面的测试场景。这种动态重建能力使得aiSim在验证自动驾驶系统的泛化能力和 应对复杂场景 的能力方面，展现出了巨大的优势。 图6：十字路口车辆起步场景 四、结语 3DGS作为一种新兴的三维场景重建技术，凭借其高效、精确和实时的特点，在自动驾驶仿真领域展现出了巨大的潜力。我们有理由相信，未来3DGS将为更多行业带来创新性的解决方案。 ▍参考文献 1.3D Gaussian Splatting for Real-Time Radiance Field Rendering 2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving 3.DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes