标签: 场景搭建

在前面的几章节中探讨了aiSim仿真合成数据的置信度，此外在场景重建和测试流程闭环的过程中，难免会面临3D场景制作重建耗时长、成本高、扩展性低以及交通状况复杂程度难以满意等问题，当前的主要挑战在于如何自动化生成3D静态场景并添加动态实例编辑，从而有效缩短测试流程，扩大仿真测试范围。 图1：实际图像 图2：NeRF重建场景 对于3D重建，目前主要的两种解决方案为NeRF和3DGS。 一、NeRF 1、 神经辐射场（Neural Radiance Fields） NeRF是将三维空间中的每个点的颜色和密度信息编码为一个连续的函数并由MLP参数化。给定一个视角和三维空间中的点，NeRF可以预测该点的颜色和沿视线方向的密度分布。通过对这些信息进行体积渲染，NeRF能够合成出新视角下的图像。 2、优势 高保真输出。 基于NerFStudio提供了较为友好地代码库。 相对较快的训练时间。 对于待重建区域具有可扩展性。 3、不足及主要挑战 渲染速度缓慢。NeRF需要沿着从相机到场景的每条光线进行大量的采样和计算，以准确估计场景的体积密度和颜色。这个过程计算密集，在NVIDIA A100上进行了测试，全HD分辨率下，渲染一张图像大约需要10s。 场景深度估计效果不理想。NeRF通过体积渲染隐式地学习了场景的深度信息，但这种深度信息通常是与场景的颜色和密度信息耦合在一起的。这意味着，如果场景中存在遮挡或非朗伯（non-Lambertian）反射等复杂情况，NeRF可能难以准确估计每个像素的深度。 近距离物体重建质量可能较低。这可能是由视角和分辨率不足、深度估计不够准确以及运动模糊遮挡等问题造成的。 高FOV相机校准不完善导致的重影伪影。 当然为了解决这些问题研究人员通过引入深度正则化来提升NeRF深度估计的准确性和稳定性，通过优化NeRF的结构和算法提升渲染速度。 二、 3DGS 1、 3D高斯泼溅（3D Gaussian Splatting） 3DGS采用三维高斯分布来表示场景中的点云数据，每个点用一个具有均值和协方差的高斯函数来描述。通过光栅化渲染高斯函数，从而生成逼真的3D场景图像。 2、优势 训练时间短。 近似于实时的渲染。 提供高保真的输出。 3、不足与主要挑战 代码库友好度较低。相比于NeRFStudio，文档的完善程度和易用性较低。 初始点云获取需求高，需要精确的传感器和复杂的数据处理流程，否则将会对3DGS的性能产生明显的影响。 深度估计同样不足，主要可能有几个原因：在优化过程中倾向于独立优化每个高斯点，导致在少量图像下出现过拟合；由于缺乏全局的几何信息，导致在大型场景下或复杂几何结构重建时深度估计不准确；初始点云的深度信息不够准确等。 相机模型支持受限。目前3DGS主要支持针孔相机模型，虽然理论上可以推导出其他相机模型的3DGS版本，但还需要后续的实验验证其有效性和准确性。 重建区域可扩展受限，主要是缺乏LiDAR覆盖区域之外的几何信息导致的不完整重建以及大型城市场景重建的大量计算。 集成和资源密集的挑战，目前3DGS集成通常依赖Python接口；3DGS在运行时可能会占用大量的VRAM。 通过优化超参数和采用新方法，如Scaffold-GS，可能有助于减少内存需求，提高在大型场景下的处理能力。 三、操作方法 1、训练流程 第一步： 输入——相机视频数据；自车运动数据；校准数据；用于深度正则化的LiDAR点云数据； 第二步： 移除动态对象：创建分割图来识别和遮罩图像中的不同对象和区域；对动态对象进行自动注释*（康谋aiData工具链）； 第三步： 进行NeRF或Gaussian splatting。 NeRF： 可以使用任何摄像头模型，示例中使用的是MEI相机模型； 采用Block-NeRF进行大规模重建； 嵌入不同的气候条件。 Gaussian splatting： 将输入的相机转化为针孔相机模型； 可以从COLMAP或LiDAR中获得初始点云； 采用Block-Splatting进行大规模重建。 2、添加动态对象 在NeRF和3DGS生成静态场景后，aiSim5将基于外部渲染API进一步增加动态元素，不仅可以重建原始场景，也可以根据测试需求构建不同的交通状态。 aiSim5中基于NeRF/3DGS场景细节。 图13：网格投射阴影 图14：车下环境遮蔽 3、效果展示 在aiSim5中完成动态对象的添加后，可以自由的在地图场景中更改交通状态，用于感知/规控等系统的SiL/HiL测试。

​aiSim5重建高精度的真实交通场景，用于测试和训练ADAS/AD系统。内置场景包括赛道、车库、高速公路和城市环境。通过全局行动日志，aiSim能将驾驶数据转化为场景重建。车道线检测算法在仿真与现实世界的相关性测试中误差相近，召回率均接近98.5%。多目标检测算法在仿真中的召回率为64.68%，与真实世界的68.8%相近。 一、具体应用 仿真场景重建，即在aiSim中重新模拟由装备了传感器的实际数采车辆记录的交通情况，重建原始交通状态、对象和事件，并能够自由的进行调整，可应用于： 1、重建现实世界的交通问题 在aiSim中重建现实世界的交通问题并快速迭代出可能的解决方案，比如模拟特定交叉路口交通情况，测试新的路口通过策略。 2、生成合成感知数据 生成具有代表性和通用性的合成感知数据，用于训练和验证ADAS/AD系统或其他的相关的NN模型，从而覆盖不同的交通状态和环境。 3、更改测试参数 更改测试参数并将场景转换为闭环测试，用于评估ADAS/AD系统在不同环境下的性能，比如不同天气状态，不同交通密度等，通过闭环测试，可以确保系统在各种预期和非预期的情况下正常工作。 二、内置场景 在aiSim中提供了多种高精内置场景： 1、赛道场景ZalaZone ZalaZone是位于匈牙利的一个真实世界的测试赛道，在aiSim中，它是基于激光扫描、全景照片（360°）参考以及提供的参考3D模型（交通标志等）进行建模的。 2、 车库场景 aiSim中停车场地图是根据平面图、现场测量和照片参考资料进行建模的。几何结构基于激光扫描和平面图数据构建。通过将真实世界的测量数据与仿真中的测量数据进行比较，可以验证aiSim中的人工照明部分。 3、 高速公路场景 aiSim的高速公路地图大多是基于HD地图生成，并由3D建模工程师进行场景重建： 道路网格生成：道路网格是基于HD地图数据生成。 道路标线：道路标线也是来源于高清地图，并且精确度可以达到5-10厘米。 地形生成：地形是基于可用的高程数据构建的。 植被/景观添加：在地形的某些部分，根据图像添加植被和景观，这一步骤使用了aiSim中现有的植被资产库。 4、 城市场景 Budapest_Urban是一个基于HD地图生成的城市场景，它代表了匈牙利首都布达佩斯的城市环境（1.8KM）。此场景中的建筑物是通过摄影测量学（photogrammetry）技术重建的，利用大量记录的图像来创建三维模型。建筑物模型的最大误差为50厘米。 三、 全局行动日志 除了通过手动重建交通流以外，aiSim提供一种新的场景重建形式，即全局行动日志。 全局行动日志是包含了重建场景对象和其属性的JSON文件。每一条目都包含了对象的相关尺寸，位置等信息，aiSim将会将整个文件中的驾驶数据转化为重建场景。 四、置信度验证 在aiSim的仿真重建场景和真实场景中分别测试了车道线检测和多目标检测算法，以验证重建场景的置信度水平： 1、 车道线检测算法相关性 在aiSim中重建M0匈牙利高速公路的数字孪生场景，并模拟与之相匹配的气候条件，验证车道检测算法在虚拟仿真与现实世界中的相关性。 从结果上可以可以看出检测算法在垂直方向上的测量误差的标准差（z erro std）： 真实世界场景测试0.31 aiSim仿真场景测试0.33 误差值主要分布在纵向远距离 米的范围内。 召回率（Recall）指标： 真实世界召回率98.45 aiSim4召回率98.51 aiSim5 召回率98.45 2、 多目标检测算法相关性分析 检测对象：Ego周围的车辆 传感器配置：5×Camera+2×Radar 召回率指标能： 在真实世界的数据中，召回率为68.8% 在aiSim5仿真世界中，召回率为64.68% 召回率随着距离Ego远近变化而变化。在接近Ego的区域（例如0到30米），召回率较高，而在较远的区域（例如100米以上），召回率有所下降。 以上就是aiSim5仿真场景重建感知置信度评估的全部内容。 作者介绍​​​​​​​ 崔工 康谋科技仿真测试业务技术主管，拥有超过5年的汽车仿真测试及自动驾驶技术研发经验，熟练掌握仿真测试工具和平台，如aiSim、HEEX等，能有效评估和优化自动驾驶系统的性能和安全性。拥有出色的跨文化沟通能力，成功带领团队完成多项海外技术合作项目，加速了公司在自动驾驶技术上的国际化进程。作为技术团队的核心，领导并实施过大规模的自动驾驶仿真测试项目，对于车辆行为建模、环境模拟以及故障诊断具有独到见解。擅长运用大数据分析和人工智能技术，优化仿真测试流程，提高测试效率和结果的准确性。