tag 标签: 测试

相关帖子
相关博文
  • 热度 1
    2025-5-15 09:34
    141 次阅读|
    0 个评论
    康谋分享 | 自动驾驶仿真进入“标准时代”,大幅提升测试效率与规范性
    随着自动驾驶技术走向 高阶智能化 以及法律法规的逐渐完善, 仿真测试 将会成为ADAS/AD 研发流程的必不可少的环节。 标准化接口 与 数据格式 不仅提升了测试效率,更成为推动产业协同的关键基石。 康谋 aiSim 深度集成 ASAM OpenX 系列标准 ,构建了高度兼容、高度还原的自动驾驶仿真平台。本文将从 五大核心标准 切入,系统解读 aiSim 如何通过标准化接口,全面支持自动驾驶仿真各环节。 一、OpenDRIVE:兼容多版本地图标准 ASAM OpenDRIVE 是自动驾驶仿真中最常用的 道路拓扑标准, 用于描述路网结构、几何形态及拓扑关系,采用 XML 格式,扩展名为 .xodr。 aiSim 支持 OpenDRIVE 1.4 至 1.7 版本 ,并提供 双工作流 以满足不同使用场景: (1)Atlas 工作流 基于 自研 Atlas 工具链 ,适用于快速搭建交通场景及行为测试流程,道路信息以 逻辑形式 加载,不参与实时渲染,能够实现高效构建、快速测试。 (2)UE Plugin 工作流 面向UE开发的aiSim插件,适用于 数字孪生仿真 与 可视化场景搭建 ,地图导入时完成高保真渲染,便于添加静态资产与视觉验证,真实感强、适合 高精还原 。 aiSim的灵活地图导入能力,不仅提升仿真效率,更帮助用户在开发早期快速实现从测试到交付的闭环。 二、OpenSCENARIO:标准化动态行为建模 ASAM OpenSCENARIO(.xosc) 定义了交通参与者的行为、事件与触发机制,是仿真场景动态建模的核心标准。 aiSim 支持 OpenSCENARIO 1.2 ,具备以下优势: a. 桌面版与云端 GUI 场景编辑器支持交互式构建,所见即所得; b. 可描述复杂的车、人、交通灯、静态物体之间的行为交互; c. 支持导出每次仿真过程的 EvaluationResult,便于结果记录与对比。 如构建一个典型的 cut-in 场景,用户只需在编辑器中完成参数配置,即可 自动生成 可复现场景文件,大幅简化开发流程。 aiSim用标准构建动态场景、用结果衡量系统能力,助力自动驾驶功能闭环验证 三、OpenCRG:还原毫米级路面细节 OpenCRG 提供标准化方式描述道路表面细节,支持毫米级不规则地形建模,用于动力学仿真与轮胎接触等精细化测试。CRG 文件使用二维 UV 网格系统,描述每个点的精确高程信息。 aiSim 在导入OpenDRIVE 地图时 自动解析 符合条件(purpose = elevation,mode = global)的 CRG 元素,提升仿真中的 道路表面真实度 。 a. 用户导入地图时可启用“ 应用 CRG 元素 ”选项,自动映射高程信息。 b. 支持设置横纵向 最小增量值 ,控制网格精度,最小支持毫米级,显著提升仿真保真度。精准路面建模,进一步增强地形还原与物理行为一致性。 从低到高增量值下OpenDRIVE地形的变化 四、OpenMATERIAL:更真实的感知仿真 在感知仿真中,物理材质决定了相机/激光雷达的真实响应, OpenMATERIAL 提供统一材质描述标准,链接 3D 几何与真实物理属性,实现更贴近真实的感知仿真环境。 aiSim 已初步集成 OpenMATERIAL,支持在传感器仿真中对材质反射、纹理、透明度等进行 高保真建模 。 在 aiSim 中,材质信息被高度还原并用于物理传感器模拟,特别适用于摄像头模型的成像仿真。通过 OpenMATERIAL 标准, aiSim 能够提供 更准确的光照 、 色彩与纹理响应 ,为感知算法的训练与验证创造更接近真实世界的环境。 我们还开源了基于 OpenMATERIAL 构建的 aiSim Archer 车辆模型 ,包含: a. 超过 140k 多边形精度建模 b. 全 UV 展开与规范命名 c. 23 个可控灯光节点 d. 包含 glTF 材质与 .xoma 文件 e. 以及额外的法线贴图与细节纹理提升视觉质量 五、OSI:标准化环境接口 ASAM Open Simulation Interface(OSI) 为自动驾驶系统提供通用“ 环境感知输入接口 ”,用于传输仿真中感知相关数据。标准基于 Protocol Buffers,结构清晰、模块可扩展。 在 aiSim 中,OSI 被用于输出 高频率、高一致性 的 Ground Truth 数据,包括: a. 自车及他车的位置、姿态、速度、加速度等状态 b. 所在车道信息及边界点分布 c. 持续每步仿真中生成并记录,支持全流程回溯 同时,aiSim 提供两种查询方式: a. GetAllOSIGT: 获取全部仿真过程中的 GT 数据(带时间戳) b. GetLastStepsOSIGT: 仅获取最新一步仿真数据,便于实时监控 aiSim的 模块化输出 + 高效接口 ,从仿真生成到算法验证的无缝衔接,大幅提升测试流程的规范化与自动化程度。 六、总结 在自动驾驶迈向规模化落地的关键阶段, 开放、标准化、可复现 的仿真能力是保障算法稳定性与法规符合性的核心基础。 aiSim 将持续深度适配 ASAM OpenX 生态,联动OpenDRIVE构图、OpenSCENARIO 场景定义、OpenMATERIAL 材质标准、OSI 接口协议等核心能力,为行业客户提供更高质量、更高效率的仿真解决方案。
  • 2025-3-29 10:57
    99 次阅读|
    0 个评论
    CMTI 测试电源 / 全固态纳秒高压脉冲源、超宽带高压皮秒脉冲源、数百 kV 级的皮秒纳秒 EMP/HPEM 特斯拉 Q 发生器、系统集成和定制、参数化脉冲电源 、 通用纳秒脉冲源、生物医疗脉冲源 (IVL IRE 脉冲源 ) 半导体脉冲源 (CMTI 、 TLP 等半导体测试 ) 永创 /Forcreat 之 PPS-CMTI-X 系列 CMTI 测试电源。 在电子工程里,隔离产品就像一道安全防线,像 iCoupler 数字隔离器和光耦合器都属于这一类 - 苏州永创智能。 永创 /Forcreat 之 PPS-CMTI-X 系列 CMTI 测试电源。 这些隔离产品的稳定性和可靠性是非常重要的,要是不稳定、不可靠,那在使用中就可能出大问题。这里面有个关键指标叫 CMTI ,也就是共模瞬态抗扰度,它就像一个衡量器,专门衡量隔离产品在遇到共模瞬变干扰时的稳定性和可靠性。 CMTI 测试电源。 所以,深入了解 CMTI 测试电源 的标准和规范可太有用了,这能保证隔离产品在实际使用的时候表现良好。 CMTI 测试电源 的测试是按照 IEC60747 - 17:2020 这个标准来进行的,主要分静态测试和动态测试这两种。 CMTI 测试电源。 先说说静态测试,这个测试就像是给隔离产品来个小挑战。怎么做呢?就是把输入引脚连接到逻辑高电平或者低电平之后,再给它施加共模瞬变 CMT 。这就好比是给一个站岗的士兵突然来点小干扰,按照规定,在 CMTI 规定范围内的这种冲击就不应该让这个 “ 士兵 ” ,也就是隔离产品的输出状态发生改变。这就像是考验士兵的定力,小干扰下还得坚守岗位。 永创 /Forcreat 之 PPS-CMTI-X 系列 CMTI 测试电源。 CMTI 测试电源。 再看看动态测试,当有动态共模瞬变 CMT 冲击过来的时候,隔离产品的输出得保持正常状态才行。要是 CMTI 能力不够啊,那就像一个没准备好的士兵,就会出现各种问题,像 missing pulse ,也就是漏脉冲,这就好比士兵站岗的时候漏看了一些情况; excessive propagation delay ,就是过度传播延迟,这就像消息传递得太慢了;还有 high or low error ,高或低误差,就像是士兵传递消息的时候说错了内容;或者 output latch ,输出锁存,这就像士兵突然呆住了,不干活了。 CMTI 测试电源。 做CMTI 测试 电源。 得有专门的设备和工具才行。这里面有个很重要的设备叫高压脉冲斜坡发生器,它可是核心设备呢。它就像一个魔术师,有模拟共模瞬变干扰的本事,还能控制高压脉冲的上升或者下降速率,就像控制魔法的强度一样,然后向被测的器件施加共模瞬态干扰信号,这样就能检测出这个被测器件的 CMTI 性能好不好了。还有瞬变高压发生器,它能提供瞬变高压,就像给测试注入一股强大的力量,满足测试对高压瞬变的要求,检测系统在高压下对共模瞬态干扰的抵抗能力。 CMTI 测试电源。 永创 /Forcreat 之 PPS-CMTI-X 系列 CMTI 测试电源 ,它适合产生光耦合器和其他半导体器件测试需要的高速高压波形,还能提供好多档幅值和转换时间,用来测试光耦合器这些半导体器件正合适。 下面讲讲 CMTI 测试的基本步骤和注意事项。 先说静态测试步骤。第一步,把被测器件的输入引脚连接到逻辑高电平或者低电平,这就像是给测试搭好舞台。第二步呢,用高压脉冲斜坡发生器或者其他合适的测试设备模拟施加共模瞬变干扰,这就是给被测器件来点挑战。最后一步,观察被测器件的输出状态有没有改变。要是在理论 CMTI 以内的冲击下输出状态没改变,那就说明这个器件静态 CMTI 性能合格了,就像这个士兵成功通过了考验。 再讲讲动态测试步骤。首先,要在实际工作条件下把测试环境搭建好,让被测器件处于正常工作状态,这就像让士兵在自己熟悉的战场上准备战斗。然后,用测试设备对被测器件施加共模瞬态干扰,这些干扰得尽量模拟实际应用中可能遇到的共模瞬变情况,这样才能真正考验出这个器件的能力。 在测试的时候还有一些注意事项呢。第一点,要保证测试设备能够很精准地模拟共模瞬态干扰的各种条件,像高压幅值、上升或者下降速率这些,就像给士兵设置的考验得严格按照标准来,这样才能保证测试结果是准确的。第二点,不同类型的隔离器件就像不同类型的士兵,可能有不同的 CMTI 测试要求和特性,所以在测试之前得把被测器件的相关参数和技术规格都了解清楚。第三点,在进行动态测试的时候,要注意测试环境的设置要尽量接近实际工作环境,这样测试出来的结果才更符合实际情况。 永创 /Forcreat 之 PPS-CMTI-X 系列 CMTI 测试电源。 总结一下, CMTI 测试的标准、规范、测试设备、测试步骤还有注意事项这些内容合在一起,就构成了对隔离产品共模瞬态抗扰度的完整评估体系。随着电子技术不断发展,以后对于 CMTI 测试的研究可能会更关注怎么让测试更准确、更高效,还有怎么更好地适应新型隔离产品的测试需求这些方面。如果大家在电子工程领域涉及到隔离产品相关工作,一定要重视 CMTI 测试相关的这些知识哦。 更多CMTI 测试方案及测试设备资料请直接联系 苏州永创智能的 工程师获得帮助。
  • 2025-3-28 10:17
    114 次阅读|
    0 个评论
    多模态自动驾驶混合渲染HRMAD:将NeRF和3DGS进行感知验证和端到端AD测试
    基于 3DGS 和 NeRF 的 三维重建技术 在过去的一年中取得了快速的进步,动态模型也变得越来越普遍,然而这些模型仅限于处理 原始轨迹域内的对象。 HRMAD 作为一种混合方案,将传统的基于网格的动态三维神经重建和物理渲染优势结合,支持在任意位置部署网格动态代理,自由调整环境条件,在多个相机视角下进行自由切换,与传统仿真方法相比有效 减少了领域差距, 同时 保留了可控性。 一、方法描述 HRMAD提出的 NeRF2GS双模型训练范式 显著提升了 合成质量 ,尤其是道路和车道标志,同时满足交互式帧率。通过此块级并行训练架构,可以处理 超过10万平方米场景重建 ,并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端,HRMAD支持多个相机模型、LiDAR和Radar的 实时多模态输出 。如图1所示的模型架构。 图1 具体而言,HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了 NeRF优秀的泛化能力 和 3DGS实时的渲染速度 ,通过T-S结构,将NeRF生成的深度、法线和外观监督信息传递给3DGS模型,并通过正则化将LiDAR深度数据引入NeRF,从而实现更准确的 几何结构建模 。 传统基于透视投影的渲染方法通常依赖于特定的投影模型,为了在3DGS场景中 适配任意传感器 ,HRMAD提出了一种 新的渲染算法架构 ,如下图2所示。 图2 该架构基于 共享代码库 实现了光栅化和光线追踪渲染,用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持 任意相机畸变模型 ,还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后, 点云的可视化效果 。 图3 图4表明HRMAD在 极端视角 下RGB、深度、法线和分割(基于Mask2Former)模态下的几何细节和表面特性,重建面积约为165000平方米(ZalaZone测试场,此重建场景将于 aiSim5.7 版本进行发布)。 图4 二、下游任务验证 1、重建质量验证 由于HRMAD采用的是 基于双边网格的色彩校正方法 ,传统的PSNR指标不再适用,而SSIM和LPIPS指标对 结果相似性 更为敏感,但从结果上看,这两个指标仍然受到 ISP解耦 导致的RAW与重建图像之间 色彩失配 的影响。这一影响体现在了评估结果中,如表1,表中对比了原始3DGS和TCLC-GS在 6个Waymo场景 上的指标表现。 表1 2、语义分割验证 在语义分割上分别从 三个角度 评估模型性能, 首先 通过统计所有像素中 语义分类一致 的比例,反映 全局重建一致性 。 通过 Mask2Former 获取真实图像上计算的分割Mask,并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较,验证 重建的准确性 。同时为了降低道路、天空等易分割区域对整体结果的偏差影响,针对" Car "进行 单独IoU计算 。 为确保验证过程的公平性,真实图像被 重投影 至与渲染过程一致的无畸变针孔相机参数空间,当重建结果正确标注了远距离或被遮挡物体,而Mask2Former因输入信息有限导致 误判 时,此类误差会被 计入评估指标 。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356), 掩膜一致性 显著下降。结果如表2所示。 表2 其次 在 非常规视角 下进行模型渲染,并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成,并在 米范围内平移前视相机仿真模型。 表3 展示了针对道路表面信息和车辆的 重建性能 。其中 Car类型 的重建性能相对较低,这是由于 Mask2Frame 无法检测远处或被遮挡的物体,从而扩大了差异。 图5 显了示相关结果,绿色为匹配区域,蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。 表3 图5 最后在 极端渲染视角 下(高5m,横向偏移2m,向下偏转25°),针对车道线和路沿语义分割结果进行了 定性评估 ,如图6所示。 图6 3、3D目标检测验证 为了验证HRMAD在 3D目标检测 上的 一致性 ,采用在Waymo Open数据集训练中公开的 DEVIANT 3D目标检测模型 ,进行定量和定性实验。 定量实验 中,在Waymo-13469905891836363794片段中从 横向偏移视角下进行验证,并通过平移变换后的3DBBox定量计算。 定性实验 选取三个驾驶片段进行 静态环境渲染 ,并基于网格渲染添加动态车辆,主要用于评估仿真生成的车辆是否引入了 领域差距 。 表4基于 Waymo指标 进行验证,Original为原始图像。特别在近距离下,HRMAD的表现性能要优于原始图像,这是由于原始图像中 假阳FP 数量更高。在非常规视角渲染下,观察到的差异主要是横向偏移视角下 目标截断 的数量增加,但 整体检测结果 在很大程度上 保持一致。 表4 图7为 DEVIANT模型 在HRMAD渲染Waymo场景中的表现。 图7 三、结语 虽然 HRMAD渲染方法 旨在最大程度减少 区块边界的不连续性 ,但仍不可避免地会产生可见的 伪影 ,特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好,但在自动驾驶仿真测试场景中,在非常规视角下仍然会导致 伪影和结构痕迹 。 在下游任务中,HRMAD针对自动驾驶场景的评估结果已 非常接近真实数据, 但由于 样本有限 ,仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距,具体来说,可以通过探索 层次化高斯泼溅 来减少区块伪影,并利用生成的法线信息改进LiDAR强度模拟,来更好地反应 点云数据 的方向敏感强度。
  • 2025-3-20 09:57
    128 次阅读|
    0 个评论
    方案分享 | AVM合成数据仿真验证方案
    随着自动驾驶技术的快速发展,仿真软件在开发过程中扮演着越来越重要的角色。 仿真传感器与环境 不仅能够加速算法验证,还能在安全可控的条件下进行复杂场景的重复测试。 本文将分享如何利用 自动驾驶仿真软件配置仿真传感器与搭建仿真环境 ,并对脚本进行修改,优化和验证4个鱼眼相机生成AVM(Around View Monitor) 合成数据 的流程。通过这一过程,一同深入体验仿真软件的应用潜力! 一、流程概述 AVM 是一种通过多相机实现车辆周围环境的 实时监控和显示 的系统,广泛应用于自动驾驶和高级驾驶辅助系统(ADAS)的环境感知中。本文基于仿真软件与脚本生成AVM图像的流程如下所示: 图1:基于aiSim构建AVM图像流程 首先,在 Unreal Engine 中配置标定投影参数所需的地图,并在仿真器中为车辆部署4个方向的鱼眼相机; 其次,基于相机内参进行 去畸变 ,并记录求解投影矩阵所需的 关键参考值 ,例如AVM画幅尺寸、参考点的相对坐标、参考区域的大小与位置、车辆与参考区域的距离等; 随后,在完成了角点提取预处理的标定图像中快速 选取参考点 ,生成单方向的BEV视图,重复4次完成 标定去畸变 ; 后文将对每个流程进行具体描述。 二、仿真传感器与环境配置 对于AVM功能而言,通常需要配备4个及以上的 大FOV相机 以拍摄车辆周围的图像,在此基础上还可 配备雷达 以更好地获取车辆周围的障碍物信息。 图2:aiSim相机传感器障碍物真值输出 由于本文所使用仿真软件的相机传感器可以直接输出识别对象(车辆、行人等)的2D、3D边界框真值,所以只需配置 4个方向的鱼眼相机 即可满足整体需求: (1)前置鱼眼相机: 安装在前方车标附近,约15°俯视角; (2)后置鱼眼相机: 安装在后备箱附近,约25°俯视角; (3)左、右侧鱼眼相机: 分别安装在左右后视镜下方,约40°俯视角与相对车纵轴约100°的偏航角。 图3:环视OpenCV鱼眼相机传感器配置 除了传感器的配置,考虑到脚本是通过选取地面点,求解相机到地面的投影矩阵,并转换生成BEV视图进行组合,所以还需要构建一张 特征明显、易于辨认标定效果的地图。 本文所使用的仿真软件支持在 Unreal Engine 中进行 地图编辑与导出 ,并带有一定数量的 3D资产库, 因此可以基于一张基础室内地图,布置一定数量的正方形黑白标定板,根据需要搭建一个标定地图: 图4:基于aiSim插件的Unreal Engine地图编辑 首先,在 Unreal Engine 中打开项目,并进入 室内合成地图; 然后,从 3D资产库 中选择100cm×100cm×5cm的标定板静态网格体,拖放到地图中; 随后,通过直接拖动模型上的变换工具或者修改侧边栏中的变换属性框 调整标定板的位置与姿态; 进而,配置标定板的材质,以黑色、白色的交替顺序铺展标定板; 最终形成一个 长方形的标定区域。 图5:编辑完成后的地图效果参考 批量铺展的过程可以拆分为对2×2的标定板组合实施 横向与纵向阵列 ,完成后的地图如图所示,整体是一个6m×11m的矩形区域, 车辆 放置在中间2m×5m的矩形区域中。 三、图像处理与AVM合成验证集 如前文所述,本文使用的 AVM脚本 是基于车辆四周,位于相邻两个相机重叠视野的标定物,通过 选取参考投影区域 实现鱼眼相机到 BEV 的转化,以前视鱼眼相机为例: 图6:投影区域及BEV转化示意图 首先,由于是仿真传感器的标准OpenCV鱼眼相机模型,焦距、中心像素位置、畸变参数等内参均已知,可直接使用 OpenCV的去畸变函数 实现去畸变,如图6的(c)到(d)所示; 其次,设定 图6(a)与(b)所示关键参数 ,确定图像上的点对应的真实世界位置,进而计算尺度: (1)AVM视野总宽 total_width = 2 × shift_width + 6 × board_size; (2)AVM视野总长 total_height = 2 × shift_height + 11 × board_size; (3)board_size为 标定板边长 ,此处为100,单位cm; (4)shift_width与shift_height为 视野延伸距离 ,单位cm; (5)左上角投影点 projection_point_0:(shift_width + 100, shift_height),以此类推 右上角、左下角、右下角 投影点坐标,形成 投影区域; (6)inner_height与inner_width为投影区域相对车辆的 横向、纵向距离 ,单位cm,由此可以推算出自车所处区域; 而后,对去畸变相机图像追加 Shi-Tomasi角点提取处理 ,并增加 半自动采点 的模式切换,自动选取鼠标点击像素位置周围欧式距离最小的角点,保障准确度的同时提升效率; 最后,如图6(d)选取4个角点,形成与(b)对应的参考投影区域,输出的 BEV视图 如图6(e)所示。 图7:环视BEV合成AVM示例 以此类推可以得到4个方向的BEV视图及对应的投影参数,结合车辆图层作为覆盖,即可生成对应传感器布置下的 二维AVM合成图像 ,如图7所示,其中每个像素分辨率为1cm²。 图8:传感器外参优化示例 通过仿真软件,一方面可以在 控制算法不变 的情况下寻找出更优的 传感器外参布局 ,另一方面也可以在 控制传感器不变 的情况下在多种不同场景验证,进而迭代 优化AVM算法 的表现。结合相机传感器自带的标注信息,后续也可以进行包括 障碍物识别 在内的更多功能验证。 图9:不同场景下的AVM合成数据 四、总结与展望 本文介绍了基于aiSim仿真软件生成 AVM合成数据 的完整流程,包括传感器与地图的配置、图像处理与BEV视图生成以及最终的AVM合成验证。 不难看出,仿真软件的 高效性与灵活性 保障了在安全可控的环境中 快速验证算法性能 的可行性,并可以通过多场景测试与参数优化改进算法,最终提升其综合表现。
  • 热度 1
    2025-3-6 13:17
    1361 次阅读|
    0 个评论
    3DGS:革新自动驾驶仿真场景重建的关键技术
    随着自动驾驶技术的迅猛发展,构建 高保真、动态的仿真场景 成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下, 3D高斯点阵渲染(3DGS) 技术应运而生,成为自动驾驶仿真场景重建的关键突破。 一、3DGS技术概述与原理 1、3DGS的技术概述 3DGS是一种基于3D高斯分布的 三维场景表示方法 。通过将场景中的对象转化为多个 3D高斯点 ,每个点包含位置、协方差矩阵和不透明度等信息,3DGS能够精确地表达复杂场景的 几何形状 和 光照特性 。 与 传统的神经辐射场(NeRF) 方法相比,3DGS在渲染速度和图像质量方面表现出色,弥补了NeRF在动态场景处理和细节保留上的不足。 图1:3DGS重建流程 2、3DGS的技术原理 在3DGS中,首先通过 SfM(Structure from Motion) 技术进行数据预处理,校准相机位置并恢复其内部和外部参数,生成稀疏点云。然后,基于这些点云 初始化一组3D高斯点 ,每个高斯点的初始位置、协方差矩阵和不透明度都会进行设置。 训练过程中,3DGS通过 反向传播 不断优化这些高斯点的位置、形状和不透明度。值得注意的是,3DGS采用了 自适应密度控制 ,能够在每次反向传播后去除那些不重要的高斯点,并根据需要对高斯点进行 分裂或克隆 ,以保证场景重建的精度和细节。 图2:训练过程中高斯点的优化 二、3DGS在自动驾驶仿真中的应用 在自动驾驶领域,3DGS技术被广泛应用于 高保真仿真场景 的重建。通过将 多视角图像转化为3D高斯点云 ,3DGS能够快速、精确地重建复杂的街道场景,为自动驾驶系统的训练和验证提供真实的虚拟环境。例如,Huang等人提出的 S³Gaussian 方法,通过自监督学习,从4D一致性中分解动态和静态元素,实现了高质量的街道场景重建。 此外,Zhou等人提出的 DrivingGaussian 方法,针对环视动态自动驾驶场景,发展了基于3D高斯的重建仿真技术。该方法能够有效建模复杂的多尺度背景和前景,提升了自动驾驶系统在复杂环境下的感知能力。 图3:S³Gaussian方法 图4:DrivingGaussian方法 1、3DGS的优势与挑战 (1)优势 高效性: 通过显式建模方法,3DGS避免了传统神经网络训练中的计算开销,训练速度更快,渲染效率更高。 精度: 3D高斯点可以细致地捕捉场景中的每个细节,从而实现高精度的三维重建。 实时性: 3DGS支持实时渲染,适合需要快速响应的应用场景,如自动驾驶仿真。 (2)挑战 场景复杂度: 对于极为复杂的三维场景,3DGS可能需要大量的高斯点,这会增加计算负担和内存消耗。 动态场景的支持: 目前,3DGS主要集中在静态场景的重建,如何高效地处理 动态场景 中的物体变化,仍然是一个技术挑战。 三、aiSim的3DGS重建功能 aiSim仿真平台结合3DGS 技术,可以提供强大的三维重建功能,极大地提升了自动驾驶仿真测试的效率和精度。 在aiSim中,3DGS被用于从 多视角图像 中重建复杂的三维场景。aiSim能够精确地捕捉环境的 几何形状 和 光照特性 ,为自动驾驶系统提供 高保真的虚拟环境 。这种高精度的三维重建使得自动驾驶算法能够在仿真中进行更为真实的测试,减少了对实际道路测试的依赖。 图5:大FoV相机渲染出现非一致性(左)重建3DGS渲染方案后(右) aiSim新构建的 GGSR通用高斯泼溅渲染器 优化了重建场景下光线追踪传感器的渲染效果,增强了广角镜头渲染下的 一致性 ,并能减少伪影的产生,实现高保真度的3DGS重建场景兼容。 在重建的静态场景之上,aiSim支持 自定义动态的场景交通流 。通过添加动态实体,aiSim可以模拟交通流、行人行为等动态元素,为自动驾驶系统提供更为全面的测试场景。这种动态重建能力使得aiSim在验证自动驾驶系统的泛化能力和 应对复杂场景 的能力方面,展现出了巨大的优势。 图6:十字路口车辆起步场景 四、结语 3DGS作为一种新兴的三维场景重建技术,凭借其高效、精确和实时的特点,在自动驾驶仿真领域展现出了巨大的潜力。我们有理由相信,未来3DGS将为更多行业带来创新性的解决方案。 ▍参考文献 1.3D Gaussian Splatting for Real-Time Radiance Field Rendering 2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving 3.DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
相关资源