标签: 3DGS

随着自动驾驶技术的迅猛发展，构建 高保真、动态的仿真场景 成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下， 3D高斯点阵渲染（3DGS） 技术应运而生，成为自动驾驶仿真场景重建的关键突破。 一、3DGS技术概述与原理 1、3DGS的技术概述 3DGS是一种基于3D高斯分布的 三维场景表示方法 。通过将场景中的对象转化为多个 3D高斯点 ，每个点包含位置、协方差矩阵和不透明度等信息，3DGS能够精确地表达复杂场景的 几何形状 和 光照特性 。 与 传统的神经辐射场（NeRF） 方法相比，3DGS在渲染速度和图像质量方面表现出色，弥补了NeRF在动态场景处理和细节保留上的不足。 图1：3DGS重建流程 2、3DGS的技术原理 在3DGS中，首先通过 SfM（Structure from Motion） 技术进行数据预处理，校准相机位置并恢复其内部和外部参数，生成稀疏点云。然后，基于这些点云 初始化一组3D高斯点 ，每个高斯点的初始位置、协方差矩阵和不透明度都会进行设置。 训练过程中，3DGS通过 反向传播 不断优化这些高斯点的位置、形状和不透明度。值得注意的是，3DGS采用了 自适应密度控制 ，能够在每次反向传播后去除那些不重要的高斯点，并根据需要对高斯点进行 分裂或克隆 ，以保证场景重建的精度和细节。 图2：训练过程中高斯点的优化 二、3DGS在自动驾驶仿真中的应用 在自动驾驶领域，3DGS技术被广泛应用于 高保真仿真场景 的重建。通过将 多视角图像转化为3D高斯点云 ，3DGS能够快速、精确地重建复杂的街道场景，为自动驾驶系统的训练和验证提供真实的虚拟环境。例如，Huang等人提出的 S³Gaussian 方法，通过自监督学习，从4D一致性中分解动态和静态元素，实现了高质量的街道场景重建。 此外，Zhou等人提出的 DrivingGaussian 方法，针对环视动态自动驾驶场景，发展了基于3D高斯的重建仿真技术。该方法能够有效建模复杂的多尺度背景和前景，提升了自动驾驶系统在复杂环境下的感知能力。 图3：S³Gaussian方法 图4：DrivingGaussian方法 1、3DGS的优势与挑战 （1）优势 高效性： 通过显式建模方法，3DGS避免了传统神经网络训练中的计算开销，训练速度更快，渲染效率更高。 精度： 3D高斯点可以细致地捕捉场景中的每个细节，从而实现高精度的三维重建。 实时性： 3DGS支持实时渲染，适合需要快速响应的应用场景，如自动驾驶仿真。 （2）挑战 场景复杂度： 对于极为复杂的三维场景，3DGS可能需要大量的高斯点，这会增加计算负担和内存消耗。 动态场景的支持： 目前，3DGS主要集中在静态场景的重建，如何高效地处理 动态场景 中的物体变化，仍然是一个技术挑战。 三、aiSim的3DGS重建功能 aiSim仿真平台结合3DGS 技术，可以提供强大的三维重建功能，极大地提升了自动驾驶仿真测试的效率和精度。 在aiSim中，3DGS被用于从 多视角图像 中重建复杂的三维场景。aiSim能够精确地捕捉环境的 几何形状 和 光照特性 ，为自动驾驶系统提供 高保真的虚拟环境 。这种高精度的三维重建使得自动驾驶算法能够在仿真中进行更为真实的测试，减少了对实际道路测试的依赖。 图5：大FoV相机渲染出现非一致性（左）重建3DGS渲染方案后（右） aiSim新构建的 GGSR通用高斯泼溅渲染器 优化了重建场景下光线追踪传感器的渲染效果，增强了广角镜头渲染下的 一致性 ，并能减少伪影的产生，实现高保真度的3DGS重建场景兼容。 在重建的静态场景之上，aiSim支持 自定义动态的场景交通流 。通过添加动态实体，aiSim可以模拟交通流、行人行为等动态元素，为自动驾驶系统提供更为全面的测试场景。这种动态重建能力使得aiSim在验证自动驾驶系统的泛化能力和 应对复杂场景 的能力方面，展现出了巨大的优势。 图6：十字路口车辆起步场景 四、结语 3DGS作为一种新兴的三维场景重建技术，凭借其高效、精确和实时的特点，在自动驾驶仿真领域展现出了巨大的潜力。我们有理由相信，未来3DGS将为更多行业带来创新性的解决方案。 ▍参考文献 1.3D Gaussian Splatting for Real-Time Radiance Field Rendering 2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving 3.DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes