标签: 数据融合

在汽车行业迈向智能化、自动化的今天，自动驾驶技术也在快速发展。为了进一步让自动驾驶更加“智能化”，像老师傅一样进行开车，离不开对车辆周围环境的全面认识。 面对复杂的感知任务，单一传感器的局限性逐渐显现，比如相机对目标的颜色和纹理比较敏感，但易受光照、天气条件的影响。LiDAR以获得目标精确的3D信息，但无法获得目标纹理，易产生噪点等情况。多传感器数据融合技术应时而生，通过整合不同传感器的优势，为车辆提供了一个全面、立体的感知维度。 一、多传感器融合的先决条件 当多种传感器装在同一辆车上时，使用同一个系统来采集并处理数据。为了确保这些传感器采集的数据能有效精准识别同一个物体，需要对这些传感器进行统一时钟和坐标系，即最终实现：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。 图1：传感器融合先决条件 1、统一时钟 确保所有传感器数据在时间上的一致性，为后续处理提供同步基准。关于时间同步的详细内容可见往期内容：《自动驾驶：揭秘高精度时间同步技术（一）和（二）》。 https://mbb.eet-china.com/blog/4073320-456155.html https://mbb.eet-china.com/blog/4073320-456327.html 2、统一坐标系 统一坐标系包含两步，一是运动补偿，二是传感器标定。 ① 运动补偿：确保数据时效性 运动补偿是针对周期性采集数据的传感器，如激光雷达（LiDAR），其数据采集周期可能长达100毫秒。由于车辆在运动，采集周期的开始和结束时刻，车辆的位置已经发生了变化。这就需要对采集的数据进行运动补偿，以确保数据反映的是车辆在某一固定时刻的环境状态。 ② 传感器标定：确立坐标转换 传感器标定是确保每个传感器的数据都能准确映射到世界坐标系中的过程。它包括内参标定和外参标定两个部分。 内参标定： 针对单个传感器，解决其内部参数，如摄像头的焦距和畸变，确保传感器数据在自身坐标系中的准确性。详细内容可见往期内容：《深入探讨：自动驾驶中的相机标定技术》。 https://mbb.eet-china.com/forum/topic/141741_1_1.html 外参标定： 在已知的世界坐标系下，解决不同传感器之间的相对位置和方向，确保它们数据的一致性。 外参标定的准确性依赖于内参标定的精确性，只有每个传感器的内参被精确校准，我们才能准确地知道它们在世界坐标系中的相对位置。 二、多传感器融合方法 在多传感器采集系统中做好统一时钟和统一坐标系后，就可以将这些数据进行融合了。关于具体做法，这里举一个简单的例子： 1、相机与LiDAR融合 在实现激光雷达与相机标定、运动补偿和时间同步后，通过多传感器深度融合，执行 几何变换 将三维点云数据投影至二维图像平面，实现物理空间到视觉空间的映射。最后，整合深度信息与图像像素数据，形成深度标签图像，从而为自动驾驶车辆的环境感知系统提供更为丰富和精确的数据支持。 2、融合方式 根据数据在整个流程中融合的不同位置，常见的融合方式可分为前融合、深度融合和后融合。 图2：常见的融合方式 前融合（Early-Fusion）： 是在最原始的层面上将不同传感器的数据进行整合。这种融合方式涉及直接在空间上对齐传感器数据，形成一个统一的多模态数据集。可以进行数据统一标识，降低信息损失。 深度融合（Deep-Fusion）： 是在特征提取之后、决策之前进行的融合。这种融合方式涉及将不同传感器的数据在特征空间中进行组合，通常通过级联或元素相乘的方式实现。通过特征互补可以提高鲁棒性和提升泛化能力。 后融合（Late-Fusion）： 是在各个传感器独立完成 目标检测或分类 等任务后，将它们的预测结果进行综合分析，以做出最终的决策。通过综合多个传感器的预测结果，提高决策准确性。可根据需要灵活添加或替换传感器模型。 3、应用场景 在多传感器融合中，前融合、深度融合和后融合各有优势和适用场景。 前融合： 在数据层面上实现早期整合，适合对原始数据依赖性较强的应用。 深度融合： 在特征层面上进行信息融合，适合需要特征互补的复杂感知任务。 后融合： 在目标层面上进行决策整合，适合需要最终决策优化的场景。 在实际应用中，根据系统需求和传感器特性，选择合适的融合策略或多种策略的组合，以达到最佳的感知效果。

近年来，随着汽车电子系统的升级，人们对联网智能汽车的需求不断增长，高级驾驶辅助系统（ADAS）和自动驾驶技术正迅速改变汽车行业。然而， 实现自动驾驶技术涉及感知、规划和执行三个关键层面 ，在汽车行驶于未知、动态环境中时，确保 各种传感器数据的精确时间同步 变得至关重要。 一、多传感器时间同步方式 1、统一时钟源 常见的方法是 使用全球卫星定位系统（GPS）时间作为统一的时间源 。GPS提供了高精度的时间信息，可以用来校准各传感器的时钟。这种方法能够确保各传感器的数据具有相同的时间基准，从而实现数据同步。主要包括 基于GPS的“PPS+NMEA”和基于以太网的PTP（IEEE 1588）时钟同步协议 。 （1） 基于GPS的“PPS+NMEA”同步方式 以GPS作为统一时间源，通过RS232连接将GPS提供的时间信息传递给各传感器，以实现时间同步。然而，这种方法在多设备之间实现同步较为困难，因此在实际应用中存在一定限制。 （2）PTP(Precision Time Protocol)时钟同步协议 PTP是一种基于以太网的高精度时钟同步协议，可实现亚微秒级的时间同步。该协议 采用 硬件时间戳 ，从而显著 减少软件处理时间，提高时间同步的精度 。不仅如此，PTP可以运行在数据链路层（L2），避免了通过四层UDP协议栈的处理，进一步提高了时间同步的准确性，使其成为自动驾驶系统的理想选择。 2、 硬件同步 硬件同步方法通常涉及 使用专用硬件来确保传感器之间的时间同步 。这种方法可以减少软件处理时间，提高同步精度。 3、 软件同步 软件同步方法 通过协议栈和网络通信 来实现传感器之间的时间同步。虽然软件同步通常比硬件同步慢一些，但它仍然可以提供足够的精度，以满足自动驾驶系统的要求。 二、 自动驾驶数据 采集 与测试方案 为了应对传感器数据的巨大量和时间同步的挑战，康谋提供 一体化的数据采集与测试解决方案 。 在这个过程中，XTSS软件发挥了关键作用。XTSS是一种高度精确的时间同步解决方案，可广泛配置和即插即用。它为每个数据包提供了时间戳，以确保数据的时间同步。这种系统可以确保整个系统的时钟都在相同的时间基准上运行，从而构建一个时间域。 XTSS提供CTSS（集群时间同步服务）和PTSS（平台时间同步服务）。在CTSS中，通过以太网提供基于gPTP(IEEE 802.1AS-2020)和PTP(IEEE 1588v2)的同步，以确保不同设备之间的高精度时间同步。在PTSS中，各接口的时钟通过硬件机制同步，从而实现高度精确的时间同步。 三、总结 自动驾驶领域的时间同步技术是确保各传感器数据一致性和准确性的关键。这项技术的应用有助于提高自动驾驶系统的性能和安全性，使智能驾驶成为可能。 如您对上述解决方案感兴趣， 欢迎联系康谋自动驾驶团队了解更多信息。 我们将竭诚为您服务！ 期待与您的交流！ https://keymotek.com/