标签: 多传感器

随着自动驾驶技术的发展，车辆的智能化程度不断提高，这体现了车辆感知，决策以及执行的能力。在算法开发和迭代过程中，提高测试和开发效率，关键在于多传感器数据的高质量采集，确保数据的同步性、完整性和一致性。 为了应对这一挑战，必须采取有效的数据整合策略。这包括开发处理不同数据速率和格式的组件，以及设计数据在时间上精确对齐的同步机制。进而创建一个统一的数据流形式，实时检测传感器的观测结果并进行落盘存储。 为了解决上述问题， ADTF 提供了一个强大的 Streaming Service ，它专门针对自动驾驶多传感器数据采集的需求设计。 ADTF Streaming Service 以其高效的数据处理能力、灵活的架构设计和强大的同步机制，为自动驾驶数采系统提供了一个高质量的解决方案。 一、ADTF 流服务 在ADTF中，流服务（Streaming Services）扮演着至关重要的角色，它们定义了系统的 入口点（Streaming Source） 和 出口点（Streaming Sink） 。具体来说，流服务既可以是数据管道的起点也可以是终点，它们通常用于处理来自硬件的样本数据和数据触发器。 1、流服务源（Streaming Source） 流服务源是样本和数据触发器进入系统的入口点。通常，任何设备链接都会作为流服务源来实现，组件如下图1所示： 图1：Streaming Source组件 Streaming Source 支持以下的应用场景： （1）从摄像头读取视频流 （2）从CAN总线设备读取CAN消息 （3）作为硬盘读取器提供基于文件的仿真数据 （4）通过网络或进程间连接接收来自分布式系统的样本，如ROS（机器人操作系统）或FEP（功能工程平台） 2、流服务汇（Streaming Sink） 流服务汇是样本和触发器离开系统的出口点。通常，任何设备链接都会作为流服务汇来实现。组件如下图2所示： 图2：Streaming Sink组件 Streaming Sink 支持以下应用场景： （1）向CAN总线设备写入原始CAN消息 （2）向设备写入FlexRay周期或汽车以太网PDU （3）创建硬盘访问，用于基于文件的数据记录和高性能录制 二、数据链路 流服务是实现高效数据处理和传输的关键，通过 Streaming Source和Streaming Sink,可以针对不同实际应用需求，搭建对应的数据链路 ，包括数据管道（Data Pipe）、子流（Substreams）以及触发管道（Trigger Pipe）。 1、数据管道（Data Pipe） 数据管道是连接样本写入器（Streaming Sink）和样本读取器（Streaming Source）的桥梁。在ADTF中，如图3所示，一个常见的数据管道从发送过滤器的样本写入器的输出引脚（Out Pin）开始，通过一个样本流（Sample Stream），到达一个或多个输入引脚（In Pins）及其对应的样本读取器。 图3：Data Pipe 2、子流（Substreams） 子流是减少过滤器图中引脚和连接复杂度的一种方法,如图4所示。通过使用子流，可以简化数据流的路径，提高系统的可读性和可维护性。 图4：子流 3、触发管道（Trigger Pipe） 触发管道是ADTF中基于触发路径的连接，通常从主动运行器（Active Timer Runner）开始，如图5所示，它触发连接的组件，类似于过滤器的运行器。 图5：触发管道 例如，在自动驾驶数据采集中，通过设计灵活的触发机制，数据管道可以同步来自雷达、摄像头和激光雷达的数据流，确保它们在时间上的对齐。 三、总结 ADTF Streaming Service在自动驾驶数采领域的应用，关键在于其能够实现多传感器数据的高效同步与处理。以下是几个关键应用点： 多传感器数据融合： 通过数据管道同步不同传感器的数据，实现高精度的环境感知。 实时决策支持： 利用触发管道快速响应传感器触发的事件，为决策算法提供实时数据。 数据存储与回放 ：通过Streaming Sink实现数据的高效存储，以及通过子流进行数据回放和分析。 ADTF Streaming Service为自动驾驶数采系统提供了一个强大的工具，它不仅能够处理和同步多传感器数据，还能够适应不断变化的开发需求。

在汽车行业迈向智能化、自动化的今天，自动驾驶技术也在快速发展。为了进一步让自动驾驶更加“智能化”，像老师傅一样进行开车，离不开对车辆周围环境的全面认识。 面对复杂的感知任务，单一传感器的局限性逐渐显现，比如相机对目标的颜色和纹理比较敏感，但易受光照、天气条件的影响。LiDAR以获得目标精确的3D信息，但无法获得目标纹理，易产生噪点等情况。多传感器数据融合技术应时而生，通过整合不同传感器的优势，为车辆提供了一个全面、立体的感知维度。 一、多传感器融合的先决条件 当多种传感器装在同一辆车上时，使用同一个系统来采集并处理数据。为了确保这些传感器采集的数据能有效精准识别同一个物体，需要对这些传感器进行统一时钟和坐标系，即最终实现：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。 图1：传感器融合先决条件 1、统一时钟 确保所有传感器数据在时间上的一致性，为后续处理提供同步基准。关于时间同步的详细内容可见往期内容：《自动驾驶：揭秘高精度时间同步技术（一）和（二）》。 https://mbb.eet-china.com/blog/4073320-456155.html https://mbb.eet-china.com/blog/4073320-456327.html 2、统一坐标系 统一坐标系包含两步，一是运动补偿，二是传感器标定。 ① 运动补偿：确保数据时效性 运动补偿是针对周期性采集数据的传感器，如激光雷达（LiDAR），其数据采集周期可能长达100毫秒。由于车辆在运动，采集周期的开始和结束时刻，车辆的位置已经发生了变化。这就需要对采集的数据进行运动补偿，以确保数据反映的是车辆在某一固定时刻的环境状态。 ② 传感器标定：确立坐标转换 传感器标定是确保每个传感器的数据都能准确映射到世界坐标系中的过程。它包括内参标定和外参标定两个部分。 内参标定： 针对单个传感器，解决其内部参数，如摄像头的焦距和畸变，确保传感器数据在自身坐标系中的准确性。详细内容可见往期内容：《深入探讨：自动驾驶中的相机标定技术》。 https://mbb.eet-china.com/forum/topic/141741_1_1.html 外参标定： 在已知的世界坐标系下，解决不同传感器之间的相对位置和方向，确保它们数据的一致性。 外参标定的准确性依赖于内参标定的精确性，只有每个传感器的内参被精确校准，我们才能准确地知道它们在世界坐标系中的相对位置。 二、多传感器融合方法 在多传感器采集系统中做好统一时钟和统一坐标系后，就可以将这些数据进行融合了。关于具体做法，这里举一个简单的例子： 1、相机与LiDAR融合 在实现激光雷达与相机标定、运动补偿和时间同步后，通过多传感器深度融合，执行 几何变换 将三维点云数据投影至二维图像平面，实现物理空间到视觉空间的映射。最后，整合深度信息与图像像素数据，形成深度标签图像，从而为自动驾驶车辆的环境感知系统提供更为丰富和精确的数据支持。 2、融合方式 根据数据在整个流程中融合的不同位置，常见的融合方式可分为前融合、深度融合和后融合。 图2：常见的融合方式 前融合（Early-Fusion）： 是在最原始的层面上将不同传感器的数据进行整合。这种融合方式涉及直接在空间上对齐传感器数据，形成一个统一的多模态数据集。可以进行数据统一标识，降低信息损失。 深度融合（Deep-Fusion）： 是在特征提取之后、决策之前进行的融合。这种融合方式涉及将不同传感器的数据在特征空间中进行组合，通常通过级联或元素相乘的方式实现。通过特征互补可以提高鲁棒性和提升泛化能力。 后融合（Late-Fusion）： 是在各个传感器独立完成 目标检测或分类 等任务后，将它们的预测结果进行综合分析，以做出最终的决策。通过综合多个传感器的预测结果，提高决策准确性。可根据需要灵活添加或替换传感器模型。 3、应用场景 在多传感器融合中，前融合、深度融合和后融合各有优势和适用场景。 前融合： 在数据层面上实现早期整合，适合对原始数据依赖性较强的应用。 深度融合： 在特征层面上进行信息融合，适合需要特征互补的复杂感知任务。 后融合： 在目标层面上进行决策整合，适合需要最终决策优化的场景。 在实际应用中，根据系统需求和传感器特性，选择合适的融合策略或多种策略的组合，以达到最佳的感知效果。