标签: 传感器融合

近年来，深度学习技术在涉及高维非结构化数据领域展现出了最先进的性能，如计算机视觉、语音、自然语言处理等方面，并且开始涉及更大、更复杂的多模态信息问题。 不同传感器在进行同一实验任务时，针对产生的同一现象进行观测，采集的数据构成被测对象的多模态信息。 多模态信息可以实现不同传感器之间数据互补，并在相同学习任务获取更丰富的特征，从而实现比单一模态更好的性能。 在自动驾驶领域，多模态数据通常包括安装在车辆上的多个传感器，包括 雷达、立体可见光摄像头、红外摄像头、GPS 等，为执行自动巡航，从传感器收集的异构数据用于学习许多相互关联但复杂的任务，如定位和测绘、场景识别、路径规划和驾驶员状态识别等。 大多数先进的融合方法集中于如何融合来自多模态空间的信息或特征。根据多模态信息的融合策略主要可以分为 早期融合、中期融合和晚期融合 。 多传感器数据融合处理方法 早期融合 在输入端进行简单链接多模态数据组合，然后输入到特定的模型进行处理。LaserNet采用了这种融合策略，将三维的点云映射到二维图像上，采用全卷积网络进行概率预测，实现端到端的三维物体检测。 早期融合的方式能够 保留最多原始数据的特征 ，但对于来自不同传感器的模态信息来说，这种融合方式计算量大， 对设备运行要求较高 。 中期融合又称作是特征融合 ，需要对来自不同模态的数据进行特征提取，并对特征图进行融合操作后输入到目标任务中进行处理。通过ROI池化的方式将二维图像和点云鸟瞰图、前视图特征整合到同一特征尺度进行融合，并构建两个子网络进行多视图区域特征融合，并在不同路径中间层中交互特征，实现了自动驾驶场景下高精度的三维物体检测。 中期融合的方式能够 有效减少模型的数据输入，能够有效整合来自不同模态的深层特征。 晚期融合（决策融合） 针对 每种模态的目标任务结果进行决策投票，比其他两种融合策略 更为直观 ，能够 有效地促进多模态之间的协作 ，避免因为传感器失效而对最终任务结果造成严重影响。 晚期融合由于需要对不同模态的数据进行处理和任务执行，其任务完成质量受到单一模态影响较大，同时也存在计算开销大的问题。 aiSim仿真模拟平台 作为一款端到端的自动驾驶仿真模拟工具， 雅名特aiSim仿真模拟平台 能够提供现实世界中 难以捕捉的场景和自动驾驶过程中的边缘案例 ，具有高可扩展性、高保真度的传感器模拟和环境模拟，能够扩充不同测试场景的数据广度和深度，有效提升ADAS/AD算法的能力。 传感器是环境感知系统的核心，自动驾驶车辆需要通过传感器获知周围的环境信息。雅名特aiSim设计了 基于物理原理的传感器模型 ，能够全面准确的模拟条件和交互环境。传感器模型库包括 相机、激光雷达、雷达、超声波传感器 等。 高度可扩展框架能够实现在多个GPU上实现分布式光追渲染，实时仿真高度复杂的多传感器配置。 具有污泥遮挡、冷凝水雾遮挡、镜头色差、镜头炫光等多种相机退化和镜头失真情景。 支持新传感器模型配置和设计，并快速测试其感知性能。相机、激光雷达和雷达视场可视化有助于确定传感器在车辆上的最佳安装位置。 如您对上述产品感兴趣， 欢迎联系雅名特自动驾驶团队了解更多信息。 我们将竭诚为您服务！ 期待与您的交流！ 虹科是一家汽车科技行业的先驱企业，已经沉淀了十年以上的经验。雅名特是虹科旗下子公司，专注于自动驾驶领域，展现了卓越的创新能力和深厚的行业理解。 我们以数据为驱动力，提供高性能的数据采集、记录、传输方案，针对各种驾驶场景进行精准的仿真模拟，以及对大量自动驾驶数据进行高效、高质量处理。我们的一站式服务能够满足自动驾驶领域研发测试的全流程需求。我们深入了解客户需求，结合行业最新技术和趋势，为客户提供最优化的自动驾驶解决方案，助力客户在自动驾驶领域取得更大突破。

自动驾驶汽车的未来趋势：集中式传感器融合 现如今，大多数自动驾驶汽车都依靠传感器融合，即将毫米波雷达、激光雷达和摄像头的多传感器数据以一定的准则进行分析和综合来收集环境信息。正如自动驾驶汽车行业巨头们所证明的那样，多传感器融合提高了自动驾驶汽车系统的性能，让车辆出行更安全。 【导读】现如今，大多数自动驾驶汽车都依靠 传感器 融合，即将毫米波雷达、激光雷达和摄像头的多传感器数据以一定的准则进行分析和综合来收集环境信息。正如自动驾驶汽车行业巨头们所证明的那样，多传感器融合提高了自动驾驶汽车系统的性能，让车辆出行更安全。 但并非所有的传感器融合都会产生相同的效果。虽然许多自动驾驶汽车制造商依靠 "目标级"的传感器融合，但只有集中式传感器前融合才能为自动驾驶系统提供最佳驾驶决策所需的信息。接下来我们将进一步解释目标级融合和集中式传感器前融合之间的区别，以及解释证明集中式前融合不可或缺的原因。 集中式传感器前融合保留了原始传感器数据可做出更精确的决策 自动驾驶系统通常依靠一套专门的传感器来收集关于其环境的底层原始数据。每种类型的传感器都有优势和劣势，如图所示： 融合了毫米波雷达、激光雷达和摄像头多传感器后可最大限度地提升所收集数据的质量和数量，从而生成完整的环境图像。 多传感器融合，相对于传感器单独处理的优势已经被自动驾驶汽车制造商普遍接受，但这种融合的方式通常发生在 “目标级”的后处理阶段。在这种模式下，物体数据的收集、处理、融合和分类都发生在传感器层面。然而，数据综合处理前，单个传感器通过对信息的预先分别过滤，使得对自动驾驶决策所需的背景信息也几乎都被剔除了，这使得目标级融合很难满足未来的自动驾驶算法的需要。 集中式传感器前融合则很好地规避了此类风险。毫米波雷达、激光雷达和摄像头传感器将底层原始数据发送到车辆中央域控制器进行处理。这种方法最大限度地提高了自动驾驶系统获取的信息量，使得算法能够获取全部的有价值的信息，从而能够实现比目标级融合提供更好的决策。 AI增强型毫米波雷达通过集中化处理大幅提升自动驾驶系统的性能 如今，自动驾驶系统已经集中式处理摄像头数据。但当涉及到毫米波雷达数据时，集中化处理仍然是不现实的。高性能的毫米波雷达通常需要数百个天线通道，这就大幅增加了产生的数据量。因此，本地处理就成了一个更具性价比的选择。 然而，安霸的 AI 增强的毫米波雷达感知算法在不需要额外物理天线的情况下，可以提高雷达角分辨率和性能。来自较少信道的原始雷达数据可以通过使用标准汽车以太网等 接口 ，以较低的成本传送到中央处理器。当自动驾驶系统将原始的 AI 增强雷达数据与原始摄像头数据相融合时，它们就能充分利用这两种互补的传感方式来建立一个完整的环境图像，使融合后的结果更加全面，超越任何单一传感器所获得的信息。 毫米波雷达的更新迭代有助于降低成本，也大幅地提高自动驾驶系统的性能。传统的低成本雷达量产时，每个毫米波雷达的价格可以低于 50 美元，比激光雷达的目标成本低一个数量级。与无处不在的低成本摄像头传感器相结合，AI 雷达提供了可接受的精确度，这对大规模商业化的自动驾驶汽车量产至关重要。而激光雷达传感器与运行 AI 算法的摄像头/毫米波雷达感知融合系统相重叠，如果激光雷达的成本逐渐下降，将可作为摄像头 + 毫米波雷达在 L4/L5 自动驾驶系统中的安全冗余。 算法优先的中央处理架构深化传感器融合以优化自动驾驶系统性能 现行的目标级传感器融合有一定局限性。这是因为前端传感器都带有本地处理器，从而限制了每个智能传感器的尺寸、功耗和资源分布，从而进一步限制了整个自动驾驶系统的性能。此外，大量数据处理会快速耗尽车辆的动力并缩短其行驶里程。 相反，算法优先的中央处理架构实现了我们称之为深度、集中式的传感器前融合。该技术利用最先进的半导体工艺节点优化了自动驾驶系统的性能，这主要是因为该技术在所有传感器上动态分布的处理能力，以及能根据驾驶场景提升不同传感器和数据动向的性能。通过获取高质量、底层原始数据，中央处理器可以做出更智能、更准确的驾驶决策。 买电子元器件现货上唯样商城 自动驾驶汽车制造商可以使用低功耗毫米波雷达和摄像头传感器，并结合尖端的算法优先的特定应用处理器，如安霸最近宣布的 5 纳米制程 CV3 AI 大算力域控制芯片，具备最佳感知和路径规划性能、具有最高的能效比，显著增加每辆自动驾驶汽车行驶里程的同时，降低 电池 消耗。 不要抛弃传感器——投资于它们的融合 自动驾驶系统需要多样化的数据才能做出正确的驾驶决策，只有深度、集中式的传感器融合才能提供最佳自动驾驶系统的性能和安全所需的广泛数据。在我们的理想模型中… 1.低功耗、AI 增强的毫米波雷达和摄像头传感器在本地与自动驾驶汽车外围的嵌入式处理器相连。 2.嵌入式处理器将原始检测级对象数据发送到中央域SoC。 3.使用 AI、中央域处理器分析组合的数据以识别物体，做出驾驶决策。 集中式传感器前融合可以改进现有的高层级融合架构，让使用传感器融合的自动驾驶汽车强大而可靠。为了获得这些好处，自动驾驶汽车制造商必须投资算法优先的中央处理器，以及支持 AI 的毫米波雷达和摄像头传感器。通过多方努力，AI 制造商可以迎来下一阶段的自动驾驶汽车发展的技术变革。 作者：前欧宝和德国大陆集团CEO，Karl-Thomas Neumann, 以及安霸雷达技术副总裁兼总经理Steven Hong

具有深度学习能力的传感器融合 传感器被越来越多地应用于我们的日常生活中，以帮助收集各种应用中有意义的数据，例如建筑暖通空调系统、工业自动化、医疗保健、门禁控制和安全系统等。传感器融合网络有助于从多个传感器获取数据，以提供设备周围环境更全面的感知。换句话说，传感器融合结合多个物理传感器的数据，即使单独的传感器本身不可靠，融合后的结果会更加准确，有助于减少感知过程中的不确定性。 【导读】 传感器 被越来越多地应用于我们的日常生活中，以帮助收集各种应用中有意义的数据，例如建筑暖通空调系统、工业自动化、医疗保健、门禁控制和安全系统等。传感器融合网络有助于从多个传感器获取数据，以提供设备周围环境更全面的感知。换句话说，传感器融合结合多个物理传感器的数据，即使单独的传感器本身不可靠，融合后的结果会更加准确，有助于减少感知过程中的不确定性。 为了进一步提高智能化和可靠性，使用深度学习进行传感器融合，在工业和消费领域正变得越来越重要。 从数据科学的角度来看，这种模式通过采用智能监测和传感器融合策略，以及运用优化的机器学习，从传感器数据中中获取相关知识。主要目标之一是有效预测工业运行环境中的异常行为，以避免重大事故带来的损害。 瑞萨 电子提供智能端点传感设备和集成了丰富模拟外设的 微控制器 。这些微控制器作为传感设备的核心，为不同应用提供更精确的传感器融合方案。常用的方式是： 冗余传感器：提供相同的信息类型。 互补传感器：提供独立（不相干）的信息类型。 协同传感器：顺序收集外部的信息。 传感器网络中的通信是整个方案的核心，有以下几种选择： 分散式：传感器节点之间没有通信。 集中式：所有传感器把测量值提供给中央节点。 分布式：节点之间按照一定的频率交换信息（例如，每采集五次就交换一次数据）。 集中式方案也可以被看作是分布式方案的一个特例。传感器的每一次采集都会发送给融合节点，如下图示。 深度学习 一个有效的传感器融合方案，先决条件是精确校准和同步传感器。瑞萨提供了一系列解决方案，使用集中式方案，在端点设备上运行先进的传感器融合算法，实现决策推断。 晚期融合可以实现互操作，而早期融合可以为人工智能提供丰富的数据做预测。我们借用不同策略的长处。现代方法通常会对设备上的传感器，在时间和空间上做融合，然后将融合后的数据输入神经网络执行预测。这些数据用于AI训练或实时算法的软件闭环（SIL）测试。由于前期的数据融合，在此阶段这些算法只需要接收有限的信息量。 深度学习使用神经网络来实现先进的机器学习，可以利用高性能计算平台，如瑞萨的RA MCU 和RZ MPU 来做训练和执行。深度神经网络由若干处理层组成，这些处理层从传感器融合中学习，对数据进行不同程度的抽象化。深度神经网络的层数越多，学到的表征就越抽象。 深度学习提供了一种表征学习的形式，通过使用简单的表征来表示数据。深度学习技术可以使用几个层的组合来理解特征，每个层都有独特的数学转换，以产生抽象的表征，更好地区分数据中的高级特征，以加强对真实形式的分离和理解。 多流神经网络的优势在于从多模态数据中生成有效的预测，其中每个流对网络产生整体联合推断都很重要。多流方法已在多模态数据融合方面取得成功，深度神经网络已被成功应用于多个应用中，如机器翻译和时序数据融合。 买电子元器件现货上唯样商城 允许深度神经网络在基于MCU的端点应用上进行训练和部署，是一个巨大的突破，有助于加快行业应用。瑞萨的RA MCU平台和相关的灵活软件包与人工智能建模工具相结合，提供了多层结构化神经网络应用能力。通常，更多的层能让网络学到更多的抽象特征。在异质混合中堆叠多种类型的层，可以胜过同质混合的层。瑞萨的传感解决方案可以通过多个传感器的反馈来弥补系统在处理相关类型的信息时单个传感器的不足。 灵活的瑞萨高级（RA）微控制器（MCU）是业界 领先 的32位MCU，是构建智能传感器的绝佳选择。由于RA系列的MCU种类繁多，您可以根据您的应用需求选择最佳产品。RA MCU平台与强大的支持和软件生态系统相结合，将有助于加快传感器融合和深度学习模块的工业4.0应用开发。 作为瑞萨广泛的解决方案和设计支持的一部分，瑞萨为多功能人工智能物联网（AIoT）传感器解决方案提供了参考设计。它针对工业预测维护、支持手势识别的智能家居/物联网设备、可穿戴设备（主动跟踪）以及创新性的人机界面或（HMI）（手指感知）等移动应用提供了解决方案。作为该解决方案的一部分，瑞萨可以提供丰富的硬件，包括物联网专用RA微控制器、空气质量传感器、光传感器、温度和 湿度传感器 、6轴 加速度传感器 以及蜂窝、蓝牙通信芯片等。 随着工业4.0系统中传感器数量的不断增加，对传感器融合的需求也在不断增长，以理解这些传感器产生的海量数据。市面上也出现越来越多集成传感器融合的设备。例如，融合了振动、声音、温度和磁场传感器数据的智能状态监测盒可用于机器状态监测。还可以选配用于监测加速度、角速度、冲击和振动的其他传感器配件。 该系统通过人工智能算法实现传感器融合，以更好地对异常运行状况进行分类，从而产生更准确的推断决策。这种边缘人工智能架构简化了对传感器融合所产生的大数据的处理，确保只有最相关的数据被发送到边缘人工智能处理器或云端，以便进一步分析并可能用于训练ML算法。 使用基于AI的深度学习有几个好处 ● AI算法可以采用传感器融合，利用多个传感器的数据来弥补单个传感器数据的不足。 ● AI算法可以先根据传感器数据的相关性对传感器分类，再把数据送给与之对应的任务。 ● 通过在边缘设备或云上的持续训练，AI/ML算法可以让设备通过不断学习来识别以前未识别的系统行为变化。 ● AI算法可以预测可能的故障源，实现预测性维护，提高生产效率。 传感器融合与人工智能深度学习相结合，可以发挥传感器数据的最大作用。基于AI/ML的增强型传感器融合可用于系统的多个层级，包括数据层、融合层和决策层。传感器融合的基本功能包括实现数据的平滑和过滤以及预测传感器和系统状态。 瑞萨电子邀请您使用我们的高性能MCU和A&P产品组合。结合完整的软件平台，它能为您提供有针对性的深度学习模型和工具，用以构建下一代传感器融合解决方案。 来源：瑞萨电子，作者：Suad Jusuf

上篇主要写了些个人感悟，这次简单谈谈传感器尤其是运动传感器的融合应用。书中第二、三章主要介绍了MEMS技术的分类以及MEMES在生活中的应用，个人涉猎的主要是运动传感器，包括加速度计，陀螺仪，磁力计，气压计等，本文就这几类MEMS传感器的融合应用展开讨论下。 书中介绍的手机，可穿戴式设备（手表，手环），无人机，扫地机器人等应用都需要得到设备的全时姿态，进一步可分解为静止姿态+平动，转动。一个物体的静止姿态可以用欧拉角表示，水平角度Yaw，上下角度Pitch，左右角度Roll。其中加速度计可以根据重力分量计算出Pitch和Roll，磁力计根据地磁场计算出Yaw。此外加速度计还可以粗略算出距离，得到平动，转动则由陀螺仪通过角速度对时间积分得到。 气压计主要提供垂直方向的信息，可以根据气压读数得到高度信息（气压和海拔高度有关系），尤其是相对高度的应用。比如TDK的电容式气压计，精度非常高，可以检测几cm的高度变化，从而可以用在防摔倒检测，上下楼梯，爬山，无人机等应用上。 每种MEMS传感器都有自身擅长检测的领域，当然各种传感器数据的融合更能提高用户的体验。传统手机，手环等设备一开始只有加速度计用来做抬起唤醒，敲击，计步等应用；后面加上磁力计用作指南针应用；再加上陀螺仪数据融合来做游戏应用，做各种运动姿势识别，做惯导等；加上气压计还可以优化计步应用，配合其他传感器用作更精确的惯导，更准确的运动检测，还可以辅助计算运动能量的消耗。 未来多传感器的数据融合是趋势，在各家硬件都越来越同质化的情况下，可以提供更完善的传感器整体解决方案的公司就能走得更远。所以国家在加大半导体产业投入的同时，除了关注硬件本身外，更要完善知识产权的保护，让传感器软件在市场是能有一席之地，从而推动软硬件的完美融合。毕竟多传感器融合最后还是得靠软件算法的优化，才能给客户带来更亮眼的解决方案，推动传感器在AI+IOT, Robotics等市场发光发热！