标签: 智能驾驶

一、前言 作为一名 高校的科研工作者 ，在高校的科研工作中，经常需要处理各种复杂的数据流，尤其是 视频采集和处理 的工作，对数据的实时性和精度要求非常高，我首次试用ADTF时，主要负责开发一个 集成FFmpeg的Filter组件 ，处理摄像头采集的raw数据，并对其进行H264编解和解码。在这个试用的过程中，我对ADTF的初步体验是它的设计 非常便捷 ，尤其是对于 图像和视频数据的处理。 通过这次开发，我对 ADTF的模块化设计、流数据传输机制以及其便捷的开发环境 有了更加深刻的认识。接下来，我将从多个角度详细分享我的试用体验，内容涵盖 ADTF的优势、工作流程中的亮点 ，以及 未来展望 等方面。 二、ADTF的用户界面与灵活性 在打开ADTF时，我觉得其 直观的GUI设计 非常的友好。作为一名高校科研工作者，我们通常需要频繁的调整实验配置、切换不同的开发场景，而ADTF的界面布局使得这些操作变得十分便捷。 其工具栏、Component、Sessions管理以及快捷命令栏 的存在，极大的 优化了工作的流程 。能够在搭建工作流时，迅速的找到所需要的工具和组件，并轻松的管理多个实验配置，这在需要进行多项实验的科研工作中尤其重要。 ADTF的模块化设计 使我能够快速自由的组合各种组件，构建适合 具体科研需求 的工作流。例如，我能够通过ADTF提供的Store模块，轻松地管理不同的数据流和实验配置。这种灵活性对于需要 快速迭代实验和算法验证 的科研工作来说非常有利。 三、便捷的组件开发 我在ADTF中开发的Filter组件，集成了FFmpeg进行H264图像数据编解码，这使得我能够处理摄像头采集的raw数据。ADTF提供了 标准的图像数据流定义 ，使我可以快速上手，并通过 自定义的数据流类型进行数据的高速传输。 让我印象深刻的是，ADTF允许我创建自定义的流类型，并将编码后的视频数据发送至下一个Filter进行解码。这种模块化的设计对于处理复杂的多步数据流非常有帮助，尤其是在 处理视频和音频等 连续数据时。 ADTF的流数据传输机制非常稳健 ，特别是在 高速数据吞吐 情况下，它依然能够保证数据的完整性和及时性。例如，当我处理大规模视频数据时，ADTF通过其文件的流数据传输体系很好地管理了数据流的传输，确保没有出现数据丢失的现象。这一点在要求 高精度 的场景下， ADTF的表现非常好 。 此外，ADTF的组件开发过程也充分展示了其 灵活性 。在开发Filter组件时，ADTF中可以自定义流类型，不仅能与标准化的数据流兼容，还能针对特定需求自己定义。通过这种方式，我可以轻松的将编码后的视频数据 传输至下一个 解码或者处理视频数据的组件，实现多步数据流处理。在整个开发过程中，我清晰地感受到了ADTF模块化设计所带来的便利，它允许我 根据不同的实验需求进行自由组合和扩展。 四、丰富的工具箱和组件 ADTF还有一个非常好的亮点是它 丰富的工具箱 。我在开发组件的过程中直接使用了ADTF自带的Windows摄像头驱动采集数据，避免了繁琐的硬件配置。此外，ADTF还提供了Qt以及foxglove等显示组件，使我能够实时监控摄像头捕获的视频流，很大程度上方便了我的开发和测试。这种 预制组件的存在大幅度缩短了开发时间 ，我可以把更多的精力集中在数据处理的核心逻辑上。 在科研项目中，快速的验证新算法和新想法是我们的日常工作。 ADTF通过大量现成的组件，帮助我们在短时间内可以搭建一个完整的测试环境 。例如：我可以迅速继承已有的摄像头采集组件，并通过简单的操作和配置就可以完成视频流的显示和存储。这种集成工具的便利性是在科研工作中快速迭代优化的重要支撑。 五、外部库与ADTF完美结合 在科研项目中，大部分的功能需要 依赖外部库 ，比如OpenCV、FFmpeg…，在这次的开发过程中，我通过FFmpeg对摄像头采集的raw数据进行H264编解码。 ADTF的开放性和模块化 使得FFmpeg的集成过程十分顺畅，通过Filer组件可以轻松调用FFmpeg的功能，将raw数据进行编码，并在解码阶段还原数据进行显示。 FFmpeg强大的视频处理能力与ADTF的稳定数据流传输机制相结合，使我能够达到项目中要求的实时数据处理。通过把FFmpeg集成到ADTF中，我能够以较低的系统资源消耗完成高效的视频编码和解码，还可以在我设计不同的试验方案时，快速的帮我搭建适合试验方案要求的工作流。 ADTF与FFmpeg的结合组件展现了非常出色的扩展性和稳定性。 六、未来展望 通过对ADTF的使用，我认为ADTF为高校的科研人员提供了一个强大的数据处理和开发平台，A DTF在处理大规模数据流、视频数据编解码等领域具有极大的潜力。 这种模块化设计使我们能够轻松定制复杂的工作流程，特别是在处理多个传感器数据和视频流时，ADTF提供了极高的灵活性。 在未来对ADTF的使用中，我将会进一步探索ADTF在 自动驾驶、智能交通系统等领域 的应用，并希望能够看到它在数据处理和算法开发中的更多突破。

“随着AI时代的到来，汽车变得更像移动大脑。我们正以光子为媒介，成为AI大脑与终端用户（驾驶员、乘坐者和道路使用者）的链接者。” 近日， 艾迈斯欧司朗高级市场经理罗理 在 第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛 上指出，对于汽车照明的未来，除了业界普遍关心的成本问题，艾迈斯欧司朗更关注技术创新，以及如何解放设计师在造型上做更多创意设计、增加工程架构设计的可塑性，提供更多情感依托或媒介交互的选择。 · LED, 智能驾驶中的光与智 · 通过艾迈斯欧司朗三大革命性创新产品，即EVIYOS® 2.0前照灯解决方案、OSIRE® E3731i氛围照明模块，以及SYNIOS® P1515尾灯/信号灯解决方案，罗理向100+线上线下参会媒体和350+线上线下预报名的专业观众展示了智驾LED技术前沿发展的新蓝图。 PART.01前照灯的智能进化 一根头发丝约50μm，罗理介绍道，而我们的EVIYOS® 2.0，其25,600个像素是“压缩”到仅40mm2的曲光面上（如下图）。这是相当了不起的成就，也体现了我们在技术创新上的不懈努力。 据了解，EVIYOS® 2.0也是业界首款光与电子相结合的LED，可广泛用于实现迎宾投影、变道光毯引导、车道保持辅助预警、湿滑路面警告等与行车安全相关的应用。 以无眩光远光灯为例。罗理解释称，基于EVIYOS® 2.0，会车时无需关闭远光灯，因为它可以智能识别道路中各种需要避开眩光的物体，智能亮灭部分像素，达到主动ADB的效果。 这种可保持常亮的远光灯，能最大限度地增加驾驶员的可视面积，大幅提高行车安全性。 受到汽车市场的热烈追捧之余，25,600像素智能LED EVIYOS® 2.0也拓展到诸多商业、工业照明领域（如上图）中实现高质量的动态照明，其功率、体积、重量和成本等也都完全满足应用需求。 随着与小象光显合作推出的uLED智能投影灯的上市，EVIYOS® 2.0有望引领商业、工业领域照明的新一轮“像素化”风潮。 PART.02氛围照明的多彩革命 随后，罗理重点介绍了RGBi LED，OSIRE®E3731i，业界首个推出基于OSP开放架构的、把LED和驱动集成在一个封装里的产品。这款RGBi LED是专为座舱动态氛围灯应用而设计。 罗理指出，将汽车打造成“第三生活空间”的普遍需求，意味着“光”不仅仅为了照明，更需要成为人车交互的信息载体。比如，氛围灯的音乐律动、不同驾驶模式变换的提示、智能识别用户情绪提供不同亮度或颜色，或是根据车外场景进行提醒，以及与智能表面应用相结合创造更多应用场景等。 通过简单的动图，罗理现场演示了RGBi产品的4个应用场景，左上是指示和交互场景；右上是信息加强，包括情感的连接；左下是智能表面，包括与织物或者隐藏式按钮相结合的应用场景；右下则是与安全直接相关的警示。 罗理特别强调，这里的每个场景都已有实际上车案例，并非仅存在于想象中的规划。 这一趋势下，舱内LED的颗粒数越来越多。车厂或灯厂该如何平衡成本与数量？这么多RGB LED，怎么混色才能均匀、和谐？怎样保证不同供应商的RGB，在变色时不会产生较大延时或出现色彩斑驳不一致？ 罗理举例表示，现在车内LED高达3、400颗，按传统分布式架构设计，节点数量将非常多，且每个节点都需要驱动等，整个系统将非常复杂，未来OTA升级也将遇到众多困难。 这正是艾迈斯欧司朗着力推出OSP开放架构的主要目的：通过OSP免除MCU厂家的诸多限制（很多国产MCU也已经调试通过），只需基于CAN收发器的物理层即可实现稳定的跨板连接。罗理指出，也就是说，基于OSP架构，只需要一根双绞线和高低电频，就可以用一个SPI接口串联高达1,000颗的RGBi。 更进一步，主机厂只需在主控的域控制器上进行预埋，就可以在整车不同的节点之间做非常智能的连接。即通过OSP，除我们的RGBi产品，还可以接入SAID独立驱动芯片，以及带I2C通讯的传感器，包括环境光传感器、压力传感器等，也可以直接地以插入式的方式接入这条总线，而无需破坏整体架构。这种方式也能完美适配车厂OTA升级汽车功能的趋势。可以说，OSP+RGBi，是舱内照明的一个颠覆式创新。 罗理补充道，我们的每一颗RGBi芯片里，还保存了出厂时测试的电流、电压、色点、亮度等信息。这意味着后续在生产线上不需要对这些RGBi做在线标定，驱动直接通过下达指令就可以实现整车颜色均匀的效果。 PART.03组合尾灯的美学与功能并进 最后，罗理介绍了艾迈斯欧司朗创新封装LED芯片SYNIOS® P1515，该产品采用非传统的侧面360°环绕发光技术，为汽车照明提供了结构上的革新。 目前，SYNIOS® P1515主要用于两种汽车外饰照明场景： 简化结构： 作为传统顶发光LED的替代品，SYNIOS® P1515能够将复杂的反射碗结构简化为直接安装的方案，在保持相同亮度与均匀性的前提下，通过增加LED之间的间距来减少LED数量及其驱动电路，从而降低系统成本。 例如，对某尾部贯穿灯典型案例分析发现，LED颗粒数最多可以减少2/3，整个系统成本得以大幅下降。 超薄均匀发光： 利用其360°发光特性，SYNIOS® P1515能够实现类似OLED的面发光效果。 在具体尾灯信号灯等的设计中，传统直下式方案通常需要20-30mm的深度，而SYNIOS® P1515可压缩至5mm甚至以下。以1:2的比例为例，当LED以每10mm一颗排列时，整个结构厚度可缩减至5mm，极大地提升了设计灵活性，同时其也保持了出色的均匀性。 此外，采用矩阵式布局时，SYNIOS® P1515还能实现局部调光（local dimming），允许一定程度上的动态显示和图案显示。通过在LED间设置格栅来调整光路，可以进一步提高对比度，赋予图案设计更大的自由度。 研讨会同期，E维智库隆重揭晓 “2024年度E维智库硬科技产业纵横奖” ，以表彰那些在创新领域取得显著成就的企业，彰显他们在科技进步道路上不懈追求的精神风貌。同时，也为 新的一批智库荣誉专家 授牌，感谢他们为产业科普、趋势前瞻、技术剖析所做的努力和付出。 艾迈斯欧司朗 因推动产业生态繁荣，以及引领业界的全渠道、多形式、深洞察的精准营销，荣获 2024年度产业生态纵横奖 和 2024年度To B数字营销先锋奖 。 艾迈斯欧司朗OSLON® Black新一代红外大功率LED ，凭借自主研发的IR:6芯片，在850nm波段实现了业界领先的亮度与效率，荣获 2024年度“E”马当先新品奖 。 共筑繁荣生态。引领产业革新，开放协作典范，技术创新先锋， 数字赋能，聚光成炬。 全渠道布局织就传播网，新理念运营引领行业潮。点亮数字营销火花，启迪智慧未来之光。 能耗更优，图像更清晰。一体化设计，精准控制、有效防眩；光电融合，完美典范； 艾迈斯欧司朗高级市场经理罗理 因对硬科技科普的热诚参与及广泛影响，获得E维智库荣誉专家称号并进行了授牌，以感谢他为产业科普、趋势前瞻、技术剖析所做的努力和付出。祝贺他！

在 ADTF(Automotive Data and Time-Triggered Framework) 中， 过滤器（Filter） 扮演着数据处理的核心角色。过滤器是处理数据流的基本单元，它们接收、处理并发送数据。接下来，将 分享ADTF中创建和使用过滤器 ，包括设置输入输出针脚（Pins）、配置触发器（Triggers）以及处理数据样本（Samples）。 一、过滤器基础 过滤器是ADTF中用于数据处理和转换的小型处理单元，可以通过特定的接口接收和发送数据，如图1所示。 图1 Filter 过滤器核心能力如下： 1.数据接收： 通过输入引脚（In Pins）和对应的样本读取器（Sample Reader）接收数据。 2.数据发送： 通过输出引脚（Out Pins）和对应的样本写入器（Sample Writer）发送数据。 3.数据处理： 在运行器（Runners）（也称为触发上下文、可运行对象或可调用对象）的上下文中处理数据。 在进行过滤器的设计，考虑将数据传输与运行时行为分离。因此引入了触发机制，包括数据触发和时间触发。 1.数据触发： 功能在传入数据事件上运行。 2.时间触发： 功能在传入时间事件上运行。 通过这种设计支持构建一个强大且可适应的系统，使用过滤器可以轻松集成和定制。比如在数采系统中，通过不同的时间触发设计，以适应不同频率的传感器数据采集。或者利用cDataTriggerHint类来确保当车辆传感器数据（如摄像头图像）到达时，触发相应的数据处理算法运行，从而实现实时数据流的高效响应和处理。 二、创建过滤器 通常，在ADTF中滤波器会被打包成一个插件。通过ADTF 的插件机制使其能够在 ADTF 的运行时加载。在滤波器中，可以通过可以创建输出引脚或输入引脚，这里我们以输出引脚为例。引脚传输出去的数据，在ADTF中称为样本（Sample）。其代码案例如下，创建一个滤波器并添加一个输出引脚及样本数据。 三、 样本（Sample） 样本（Sample）是 ADTF中用于数据传输的基本单元。它们不仅包含数据本身，还包含与数据流相关的元信息，如图2所示。 图2 Sample 一般来说，样本通过 streaming::ISample 接口进行操作。其样本组成包含以下内容： 1.时间戳（Timestamp）： 为每个数据提供时间关联。 2.样本缓冲区（SampleBuffer）： 通常是一个内存块的引用，包含用户数据。 3.样本信息（Sample Info）（可选）： 提供额外的元数据。 4.子流 ID（Substream Id）（可选）： 用于标识特定的数据子流。 比如我们可以轻易实现将内存缓冲区内容复制到样本中，实现数据传输。 四、过滤器应用 ADTF过滤器的应用场景广泛，它们不仅能够处理和转换数据，还能够根据特定的需求定制功能。在图3所示，在人脸识别算法工程中，过滤器被用于处理从摄像头捕获的视频流。 首先，一个过滤器用于解码视频流，将原始数据转换为图像帧。接下来，通过一个复杂的过滤器（OpenCV Face Detector Filter）实现人脸识别算法，识别并跟踪视频中的人脸。通过这些过滤器的协同工作，系统能够实时处理视频数据，并提供有用的输出，如安全监控或人流量统计。 图3 人脸识别算法工程 此外，过滤器可用于多种用途，包括但不限于： 1.解码来自CAN、MOST或FlexRay等设备的流源数据。 2.预处理传入数据，为算法实现做准备。 3.通过复杂的算法实现重新计算和合并传入数据。 4.实现循环控制器。 5.接收传入数据并进行数据可视化。 五、总结 ADTF过滤器提供了一个灵活且强大的平台，用于构建和集成数据处理流程。无论是在汽车、工业自动化等领域，过滤器都能够提供定制化的解决方案，满足特定的技术需求。通过合理设计和配置过滤器，可以大大提高数据处理的效率和可靠性。

在自动驾驶领域，实现 高质量的虚拟传感器输出 是一项关键的挑战。所有的架构和实现都会涉及来自质量、性能和功能集成等方面的需求。aiSim也不例外，因此我们会更加关注于多个因素的协调，其中， aiSim传感器实现的神经网络渲染仿真方案 ，在aiSim能够在现有功能上实现多用途扩展的同时，也可以最大程度上保留原始特性。 一、现有问题 从当前学术界对于神经渲染的研究来看，不同的方案都会给虚拟世界带来一定的限制，从而无法让仿真充分发挥作用。我们在aiSim中提供了一种不同且具有更高集成度的方案，即 aiSim的通用高斯泼溅渲染器 （General Gaussian Splatting Renderer），这一方案结合了 渲染速度、集成灵活性和卓越的视觉保真效果 ，为当下的神经网络三维重建技术带来了新的内容。 其中一点就是传统方案中，广角镜头的渲染和处理总是不尽人意，但这一传感器又是自动驾驶仿真中最为常见的用例之一，但在aiSim的方案中我们克服了这一局限性。 二、康谋方案 原始的算法在高斯泼溅投射的处理过程中往往会引入若干限制，阻碍了传感器的合理渲染，主要源于是近似误差（approximation error），当处理FOV更大的镜头时，误差会显著增大。 左边是原始解决方案，它无法从六个摄像头中一致地生成图像。右边是aiSim的解决方案，它消除了这个问题， 并能投射出一致的图像。 这种独有的方案不仅能够处理相机传感器，还能够处理其他基于光线追踪的传感器类型，比如LiDAR和Radar。而在之前的ADAS/AD仿真中，无法扩展到不同传感器模式则是大多数神经渲染解决方案面临的最大挑战之一。 为此，我们重现思考了高斯泼溅解决方案，重建算法流程，通过新一套的高斯泼溅渲染器完美解决了前述的限制，完 美的组合了各种虚拟镜头组合的畸变图像。 1、aiSim通用高斯泼溅渲染器 （1）一致性 aiSim通用 高斯 溅射渲染器和现有光栅化解决方案具有 相当的性能水平 ，即使在硬件在环方案中，也可以模拟高端（4K）多摄像头传感器设置。由于该算法的通用性，您可以从基于光线追踪的传感器模式（如LiDAR和雷达）中一致地获得相同结果。 这意味着您 无需牺牲运行性能 ，因为渲染器可以保持足够快的速度以实时帧率工作。 （2）自由视角 此外，aiSim通用高斯泼溅渲染器还允许您在模拟场景中 自由移动摄像头 ，并使用不同的位置或传感器设置，且不会产生不可预测的伪影或故障。它使您能够近距离亲自查看各种物体表面的复杂细节。由于该算法可用于物理模拟甚至表面重建，因此其应用范围可以进一步扩大。 （3）完善的前置工作 以上的关键在于我们预先结构良好的数据采集和灵活的渲染方案位为所有物理级传感器的仿真提供了坚实的基础。 期待您继续关注康谋之后的文章，我们将分享更多有关aiSim的方案内容。

概述 在当前汽车系统测试中，随着自动驾驶（ADS）和高级驾驶辅助系统（ADAS）的快速发展，车辆软件的复杂性不断增加。为了应对上述场景测试中的复杂性，经纬恒润研发了 OrienLink 数据回灌模块（包括开环和闭环回灌），显著提升了SiL和HiL测试可靠性和有效性，特别是在早期研发阶段和冒烟测试阶段。本文重点介绍了目标级开环回灌、闭环回灌和传感器级别开环回灌的应用，以及感知闭环回灌的发展。 图1 仿真测试系统概览 SiL/HiL测试痛点及OrienLink数据回灌系统介绍 尽管SiL/HiL测试具备诸多优势，但由于依赖仿真数据，确保这些数据的真实性和准确性成为一项关键挑战。仿真系统需要对车辆动力学、传感器输入和环境条件等大量基础数据进行模拟。然而，仿真与现实世界之间仍然存在显著的差距，这种差距可能影响SiL/HiL测试的可靠性，使得评估结果难以准确反映系统的真实状态。 为了弥补SiL/HiL测试中的不足，开发团队通常还会结合实车随机测试和场地测试进行验证。这些测试方法在真实环境中运行，能够提供更精确的结果。然而，由于这些测试方法往往耗时且成本高昂，在早期开发阶段和后期冒烟测试阶段的应用受到限制。 为了解决上述问题，我们在汽车软件测试中引入了基于数据的开环/闭环回灌测试系统——OrienLink Data Replay Module。闭环回灌测试系统通过实时的真实数据反馈和状态机模型优化，能够实现车辆软件设计、测试与验证的高效循环 。例如，在规控测试中，Reactive-Replay方法利用历史障碍物级别的感知数据对系统进行动态调整和优化。闭环仿真系统能够在仿真过程中实时调整车辆和环境模型，确保仿真结果更接近实际情况。图2展示了开环回灌结果与实际采集结果的对比分析报告，进一步验证了该方法的有效性。 图2 AEB/FCW开环回灌结果分析 数据回灌系统既可以用于SiL，基于云端的高算力，大存储做并行仿真，也可以用于HiL测试，进行更真实的半实物仿真。同时，还可以用于多控制器系统联合测试。其整体架构如图3所示。 图3 数据回灌整体架构 OrienLink Data Replay Module的主要特征包括： 支持规控和感知的开环/闭环回灌：灵活处理不同类型的回灌验证，覆盖关键系统。 支持场景泛化：通过约束随机验证（CRV）技术，扩展测试场景，提升验证覆盖度。 快速集成：能够快速与HiL系统和云平台SiL集成，高精度时钟系统确保数据同步。 自动化测试评估：内置多年测试经验和准则，支持快速、自动化的测试评估。 兼容多种传感器和总线协议：适应不同系统组件的测试需求。 支持全流程测试管理系统集成：与测试管理系统和DevOps集成，实现测试全过程的追溯和优化。 感知闭环发展 基于AI智能体和视角合成技术（Novel View Synthesis）的感知闭环回灌系统代表了下一代仿真系统的发展方向。该系统通过加工真实传感器采集的场景，并将其实时回灌至算法或控制器中，实现智能体与被测对象的实时交互闭环。与此同时，系统还能泛化各种可能的场景，从而显著提高测试验证的覆盖度。 以下视频为当前经纬恒润OrienLink团队基于以上技术的结果展示： 参考文献 经纬恒润OrienLink 云平台介绍：https://zhuanlan.zhihu.com/p/649653378 OrienLink 场景泛化算法介绍：https://zhuanlan.zhihu.com/p/700280072 如需了解更多信息，请点击链接，回看经纬恒润 8月22日在线研讨会《如何提高仿真测试的真实性和覆盖度》 了解更多 请致电 010-64840808转6117或发邮件至market_dept@hirain.com（联系时请说明来自面包房社区）