标签: 数据采集

随着自动驾驶技术的快速发展，自动驾驶的研发逐渐形成一整套的流程，包括 数据采集，清洗标注，算法训练，仿真测试 到 量产 等各技术环节。通过复杂的步骤从原始数据中提出高价值的信息，其中对原始数据的精准采集是实现车辆环境感知的基石。毫米波雷达因其出色的测距、测速能力以及对恶劣天气的鲁棒性，成为不可或缺的传感器之一。 本文将以4D毫米波雷达ARS548为例，分享毫米波雷达如何快速实现数据采集，可视化及存储策略。关于毫米波雷达的特性可进一步了解文章 《毫米波雷达技术解析》 。 一、ARS548毫米波雷达概述 ARS548 是 4D高分辨率成像毫米波雷达（4D High Resolution Radar），如图1所示。它能够有效的测量 距离（Range），速度（Velocity），水平角度（Azimuth） 和 俯仰角度或高度（Elevation） 四个维度的信息，具备感知目标三维空间位置能力。具备以下特性： 图1：ARS548（图片来源于网络） 1.探测距离与视场角： 最大探测距离可达300米，水平视场角为±60°，垂直视场角为±4°至±14°。 2.数据输出： 支持最多800个Detection和50个Object的同时输出，测量周期为50ms至100ms可调。 3.接口： 采用100 BASE-T1接口，支持通过车载以太网转换器与标准以太网设备进行通信。 4.通信协议： 数据通过UDP协议传输，使用多播地址方式进行数据传输。 二、硬件集成 为了能快速采集到毫米波雷达的数据，需要对其进行 硬件集成与连接 ，如图2所示。 图2：Radar 硬件连接方案 以同时连接3个毫米波雷达为例，整个系统均支持12V的供电运行，可快速实现各设备稳定供电运行。在数据链路采集上，需要将车载以太网接口的数据转换到标准以太网，这一转换过程涉及以下步骤： 1. 网口转换： 使用如 康谋NETLion100转换器 ，将车载以太网信号转换为标准以太网信号。NETLion100集成了网络分线器(Tap)和双介质转换器于一身，支持BroadR-Reach®网络信号与100BASE-TX以太网之间的双向转换，并提供LED信号实时显示数据传输质量，可快速进行数据转换和分析。 2. 数据传输原理： 雷达数据以UDP包的形式发送至指定的多播地址， 康谋BRICK plus 设备通过网络接口接收这些数据包。BRICKplus提供广泛的接口支持多个传感器同时连接，实现高带宽数据的采集、处理和记录。 3. 采集与监控： 在BRICK plus端，可以使用Wireshark等网络分析工具来捕获和分析从雷达发送的数据包，检查数据包是否正确传输。 三、软件开发 为了采集到毫米波雷达输出的点云数据，需要理解数据的传输形式并能够实时解析。具体来说需要解决如下的问题： 1.数据采集 ：实时从ARS548雷达获取原始数据，这要求系统能够与雷达硬件接口进行高效通信，并且能够处理高频率的数据流。 2.数据解析： 将原始数据转换为可读的格式，如目标的距离、速度和角度。需要对雷达数据包进行解码，并提取出有用的信息。 3.数据可视化： 将解析后的数据以图形化的方式展示，便于分析和监控。需要实时更新数据显示。 ROS提供了模块化的节点系统 ，便于管理和扩展。每个节点可以独立开发和测试，使得系统的整体复杂性得到有效管理。十分契合我们对问题的拆解以及功能节点的完成。此外采用ROS的发布/订阅模型可以实时采集传输的雷达数据。 对于单个毫米波雷达的采集，解析和可视化，可以通过在ROS中对应 创建3个节点 来实现。3个节点分别负责Radar设备接收UDP数据，解析并发布ROS消息，以及将雷达检测和对象信息转换为可视化Marker消息。 针对3（多）个毫米波雷达的同时采集，我们采用 每个节点同时发布和订阅多个topic数据 实现同时采集和传输。并且为了实现多个雷达数据的同时显示，采用 Foxglove 进行可视化呈现，呈现效果如图3所示： 图3 ：Radar 可视化 随后， 采用ROSbag进行数据存储 ，能够确保数据的完整性和准确性。 四、总结 通过 集成高性能的硬件设备 和采用 ROS框架 ，实现了毫米波雷达数据的高效采集、实时处理和直观可视化，同时支持多雷达系统的数据同步采集和存储，提供了一个稳定、灵活且可扩展采集方案。

在上期 数据隐私和匿名化系列 文章中，我们主要分享了 《中国个人信息保护法》（PIPL） 和 《欧盟通用数据保护条例》（GDPR） 在 涵盖范围、定义、敏感信息 等方面的异同点，今天，我们将重点分析PIPL与GDPR在 数据处理行为及其基础合法性 方面的异同，旨在帮助车企更准确地把握数据隐私保护法规的要求，有效应对相关挑战，推动自动驾驶行业健康发展。 一、PIPL和GDPR的异同点 1、数据处理行为定义 两部法规（PIPL和GDPR）均明确界定了 不同的数据处理行为 ，这些行为将触发各自法规的管理范畴。此处所提及的信息， 已不再局限于敏感信息 ，而是涵盖了两部法规所规定的 所有相关信息 。 在 英文版的PIPL 中，数据处理行为被表述为“ Handling ”，而 GDPR 则使用 “Processing” 一词，两者在本质上并无区别。然而，在 数据处理行为的定义上，两部法规却存在些许差异 。 PIPL中的“Handling”涵盖了 收集、存储、使用、加工、传输、披露以及删除个人信息 等一系列行为。相较于PIPL， GDPR 关于数据处理行为的定义则 更为详尽 ，除了包含上述相同的行为外，还涉及到了 个人数据的检索、咨询 等多个方面。 但实际上，当我们深入探讨PIPL中定义的数据处理行为时，相关法律专家指出： “在中国境内处理个人信息时，GDPR所涵盖的任何数据行为都需要被纳入考虑范围，即使PIPL并未完全列举出所有要点。” 由此可见，在各自司法管辖区域内处理相关数据时，任何数据处理行为都将受到该区域法律条例的约束。 2、数据处理基础合法性 为了进一步对比数据处理行为的异同，我们在此列举了中国的《个人信息保护法》（PIPL）与欧盟的《通用数据保护条例》（GDPR）在 数据处理基础合法性 方面的相关规定。 “同意”（Consent） 是指数据主体明确授权或表示同意其个人数据被处理的行为。这种同意必须是建立在充分知情的基础上，且必须是明确且自愿给出的。 除了“同意”这一点外，我们重点关注两部法律在 合法利益（Legitimate Interest）和公共利益（政府任务）（Public Interest/Government Task） 方面的差异。实际上，PIPL在这两点上并未作出明确规定，这主要归因于中国和欧洲在法律及监管环境上的差异。 首先在 合法利益 这一点上，GDPR作为欧洲地区的人权保护框架，旨在平衡企业与个人之间的权益，为企业提供一定的 灵活性 ，允许其在没有明确同意的情况下处理个人数据，从而在一定程度上增强了企业的自主权。相比之下， PIPL更加强调对个人信息的严格控制。 在处理个人数据时，PIPL要求必须获得明确的授权或依据法律规定进行，更倾向于通过明确同意或法律规定来实施严格监管。 其次在 公共利益 方面，两部法律对公共事务和政府职责的界定存在差异。 GDPR 在确保公共机构履行任务时赋予了更大的 灵活性 ，而PIPL则通过其他法律条款来规范政府的处理权限，更加侧重于 信息透明性和数据主体的保护 。 二、信息跨境处理注意事项 在 跨境处理信息 的过程中，除了需遵循《个人信息保护法》（PIPL）和《通用数据保护条例》（GDPR）这两部基础法律的规定外，还需执行一系列严格的 安全评估措施。 以中国车企为例，若需将欧盟境内的数据传输回中国进行处理，必须确保该跨境数据传输完全符合GDPR的严格要求。 GDPR对向欧盟外传输数据有着明确的规范，要求必须依赖 标准合同条款（SCCs）或充分性决定（Adequacy Decision） 来确保数据的合法传输。特别是当涉及敏感个人信息处理时，如位置数据、行为数据以及测绘数据等，企业可能还需进行 数据保护影响评估（DPIA） ，以全面评估数据处理的合法性、必要性和风险性。 值得注意的是，由于欧盟目前尚未对中国作出充分性决定，因此中国企业在向欧盟外传输数据时，可能需要与相关方签订 标准合同条款（SCCs） 来确保数据传输的合法性。 总之，在跨境传输过程中，为降低数据泄露或不当使用的风险，企业需对敏感数据进行加密或匿名化处理。

如果您希望从 数百万小时的驾驶数据中查找特定的相关驾驶事件和未遂事故 ，以确保您的所需功能正确运行，最好的方法就是 创建一个系统性能的概览分析 ，实现在数据日志中快速检索关注点。为此，康谋在本文将为您详细介绍 IVEX的智能概览功能 ，助力AD/ADAS的开发与验证！ 一、AD/ADAS性能概览的重要性 为了开发、演进、测试和验证自动驾驶（AD）功能或自动驾驶辅助系统（ADAS），各大企业都在生成数千小时的包含仿真或真实世界的驾驶数据日志。那么 ，如何才能知道自身的AD/ADAS系统是否始终按要求运行？是否朝着更好的表现发展？ 对“脱离”AD/ADAS模式的情况进行分析是一种常见的方法。这有助于了解系统失败的“原因”，而后可对表现不佳的地方进行分组，提供一个概览以确定纠正这些失败的优先顺序。然而， “脱离”分析仅涵盖“已知”的不当行为，对于边缘/极端情况该如何处理？更重要的是，对于险些发生的事故如何处理？ 例如，由于一个错误检测或者说“幽灵检测”，白色的自车认为它将与车辆1发生碰撞，因此决定执行变道操作，如图1所示。幸运的是，由于自车的左车道是空的，该操作是可行的，否则就可能会由于自车的急刹车而导致与车辆4发生追尾事故。 图1 追尾未遂 这种更深入、更有成效的分析也与ISO 21448（SOTIF）所提出的过程相匹配，以识别在某些不利触发条件下系统可能会表现出的局限性、弱点与干扰，而这些都可能导致事故或相关意外事件的发生。 如果能够提供AD/ADAS系统性能的概览，工程师就可以迅速在结构化分析中定位所有相关的事件或条件，例如： （1）数据日志中出现了哪些未遂事故？ （2）系统在哪一个操作域（OD）表现不佳，原因是什么？ （3）开发是否正朝着更好的表现方向发展？ （4）是否应该修改功能需求，以便流畅且充分地与现实世界交互？ （5）功能是否满足了指定的需求？ 因此，为了开发和验证AD/ADAS系统，需要有效地识别、分析并了解所有可能的未遂事故、性能不足或触发条件，这些都对AD/ADAS系统构成了挑战。 然而，当前高度依赖人工的技术手段如同“海底捞针”，在数百万小时的驾驶数据中几乎难以发现目标。 二、康谋IVEX智能概览 为了整理驾驶数据并找到那些重要的“针”， 康谋IVEX通过使用特定的安全和关键绩效指标（SPIs，KPIs），即根据采集/模拟驾驶数据汇总的“指标（metrics）”，以创建系统性能的最佳概览。 1、利用指标整理驾驶数据 由于采集数据的非结构化特性和不断变化的动态交通环境，整理驾驶数据存在巨大挑战。我们设定了3个主要指标类型来整理数据： 传感器与感知指标、行为指标、舒适度指标。 第一层是传感器与感知指标。 它们是自动驾驶汽车与环境的初始接触点，表示系统对周围环境的感知程度，有助于在开发的早期阶段突出性能不佳的情况，例如误报对象检测、车道线提取失败等。 第二层指标关注AD/ADAS系统采取的控制和行为动作。 例如，对于自动紧急制动（AEB）系统，需要检查制动信号是否在正确的时间触发，进而产生更好的减速。 第三层指标是指乘客可能体验到的舒适度。 例如，为了验证自动车道保持辅助系统（ALKS），可以测量车辆产生的任何会给乘客带来不适的摆动行为。 根据待测的AD/ADAS功能确定了哪些指标是感兴趣的之后，就可以有效地开始整理数据。除了前面的例子，指标还可以是跟踪感知物体尺寸、检查检测到的车辆边界框是否分裂或合并、监测与其他交通元素的前后距离和横向距离、预测潜在碰撞以及评估检测到的车道标识质量。 IVEX软件也允许工程师通过简单的编程API包含他们自己的定制指标。 2、创建合理且可观的概览 当使用选定的指标整理好记录的驾驶数据后，如何在所有的数据中找到所需的“针”？ 在IVEX中，我们创建了一个优化的流程来高效处理所有驾驶数据日志。 我们汇总了所有的测量结果，提供了一个基于指标的清晰组织。此外，由于当前的L2+ ADAS系统受限于运行设计域（ODD），例如ALKS仅适用于车速低于60公里/小时的高速公路场景。我们根据ODD对分析进行切分，以便于简化搜索空间。 所有结果被汇总并呈现在一个简洁、可定制的界面中，只需单击三下即可“大海捞针”，详细检查特定的驾驶场景。 现在，我们可以观察整理得到的数据结果，如下图所示。这些结果是对所有数据日志的全面汇总，并以简单但具有指导性的方式展示。每个指标的结果显示在每一行上，而ODD则显示在列中。在每个单元格内呈现的是相应指标与ODD组合的违规率。 图2 聚合分析 举个例子，假设我们正在分析城市环境中驾驶系统的舒适性： 在一次点击中，我们选择了“低速”ODD（小于15公里/小时）下的“急刹车”指标。 接下来,我们看到的是在所选择的ODD内,所有分析的数据日志中施加的制动减速度分布情况。如果要求规定施加的制动减速度应小于4米/秒²，那么可以立即看到有0.06%的情况未能满足这一要求。通过第二次点击，就可以选择特定的制动范围（分布中的列）来分析特定的事件/情景。 图3 智能概览访问特定记录数据流程示意图 而后，工程师就可以直接访问确切时间戳的特定记录数据，观察完整情况并获得有关问题的额外见解。 三、结论 本文案例中，IVEX可以从69小时的驾驶日志中准确筛选出会令乘客非常不舒适的特定急刹车事件（减速度超过4米/秒²），展示了一种非常简单工作流程。 除了能够帮助工程师在几秒钟内从大量数据中找到相关事件，IVEX还提供可用于根据SOTIF和UL4600进行安全论证的报告。 简而言之， IVEX可以助力于实现： 1、整理海量数据日志并从中识别特定事件 2、识别需要添加为SOTIF分析一部分的触发条件 3、跟踪AD/ADAS系统在不同迭代中的演变，以展示系统改进的论据，并为UL4600文档提供具体的支持。

在当今快速发展的自动驾驶技术领域， 传感器 的作用日益凸显，它们是实现车辆环境感知的基石。其中， 毫米波雷达 因其独特的优势，已成为自动驾驶传感器套件中不可或缺的一部分。这种雷达不仅能够在各种恶劣的天气条件下稳定工作，还能提供精确的距离和速度信息，这对于车辆的安全导航至关重要。 一、毫米波雷达概述 RADAR(RAdio Dectecting And Ranging) 是指利用毫米波信号（30-300GHz）来探测和测量目标的雷达系统，其中毫米波是微波的一个子频段。在汽车领域，使用的毫米波雷达主要在 24GHz，77GHz和79GHz 三个频段，如图1所示。 图1 毫米波雷达频段 我们知道随着毫米波雷达工作频率越高，波长就越短，分辨率就越高。因此，与24GHz雷达相比，工作频率在76-81GHz的毫米波雷达，物体分辨准确度，测速和测距精确度都会进一步提高，能检测行人和自行车，且设备体积更小，更便于在车辆上安装和部署。 按照探测距离，毫米波雷达可分为 短程（SRR），中程（MRR）和远程（LRR）雷达 ，如图2所示。 图2 短、中、远程雷达 为了在车端更好的采集车辆周围信息，通常将毫米波雷达安装在车辆正前方和四周，即 角雷达和前向雷达 。主要实现BSD、LCA等L0自动驾驶功能，以及在ACC等L1~L2自动驾驶功能中实现重要的目标感知。如图3所示。 图3 角雷达与前向雷达 进一步来说，通过三种探测距离的雷达不同程度组合，可以承担着不同的ADAS功能，如表1所示： 表1 ADAS功能与雷达配置 二、毫米波雷达工作原理 毫米波雷达通过天线发射特定波形的电磁波，并接收目标反射的电磁波，通过信号处理计算出目标的位置、移动速度和方位等信息。毫米波雷达主要由 天线、射频（RF）组件和数字信号处理模块 组成，如下图4所示： 图4 毫米波雷达组成（图片来源于网络） 从技术角度来看， FMCW（Frequency Modulated Continuous Wave）调频连续波雷达 是现在的主流方案。相对于其他的波形调制技术而言， FMCW 可进行多目标探测，距离与速度探测，并可对目标进行连续追踪，系统敏感性高且误报率低。 FMCW发送的是频率随时间变化的波形，通常是 线性变化 的，如图5所示： 图5 FMCW波形（图片来源于网络） 通过上述分析，毫米波雷达工作流程如下，如图6所示： 1、首先射频发射器TX产生电磁波信号并且将之发射，信号到达目标物体； 2、物体反射或者散射信号形成回波信号，接收器RX接收回波信号； 3、混频器将回波信号与原始信号混合，经过滤波器进行滤波，得到中频IF信号（实际是雷达发射信号与回波信号的频率差，包含有物体的位置、速度等信息）； 4、中频信号输入到处理后端进行调制解调、FFT（FastFourierTransform，快速傅里叶变换）等算法处理，提取目标信息(Point cloud)并进行分析，实现目标检测、距离测量、速度测量、方位估计； 5、最终将结果输出以进行后续感知处理。 图6 毫米波雷达工作流程（图片来源于网络） 三、4D毫米波雷达 在 3D毫米波雷达 的应用中，主要收集的数据涵盖了物体的X、Y坐标和速度（v），然而， 这种技术在获取目标高度信息方面存在局限 。例如，在桥洞和前车同处一距离时，由于缺少高度信息，可能导致误判，从而引发不必要的紧急制动。此外，它在识别静止目标、判断物体高度或区分相邻障碍物时也面临挑战。 随着技术的快熟发展， 新一代的4D毫米波雷达 通过增加对物体俯仰角度的测量， 有效地弥补了这一缺陷，实现了对物体高度的识别。 所谓“4D”，是指这种雷达能够测量目标的距离、水平方位、速度以及高度四个维度的信息。4D毫米波雷达不仅继承了传统毫米波雷达在各种天气和光照条件下稳定工作的能力，以及能够探测到被遮挡物体的优势，还在测量精度和分辨率上实现了显著提升。 它能够识别更小的物体、静止物体，甚至是空中的障碍物。 这种雷达对复杂道路环境的适应性更强，这得益于其配备的纵向天线和采用的MIMO（多输入多输出）技术，这些技术共同作用，形成了虚拟的孔径阵列，从而提高了对角度、速度和距离的分辨率。 四、总结 随着技术的不断进步，毫米波雷达正朝着更高分辨率、更低成本和更强的集成能力的方向发展，特别是在4D成像技术的应用上，它通过增加对物体高度的测量能力，显著提升了对复杂交通环境的感知和理解。 在自动驾驶领域，毫米波雷达以其全天候的工作能力、远距离探测性能、高精度测量以及物体识别与分类的能力，成为了实现安全、可靠自动驾驶的关键传感器技术。随着成本的降低和性能的提升，毫米波雷达不仅能够作为其他传感器的有力补充，还能为未来的智能出行提供了坚实的技术基础。

自动驾驶技术的快速发展伴随着数据隐私保护的严峻挑战。 中国《个人信息保护法》（PIPL）与欧盟《通用数据保护条例》（GDPR） 为自动驾驶数据合规设立了高标准。本篇文章将带大家深入探讨PIPL与GDPR的异同点，期望能够帮助车企更好地理解并应对数据隐私保护法规的挑战，推动自动驾驶行业健康发展。 一、自动驾驶数据合规挑战 2021年8月20日， 中国 发布了一项重要的 数据保护法 ，即《个人信息保护法》(Personal Information Protection Law, PIPL)。围绕数据隐私，将零碎的立法统一并加强为一套完整的规范，包含数据的收集、处理和保护等规则。 与 欧盟的通用数据保护条例 （General Data Protection Regulation,GDPR）类似，PIPL在众多方面对于数据隐私做出了相应的限制。 图1 部分国家和地区的数据隐私法规 数据隐私保护法规的相关限制对自动驾驶行业无疑是一项 重大挑战 。这是因为近年来在自动驾驶行业，众多新能源车企已经将眼光从逐渐饱和的中国市场转向欧洲市场，而 数据采集作为自动驾驶数据闭环的开始 ，在中国地区和欧洲地区之间的数据转移必须要符合相应地区的隐私保护法规，否则可能会和Google一样， 因涉嫌侵犯用户的隐私而面临巨额罚款。 目前GDPR相关的罚款总额现已达到近50亿欧元。 图2 累计罚款总额（来源：GDPR Enforcement Tracker ） 在中欧地区之间进行自动驾驶行业的 数据转移 时，为帮助车企避免违规受罚，本文接下来将从多个方面讨论 中国和欧盟隐私保护法规的异同之处。 二、PIPL和GDPR的异同点 1、覆盖范围 PIPL的范围： （1）中国境内的个人信息的处理；（2）在海外处理中国境内个人信息：a.必须为中国提供产品或相关服务;b.中国公民的行为或是活动的数据分析处理必须在中国境内进行。 在 覆盖范围 这一层面上，GDPR（欧盟通用数据保护条例）与PIPL（中国个人信息保护法）呈现出相似性。就PIPL而言，它明确保障了在中国境内居住公民的个人信息安全。而对于在境外处理涉及中国公民个人信息的数据活动，PIPL同样设定了条件，即这种处理必须旨在向中国境内的消费者提供商品或服务，简而言之，其服务对象必须限定为中国公民。 一个可能的 差异点 在于，PIPL在执行过程中明确指出了可能 会援引其他法律或行政法规的情况 ，这一特点使得PIPL的适用范围相较于GDPR更为广泛。但在处理数据的过程中，企业也需要更加全面地考虑各种可能的法律限制和约束。 2、个人信息定义 PIPL规定了个人信息是指由电子类设备或是其他方式记录，与已识别或可识别的自然人相关的信息，并指出不包括匿名化处理后的数据。 GDPR则在这一基础上进一步 细化了可识别自然人的定义 ，明确了无论是直接还是间接方式能够识别出的个体均属于此范畴，并列举了诸如姓名、身份证号码、居住地址，以及自然人的物理、生理等特征作为具体示例，以更直观地说明其定义。 图3模糊匿名化后的数据 3、敏感数据 在 敏感数据处理 方面，PIPL与GDPR也存在异同之处。比如，PIPL与CCPA类似，直接使用了“敏感数据”（Sensitive Data）这一术语，而GDPR则称之为“特殊类别信息”（Special Category Information）。这一称呼上的差异也反映了两者在敏感数据定义上的不同。 GDPR通过明确列出一种具体的信息清单，将符合该清单的数据归类为“特殊类别信息”，并为其提供专门的保护。这种方式使得GDPR在敏感数据的识别上更加 直接和具体。 相比之下，PIPL在敏感数据的定义上采取了 更为宽泛 的视角。它不仅包括了生物计量学特征、低于14岁公民个人信息等明确列出的内容，还支持对清单外数据内容提出争议的权利。这意味着，在PIPL的框架下，敏感数据的范围可能更加广泛。 未完待续，我们将分享更多数据隐私和匿名化的相关内容。