标签: 数据采集

随着自动驾驶技术的快速发展，车辆准确感知周围环境的能力变得至关重要。 BEV（Bird's-Eye-View，鸟瞰图）感知技术 ，以其独特的视角和强大的数据处理能力，正成为自动驾驶领域的一大研究热点。 一、BEV感知技术概述 BEV感知技术，是一种从鸟瞰图视角（俯视图）出发的环境感知方法。与传统的正视图相比，BEV视角具有 尺度变化小、视角遮挡少 的显著优势，有助于网络对目标特征的一致性表达。基于这样的优势，可以更有效的对车辆周围环境进行感知。 图1：BEV 感知图 因此，在自动驾驶感知任务中，BEV感知算法通常包括分类、检测、分割、跟踪、预测、计划和控制等多个子任务，共同构建起一个完整的感知框架。 BEV感知算法的数据输入主要有图像和点云两种形式。根据数据源不同，BEV算法主要分为 BEV Camera（纯视觉）、BEV LiDAR（基于激光雷达）和BEV Fusion（多模态融合） 三类。其中， 图像数据具有纹理丰富、成本低 的优势，此外，基于图像的任务、基础模型相对成熟和完善，比较容易扩展到 BEV 感知算法中。 为了更好的训练BEV Camera感知算法，往往需要先搭建一个 高质量的数据集 。而搭建一套BEV感知数据采集系统，通常包括以下几个关键环节： 1.硬件选型与集成： 选合适的摄像头和计算采集平台，集成稳定系统。 2.数据采集： 在实际环境中采集图像数据，覆盖不同场景、光照和天气。 3.时间同步： 确保不同传感器数据时间精确同步，是后续算法训练的必要前提。 4.系统调试和部署： 调试系统确保组件协同工作，部署到实际应用环境。 因此，在实际搭建过程中，常会遇到 技术复杂性高、成本投入大、数据质量与时间同步实现难、系统稳定性与可靠性要求高 等挑战。针对这些问题，本文分享一套 BEV Camera数据采集方案 ，能高效搭建高质量的BEV感知数据集，加速算法研发和训练。 二、BEV Camera数据采集系统方案 BEV Camera数据系统采集方案以BRICKplus为核心系统平台，通过扩展PCIe Slot ETH6000模块连接6个iDS相机，利用GPS接收模块获取卫星时钟信号，提供 XTSS时间同步 服务，并支持13路（g）PTP以太网接口，确保高精度时间同步。 BRICKplus搭载BRICK STORAGEplus硬盘，提供 大容量高速存储 ，满足高带宽数据采集需求，确保数据的 完整性 和 可靠性 。 图2：系统集成 三、数据采集 在BEV Camera数据采集方案中，难点在于 如何同步多相机的采集动作、确保数据的高精度时间同步 以及 高效传输 。因此，在整个软件方面，我们采用ROS+PEAK SDK方案进行深度集成，实现了多相机的参数配置、数据采集与传输。 为了更灵活应对实际采集环境需求，对相机（如曝光时间、帧率和分辨率等）参数进行了统一管理和存储，这些参数可在节点启动时通过配置文件动态加载，为相机的初始化提供了灵活性。 图3：相机参数配置 为实现多相机的同步采集和高效传输，我们利用了 ROS的多线程和节点管理功能 。通过为每个相机创建独立的采集线程，并启动采集循环，确保了每个相机的采集过程独立且高效。引入 全局控制信号与信号处理机制 ，确保了统一管理所有相机的采集和同步结束状态。 图4：相机实时可视化 四、时间同步 为了实现多相机的时间同步，一般有两种方式：软时间同步和硬件时间同步。软时间同步主要依赖于软件层面的算法和协议来实现时间同步。其精度通常在 微秒级别 ，适用于对时间同步精度要求不是较高的场景。 图5：多相机软件时间同步 为了应对时间同步精度要求较高的采集场景，如自动驾驶和高精度测量等。在BEV Camera数据采集方案中，进一步支持相机进行硬件时间同步。通过XTSS软件可以有效管理数采平台的时间同步功能，能够快速轻便配备各个传感器的时间同步配置。 图6：XTSS 时间同步管理 通过GPS模块提供高精度的时间基准，并利用支持硬件时间戳的以太网接口直接捕获数据包的时间戳。其时间同步精度可以达到 纳秒级别 ，具备高稳定性，不受软件和网络延迟影响。 图7：多相机硬件时间同步 五、总结 在自动驾驶技术的快速发展中，BEV Camera数据采集系统的构建至关重要。通过采用BRICKplus平台，结合PCIe Slot ETH6000模块和iDS相机，方案实现了多相机的 高效数据采集和存储 。通过ROS+PEAK SDK的深度集成，实现了多相机的 参数配置、数据采集与传输 。利用GPS接收模块和XTSS时间同步服务，确保了多相机的 高精度时间同步 。 BEV Camera数据采集方案有效解决了多相机同步采集和高精度时间同步的难题，还提供了灵活的相机参数配置和高效的数据传输，能够满足 自动驾驶和高精度测量等场景 的需求。

数据隐私与安全 在当今数字化时代占据着举足轻重的地位。在应对数据保护法的复杂要求和网络攻击的威胁时，大多数企业都面临着 重重挑战 ，因此诸多企业对 可靠、可扩展且安全的数据管理解决方案 的需求愈发迫切。 正是在这一背景下，康谋精心打造了 本地匿名化一站式解决方案 ，该方案将 隐私和安全 作为其核心设计原则，旨在助力企业以信心和效率从容应对当今复杂多变的 隐私和安全需求 。 一、本地匿名化解决方案 该解决方案巧妙地利用 Terraform部署技术 ，能够在自有集群中实现灵活的 自动扩展 。无论数据处理需求是在 多个服务器的GPU和CPU上 运行，还是涉及到 复杂的数据架构， 系统都能确保在部署后的 第一时间 进行自动扩展。这一特性不仅确保了数据处理的 高吞吐量 ，而且提供了高效管理 跨多样基础设施 的复杂数据的途径。 二、方案优势 1、隐私与安全保护 本地部署 为处理敏感数据提供了最为 安全且合规 的环境。通过在用户自己的基础设施中 托管匿名化处理过程 ，用户可以全 面掌控数据 ，确保严格遵守最严格的数据保护法规。 无论是需要持续处理小批量数据，还是偶尔处理海量数据，该解决方案都能 迅速响应 ，根据需求 动态扩展 到 数百台GPU和CPU机器 ，或在不必要时 迅速缩减 ，以 有效控制成本 。此外，方案还支持许多平台上的Spot Instance，为灵活资源分配提供更多选择。 2、灵活性与控制力 本地匿名化解决方案与数据管理和处理流程 紧密集成 ，可以提供无与伦比的灵活性。用户可以 自由配置资源 ，并根据需要授予不同业务部门访问权限。 这种 高度独立且动态 的运营模式，助力更加 灵活多变 的数据处理能力，从而满足 不同场景下的需求。 3、离线解决方案 本方案还提供了一种 独特的离线解决方案 ， 无需与外部服务器持续通信 ，这一特性不仅提升了安全性，而且确保在最严格的隐私和合规要求下仍能稳定进行各种操作。比如，即使在网络受限或敏感信息不能外泄的场景下，也能顺利完成数据处理任务。 三、应用案例 本地匿名化解决方案具备 云无关性 ，以应对具备 多样性的客户基础设施 。无论用户的系统托管在亚马逊网络服务（AWS）、谷歌云、阿里云还是 其他任何云平台上 ，本平台都能 无缝集成 ，提供同样卓越的服务和可扩展性。 这种 广泛的兼容性 让用户的数据处理更加灵活便捷， 无需担心因平台限制而影响部署。 本地匿名化解决方案已被 欧洲多个行业领导者 广泛采用，如 CARIAD、大众（VW） 和 德国铁路（Deutsche Bahn） 等。客户们通过使用本地匿名化解决方案，成功地在 短时间内完成了数千小时视频的匿名化处理 ，验证了平台处理 庞大数据集 的卓越能力和高效性。 四、总结 综上所述， 本地匿名化解决方案 为企业的数据管理、安全保障和利用带来了革命性的变化。通过提供 可扩展、安全且高效 的平台，该方案能够确保企业能够全面 遵守数据保护法规 ，同时 提升运营灵活性 ，并优化 运营效率， 为您的业务发展奠定坚实的基础。

PCIe-403是基于VU13P FPGA的PCIe板卡，支持PCie3.0 × 16和PCIe4.0×8，可以作为计算加速、算法验证、信号处理、宽带网络收发等应用场景。 主要技术特点： 1.支持4路100G以太网； 2.支持4组DDR4，每组DDR4位宽72bit； 3.支持FMC+ 4.支持PCIe3.0×16（金手指）和PCIe4.0×8（MICO PCIe）； 5.VU13P+ZYNQ架构 6.支持千兆网远程更新固件 7.板载两组启动flash，可以快速切换固件程序； 8.支持USB、GPIO口、GPS/BD、B码、CAN、RS232、RS485 9.支持全国产化替换。

PCIe-403是基于VU13P FPGA的PCIe板卡，支持PCie3.0 × 16和PCIe4.0×8，可以作为计算加速、算法验证、信号处理、宽带网络收发等应用场景。 主要技术特点： 1.支持4路100G以太网； 2.支持4组DDR4，每组DDR4位宽72bit； 3.支持FMC+ 4.支持PCIe3.0×16（金手指）和PCIe4.0×8（MICO PCIe）； 5.VU13P+ZYNQ架构 6.支持千兆网远程更新固件 7.板载两组启动flash，可以快速切换固件程序； 8.支持USB、GPIO口、GPS/BD、B码、CAN、RS232、RS485 9.支持全国产化替换。

在智能化技术快速发展当下， 图像数据的采集与处理 逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步，对于图像数据的采集、处理和分析的需求日益增长，这不仅要求我们拥有 高性能的相机硬件 ，还要求我们能够 高效地集成和测试 各种算法。 我们探索了一种 多源相机数据采集与算法集成测试方案 ，能够满足不同应用场景下对图像采集和算法测试的多样化需求，确保数据的 准确性 和算法的 有效性 。 一、相机组成 相机一般由 镜头(Lens) ， 图像传感器(Image Sensor) ， 图像信号处理器(Image Signal Processor, ISP) ， 接口 组成。 图 1 相机基本结构 （1）镜头： 用于聚焦光线，将视野中的物体投射到成像介质表面，镜头的光圈决定了进光量的大小，FOV（Field-of-View）决定了视野范围的宽度。 （2）图像传感器： 负责将光子转化为电信号，Sensor上的像素数量越多，清晰度就越高。像素的尺寸越大，感光能力就越好。 （3）ISP： 负责将传感器捕捉到的原始数据转换为高质量的数字图像，包括完成去马赛克，白平衡，色彩校正等功能。 （4）接口： 是相机与外部设备（如计算机）之间信息交流的通道，包括完成数据传输、供电和控制信号输出等。 在实际应用中，常见的相机有 USB接口相机 ， 以太网接口相机 和 车载Fakra相机 等。每种相机都有其独特的特点和应用场景。比如，USB免驱相机具备其即插即用和便携性的特点，以太网接口相机则以具备高帧率和网络连接能力，车载相机具备高稳定性和长距离传输的能力。 由于不同的应用场景对图像采集与算法测试的 要求各异 ，例如自动驾驶、工业检测、交通监控等，它们对图像的分辨率、帧率、传输距离和算法部署效果等有着不同的需求。 因此，需要不同类型的相机来满足这些多样化的数据采集与算法测试需求。 二、多源相机采集与测试方案 多源相机的数据采集与算法测试，需要根据实际应用情况对各种相机进行不同的参数（比如分辨率，帧率）等配置，并根据不同来源数据有效结合算法部分进行测试。 在实际运用过程中，可以了解到每种相机都对应有自己的SDK包，比如USB免驱相机V4L2 API。但常常常会遇到一些问题，比如 如何有效集成每种相机，采集数据与实时可视化？每种相机的多个设备又如何快速同时驱动采集？在车端应用场景中，如何对不同类型相机打上有效的时间戳？ 针对这些难题，我们推出一种 多源相机数据采集与算法集成测试方案 。结合康谋的 BRICKplus/BRICK2硬件采集平台与ADTF软件框架 ，可以快速集成多源相机并实现数据采集与算法测试。 图 2 BRICKplus/BRICK2 图 3 ADTF软件 软件方面， 采用模块化的插件设计模式，集成了USB免驱相机，工业面阵相机和iDS以太网相机等SDK。对算法组件进行接口封装和测试结果输出。 图4 软件框架 对于不同类型的传感器，其 数据采集流程 大体包括 打开设备 、 设置相机参数和格式 、 申请内存缓冲区 、 驱动视频流和图像循环采集 等步骤。通过 模块化的设计理念 ，将每种相机的采集流程都映射成一个组件，可以有效的对其进行各种参数配置。此外，在与可视化组件和存储组件进行数据连接，最终可实现多相机的快速集成与可视化采集。 图5 相机采集工程 图6 相机采集工程运行 三、应用案例分享 在软件界面右侧 Streaming Source Details 那栏中，可以点击Help，可以 快速查看 Usb Camera Capture组件的使用手册，包括环境准备，组件信息以及工程案例搭建使用。 图7 组件使用手册 比如，在 MV Camera Capture组件 的Properties栏中可以查看到组件配置的属性。可以设置相机的挂载结点，曝光时间，帧率以及图像采集模式。其中图像采集模式分为采集模式和灰度模式，MONO8为灰度图像，RGB8为彩色图像。 图8 2路相机采集工程 图9 2路相机采集工程运行 通过 相机采集的数据与算法组件 结合，可以进行算法的测试。比如，通过集成Usb Camera Capture组件、Face Detection组件、Qt5 Video Display组件和Qt5 Meida Description Display，可以快速实现一路相机采集与算法测试工程。 图10 人脸识别算法工程 图11 人脸识别算法工程运行 四、结语 多源相机数据采集与算法集成测试方案 提供了一种 高效、灵活 的解决方案。通过康谋的 BRICKplus/BRICK2硬件采集平台与ADTF软件框架的结合 ，能够实现多源相机的快速集成和数据采集，同时保证了算法测试的准确性和实时性。随着技术的不断进步，我们将继续探索和优化这一方案，以适应未来更加复杂和多变的应用需求。