标签: 自动驾驶

随着软件定义汽车的发展，车辆生成的数据量也以前所未有的速度 不断增加 。这些数据包含广泛的信息，包括传感器数据、遥测数据、诊断数据等。在开发过程中， 有效处理这些数据并从中获得见解 至关重要。 对于原始设备制造商（OEM）和汽车一级供应商（Tier 1）来说，是否 自主构建 和 维护数据处理流程 是一个至关重要的考虑因素。 数据处理流程 是应对当下软件定义汽车所产生的海量数据的基础组件。 一、问题背景 在 AWS 等云平台 上为高级驾驶辅助系统 （ADAS） 和自动驾驶 （AD） 数据构建鲁棒的数据处理流程，通常需要全面了解各种服务及其集成。您可能使用的特定服务可能取决于 应用程序的要求、数据源和处理需求 。 为了解决这一问题， 康谋 通过使用 IVEX 提出了专门用于应对ADAS/AD海量数据的数据处理流程。 该流程的核心目的是自动 从原始传感器数据等输入中识别出值得关注的事件和场景。构建这样的数据处理流程需要仔细考虑 各种技术方面 ，例如：原始传感器数据的云端存储、基于原始数据的算法执行（包括需要例如GPU等特定资源的机器学习算法）、事件和场景等后处理数据的存储机制、算法版本控制、结果可视化以及确保数据仅对授权用户可见。 二、内部构建或获取预组装解决方案 IVEX 的数据处理流程基于多种AWS服务实现 无缝衔接 ，以下是经过 策略性部署的AWS服务 ： 1. 原始传感器的数据 （包括激光雷达点云、相机图像和GNSS信息）存储在S3存储服务中。S3用作采集数据的暂存地，为后期处理的数据提供扩展存储，并为处理提供经济高效的短期存储解决方案。此外，使用S3挂载点功能能让S3作为主要的“处理卷”，使其能够像文件系统一样使用。虽然它不完全符合POSIX标准，对某些工作负载存在限制，但可以通过整合EFS和可能添加的FSx来解决这个问题，以根据需要确保兼容性。 2. 处理后的数据 （重要事件和场景）存储在关系型数据库服务（Relational Database Service，RDS）和DocDB中。RDS是一个高效的存储库，用于组织对分析至关重要的标记数据。同时，DocDB作为文档存储运行，它是专为快速变化的数据和显示目的所需的二进制数据而设计的。 3. EKS和EC2处理算法执行和可视化任务。 EKS充当一系列服务的主机，包括后端、数据服务、前端和处理服务。EC2主要用于根据为EKS制定的规则配置机器。 4. 算法的版本控制通过 ECR 进行管理。 ECR用于存储Docker容器镜像。 5. 身份验证通过Cognito进行。 如果有必要，可以灵活地替换为任何OpenID Connect （OIDC）解决方案。 6. 数据传输和临时数据存储通过EFS进行管理。 EFS作为临时处理区域运行，供各种数据处理流水线存放中间数据并促进不同进程之间的数据共享。因为EFS完全符合POSIX标准，所以可以选择它作为S3的替代文件系统。 这个方案示例突出了 构建鲁棒的ADAS/AD数据处理流程 所涉及的 众多云服务 ，并强调了应对各种技术复杂性的必要性。此外，还必须解决诸如组织输入数据、确保数据格式兼容性以及管理和监控数据格式变化等挑战。 例如，随着ADAS/AD系统的发展，添加更多传感器以及管理不同车辆配置的需求成为数据处理流程中的关键考虑因素。如果不加以妥善处理，这些因素可能会导致 不正确的数据处理，最终得到错误的结果。 上图列出的是构建此数据处理流程的预计工作量和成本细目，该处理流程可标记 12种驾驶场景、提取驾驶参数，并支持可视化大型文件（≥ 10TB） 。 三、总结 总之，解决上述的这些问题需要付出大量的努力。显而易见的是，选择 预先搭建好的数据处理流程将拥有更低的开销 。此后，便可以将节省的时间和成本分配给开发OEM和Tier1产品的关键方面。

随着软件定义汽车的发展，车辆生成的数据量也以前所未有的速度 不断增加 。这些数据包含广泛的信息，包括传感器数据、遥测数据、诊断数据等。在开发过程中， 有效处理这些数据并从中获得见解 至关重要。 对于原始设备制造商（OEM）和汽车一级供应商（Tier 1）来说，是否 自主构建 和 维护数据处理流程 是一个至关重要的考虑因素。 数据处理流程 是应对当下软件定义汽车所产生的海量数据的基础组件。 一、问题背景 在 AWS 等云平台 上为高级驾驶辅助系统 （ADAS） 和自动驾驶 （AD） 数据构建鲁棒的数据处理流程，通常需要全面了解各种服务及其集成。您可能使用的特定服务可能取决于 应用程序的要求、数据源和处理需求 。 为了解决这一问题， 康谋 通过使用 IVEX 提出了专门用于应对ADAS/AD海量数据的数据处理流程。 该流程的核心目的是自动 从原始传感器数据等输入中识别出值得关注的事件和场景。构建这样的数据处理流程需要仔细考虑 各种技术方面 ，例如：原始传感器数据的云端存储、基于原始数据的算法执行（包括需要例如GPU等特定资源的机器学习算法）、事件和场景等后处理数据的存储机制、算法版本控制、结果可视化以及确保数据仅对授权用户可见。 二、内部构建或获取预组装解决方案 IVEX 的数据处理流程基于多种AWS服务实现 无缝衔接 ，以下是经过 策略性部署的AWS服务 ： 1. 原始传感器的数据 （包括激光雷达点云、相机图像和GNSS信息）存储在S3存储服务中。S3用作采集数据的暂存地，为后期处理的数据提供扩展存储，并为处理提供经济高效的短期存储解决方案。此外，使用S3挂载点功能能让S3作为主要的“处理卷”，使其能够像文件系统一样使用。虽然它不完全符合POSIX标准，对某些工作负载存在限制，但可以通过整合EFS和可能添加的FSx来解决这个问题，以根据需要确保兼容性。 2. 处理后的数据 （重要事件和场景）存储在关系型数据库服务（Relational Database Service，RDS）和DocDB中。RDS是一个高效的存储库，用于组织对分析至关重要的标记数据。同时，DocDB作为文档存储运行，它是专为快速变化的数据和显示目的所需的二进制数据而设计的。 3. EKS和EC2处理算法执行和可视化任务。 EKS充当一系列服务的主机，包括后端、数据服务、前端和处理服务。EC2主要用于根据为EKS制定的规则配置机器。 4. 算法的版本控制通过 ECR 进行管理。 ECR用于存储Docker容器镜像。 5. 身份验证通过Cognito进行。 如果有必要，可以灵活地替换为任何OpenID Connect （OIDC）解决方案。 6. 数据传输和临时数据存储通过EFS进行管理。 EFS作为临时处理区域运行，供各种数据处理流水线存放中间数据并促进不同进程之间的数据共享。因为EFS完全符合POSIX标准，所以可以选择它作为S3的替代文件系统。 这个方案示例突出了 构建鲁棒的ADAS/AD数据处理流程 所涉及的 众多云服务 ，并强调了应对各种技术复杂性的必要性。此外，还必须解决诸如组织输入数据、确保数据格式兼容性以及管理和监控数据格式变化等挑战。 例如，随着ADAS/AD系统的发展，添加更多传感器以及管理不同车辆配置的需求成为数据处理流程中的关键考虑因素。如果不加以妥善处理，这些因素可能会导致 不正确的数据处理，最终得到错误的结果。 上图列出的是构建此数据处理流程的预计工作量和成本细目，该处理流程可标记 12种驾驶场景、提取驾驶参数，并支持可视化大型文件（≥ 10TB） 。 三、总结 总之，解决上述的这些问题需要付出大量的努力。显而易见的是，选择 预先搭建好的数据处理流程将拥有更低的开销 。此后，便可以将节省的时间和成本分配给开发OEM和Tier1产品的关键方面。

随着软件定义汽车的发展，车辆生成的数据量也以前所未有的速度 不断增加 。这些数据包含广泛的信息，包括传感器数据、遥测数据、诊断数据等。在开发过程中， 有效处理这些数据并从中获得见解 至关重要。 对于原始设备制造商（OEM）和汽车一级供应商（Tier 1）来说，是否 自主构建 和 维护数据处理流程 是一个至关重要的考虑因素。 数据处理流程 是应对当下软件定义汽车所产生的海量数据的基础组件。 一、问题背景 在 AWS 等云平台 上为高级驾驶辅助系统 （ADAS） 和自动驾驶 （AD） 数据构建鲁棒的数据处理流程，通常需要全面了解各种服务及其集成。您可能使用的特定服务可能取决于 应用程序的要求、数据源和处理需求 。 为了解决这一问题， 康谋 通过使用 IVEX 提出了专门用于应对ADAS/AD海量数据的数据处理流程。 该流程的核心目的是自动 从原始传感器数据等输入中识别出值得关注的事件和场景。构建这样的数据处理流程需要仔细考虑 各种技术方面 ，例如：原始传感器数据的云端存储、基于原始数据的算法执行（包括需要例如GPU等特定资源的机器学习算法）、事件和场景等后处理数据的存储机制、算法版本控制、结果可视化以及确保数据仅对授权用户可见。 二、内部构建或获取预组装解决方案 IVEX 的数据处理流程基于多种AWS服务实现 无缝衔接 ，以下是经过 策略性部署的AWS服务 ： 1. 原始传感器的数据 （包括激光雷达点云、相机图像和GNSS信息）存储在S3存储服务中。S3用作采集数据的暂存地，为后期处理的数据提供扩展存储，并为处理提供经济高效的短期存储解决方案。此外，使用S3挂载点功能能让S3作为主要的“处理卷”，使其能够像文件系统一样使用。虽然它不完全符合POSIX标准，对某些工作负载存在限制，但可以通过整合EFS和可能添加的FSx来解决这个问题，以根据需要确保兼容性。 2. 处理后的数据 （重要事件和场景）存储在关系型数据库服务（Relational Database Service，RDS）和DocDB中。RDS是一个高效的存储库，用于组织对分析至关重要的标记数据。同时，DocDB作为文档存储运行，它是专为快速变化的数据和显示目的所需的二进制数据而设计的。 3. EKS和EC2处理算法执行和可视化任务。 EKS充当一系列服务的主机，包括后端、数据服务、前端和处理服务。EC2主要用于根据为EKS制定的规则配置机器。 4. 算法的版本控制通过 ECR 进行管理。 ECR用于存储Docker容器镜像。 5. 身份验证通过Cognito进行。 如果有必要，可以灵活地替换为任何OpenID Connect （OIDC）解决方案。 6. 数据传输和临时数据存储通过EFS进行管理。 EFS作为临时处理区域运行，供各种数据处理流水线存放中间数据并促进不同进程之间的数据共享。因为EFS完全符合POSIX标准，所以可以选择它作为S3的替代文件系统。 这个方案示例突出了 构建鲁棒的ADAS/AD数据处理流程 所涉及的 众多云服务 ，并强调了应对各种技术复杂性的必要性。此外，还必须解决诸如组织输入数据、确保数据格式兼容性以及管理和监控数据格式变化等挑战。 例如，随着ADAS/AD系统的发展，添加更多传感器以及管理不同车辆配置的需求成为数据处理流程中的关键考虑因素。如果不加以妥善处理，这些因素可能会导致 不正确的数据处理，最终得到错误的结果。 上图列出的是构建此数据处理流程的预计工作量和成本细目，该处理流程可标记 12种驾驶场景、提取驾驶参数，并支持可视化大型文件（≥ 10TB） 。 三、总结 总之，解决上述的这些问题需要付出大量的努力。显而易见的是，选择 预先搭建好的数据处理流程将拥有更低的开销 。此后，便可以将节省的时间和成本分配给开发OEM和Tier1产品的关键方面。

在智能化技术快速发展当下， 图像数据的采集与处理 逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步，对于图像数据的采集、处理和分析的需求日益增长，这不仅要求我们拥有 高性能的相机硬件 ，还要求我们能够 高效地集成和测试 各种算法。 我们探索了一种 多源相机数据采集与算法集成测试方案 ，能够满足不同应用场景下对图像采集和算法测试的多样化需求，确保数据的 准确性 和算法的 有效性 。 一、相机组成 相机一般由 镜头(Lens) ， 图像传感器(Image Sensor) ， 图像信号处理器(Image Signal Processor, ISP) ， 接口 组成。 图 1 相机基本结构 （1）镜头： 用于聚焦光线，将视野中的物体投射到成像介质表面，镜头的光圈决定了进光量的大小，FOV（Field-of-View）决定了视野范围的宽度。 （2）图像传感器： 负责将光子转化为电信号，Sensor上的像素数量越多，清晰度就越高。像素的尺寸越大，感光能力就越好。 （3）ISP： 负责将传感器捕捉到的原始数据转换为高质量的数字图像，包括完成去马赛克，白平衡，色彩校正等功能。 （4）接口： 是相机与外部设备（如计算机）之间信息交流的通道，包括完成数据传输、供电和控制信号输出等。 在实际应用中，常见的相机有 USB接口相机 ， 以太网接口相机 和 车载Fakra相机 等。每种相机都有其独特的特点和应用场景。比如，USB免驱相机具备其即插即用和便携性的特点，以太网接口相机则以具备高帧率和网络连接能力，车载相机具备高稳定性和长距离传输的能力。 由于不同的应用场景对图像采集与算法测试的 要求各异 ，例如自动驾驶、工业检测、交通监控等，它们对图像的分辨率、帧率、传输距离和算法部署效果等有着不同的需求。 因此，需要不同类型的相机来满足这些多样化的数据采集与算法测试需求。 二、多源相机采集与测试方案 多源相机的数据采集与算法测试，需要根据实际应用情况对各种相机进行不同的参数（比如分辨率，帧率）等配置，并根据不同来源数据有效结合算法部分进行测试。 在实际运用过程中，可以了解到每种相机都对应有自己的SDK包，比如USB免驱相机V4L2 API。但常常常会遇到一些问题，比如 如何有效集成每种相机，采集数据与实时可视化？每种相机的多个设备又如何快速同时驱动采集？在车端应用场景中，如何对不同类型相机打上有效的时间戳？ 针对这些难题，我们推出一种 多源相机数据采集与算法集成测试方案 。结合康谋的 BRICKplus/BRICK2硬件采集平台与ADTF软件框架 ，可以快速集成多源相机并实现数据采集与算法测试。 图 2 BRICKplus/BRICK2 图 3 ADTF软件 软件方面， 采用模块化的插件设计模式，集成了USB免驱相机，工业面阵相机和iDS以太网相机等SDK。对算法组件进行接口封装和测试结果输出。 图4 软件框架 对于不同类型的传感器，其 数据采集流程 大体包括 打开设备 、 设置相机参数和格式 、 申请内存缓冲区 、 驱动视频流和图像循环采集 等步骤。通过 模块化的设计理念 ，将每种相机的采集流程都映射成一个组件，可以有效的对其进行各种参数配置。此外，在与可视化组件和存储组件进行数据连接，最终可实现多相机的快速集成与可视化采集。 图5 相机采集工程 图6 相机采集工程运行 三、应用案例分享 在软件界面右侧 Streaming Source Details 那栏中，可以点击Help，可以 快速查看 Usb Camera Capture组件的使用手册，包括环境准备，组件信息以及工程案例搭建使用。 图7 组件使用手册 比如，在 MV Camera Capture组件 的Properties栏中可以查看到组件配置的属性。可以设置相机的挂载结点，曝光时间，帧率以及图像采集模式。其中图像采集模式分为采集模式和灰度模式，MONO8为灰度图像，RGB8为彩色图像。 图8 2路相机采集工程 图9 2路相机采集工程运行 通过 相机采集的数据与算法组件 结合，可以进行算法的测试。比如，通过集成Usb Camera Capture组件、Face Detection组件、Qt5 Video Display组件和Qt5 Meida Description Display，可以快速实现一路相机采集与算法测试工程。 图10 人脸识别算法工程 图11 人脸识别算法工程运行 四、结语 多源相机数据采集与算法集成测试方案 提供了一种 高效、灵活 的解决方案。通过康谋的 BRICKplus/BRICK2硬件采集平台与ADTF软件框架的结合 ，能够实现多源相机的快速集成和数据采集，同时保证了算法测试的准确性和实时性。随着技术的不断进步，我们将继续探索和优化这一方案，以适应未来更加复杂和多变的应用需求。