标签: 测试

在智能化技术快速发展当下， 图像数据的采集与处理 逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步，对于图像数据的采集、处理和分析的需求日益增长，这不仅要求我们拥有 高性能的相机硬件 ，还要求我们能够 高效地集成和测试 各种算法。 我们探索了一种 多源相机数据采集与算法集成测试方案 ，能够满足不同应用场景下对图像采集和算法测试的多样化需求，确保数据的 准确性 和算法的 有效性 。 一、相机组成 相机一般由 镜头(Lens) ， 图像传感器(Image Sensor) ， 图像信号处理器(Image Signal Processor, ISP) ， 接口 组成。 图 1 相机基本结构 （1）镜头： 用于聚焦光线，将视野中的物体投射到成像介质表面，镜头的光圈决定了进光量的大小，FOV（Field-of-View）决定了视野范围的宽度。 （2）图像传感器： 负责将光子转化为电信号，Sensor上的像素数量越多，清晰度就越高。像素的尺寸越大，感光能力就越好。 （3）ISP： 负责将传感器捕捉到的原始数据转换为高质量的数字图像，包括完成去马赛克，白平衡，色彩校正等功能。 （4）接口： 是相机与外部设备（如计算机）之间信息交流的通道，包括完成数据传输、供电和控制信号输出等。 在实际应用中，常见的相机有 USB接口相机 ， 以太网接口相机 和 车载Fakra相机 等。每种相机都有其独特的特点和应用场景。比如，USB免驱相机具备其即插即用和便携性的特点，以太网接口相机则以具备高帧率和网络连接能力，车载相机具备高稳定性和长距离传输的能力。 由于不同的应用场景对图像采集与算法测试的 要求各异 ，例如自动驾驶、工业检测、交通监控等，它们对图像的分辨率、帧率、传输距离和算法部署效果等有着不同的需求。 因此，需要不同类型的相机来满足这些多样化的数据采集与算法测试需求。 二、多源相机采集与测试方案 多源相机的数据采集与算法测试，需要根据实际应用情况对各种相机进行不同的参数（比如分辨率，帧率）等配置，并根据不同来源数据有效结合算法部分进行测试。 在实际运用过程中，可以了解到每种相机都对应有自己的SDK包，比如USB免驱相机V4L2 API。但常常常会遇到一些问题，比如 如何有效集成每种相机，采集数据与实时可视化？每种相机的多个设备又如何快速同时驱动采集？在车端应用场景中，如何对不同类型相机打上有效的时间戳？ 针对这些难题，我们推出一种 多源相机数据采集与算法集成测试方案 。结合康谋的 BRICKplus/BRICK2硬件采集平台与ADTF软件框架 ，可以快速集成多源相机并实现数据采集与算法测试。 图 2 BRICKplus/BRICK2 图 3 ADTF软件 软件方面， 采用模块化的插件设计模式，集成了USB免驱相机，工业面阵相机和iDS以太网相机等SDK。对算法组件进行接口封装和测试结果输出。 图4 软件框架 对于不同类型的传感器，其 数据采集流程 大体包括 打开设备 、 设置相机参数和格式 、 申请内存缓冲区 、 驱动视频流和图像循环采集 等步骤。通过 模块化的设计理念 ，将每种相机的采集流程都映射成一个组件，可以有效的对其进行各种参数配置。此外，在与可视化组件和存储组件进行数据连接，最终可实现多相机的快速集成与可视化采集。 图5 相机采集工程 图6 相机采集工程运行 三、应用案例分享 在软件界面右侧 Streaming Source Details 那栏中，可以点击Help，可以 快速查看 Usb Camera Capture组件的使用手册，包括环境准备，组件信息以及工程案例搭建使用。 图7 组件使用手册 比如，在 MV Camera Capture组件 的Properties栏中可以查看到组件配置的属性。可以设置相机的挂载结点，曝光时间，帧率以及图像采集模式。其中图像采集模式分为采集模式和灰度模式，MONO8为灰度图像，RGB8为彩色图像。 图8 2路相机采集工程 图9 2路相机采集工程运行 通过 相机采集的数据与算法组件 结合，可以进行算法的测试。比如，通过集成Usb Camera Capture组件、Face Detection组件、Qt5 Video Display组件和Qt5 Meida Description Display，可以快速实现一路相机采集与算法测试工程。 图10 人脸识别算法工程 图11 人脸识别算法工程运行 四、结语 多源相机数据采集与算法集成测试方案 提供了一种 高效、灵活 的解决方案。通过康谋的 BRICKplus/BRICK2硬件采集平台与ADTF软件框架的结合 ，能够实现多源相机的快速集成和数据采集，同时保证了算法测试的准确性和实时性。随着技术的不断进步，我们将继续探索和优化这一方案，以适应未来更加复杂和多变的应用需求。

一、前言 随着智能驾驶技术的发展， 端到端的解决方案 被越来越多的开发者提及，各大汽车企业争先恐后将端到端智驾方案部署到量产新车型上。过去，智能驾驶方案一直是按照 感知、决策、规划、控制 这类规则驱动（rule-based）的模块化方法推进，然而规则驱动的模块化方案存在“ 规则难以穷举、ODD边界模糊、扩展与维护升级困难 ”等局限性。因此端到端的学习驱动（learning-based）方案应运而生。 端到端的方案具有很多显而易见的优势， 首先，它具备较强的泛化能力 ，可以通过数据发现潜在规律，适应多样化和复杂场景； 其次，端到端可实现全面优化 ，学习驱动直接将输入（如传感器数据）映射到输出（如车辆控制指令），避免了模块化方案中的中间过程（如感知、决策和控制分离）可能导致的信息丢失或误差累积； 此外，端到端可持续学习和升级 ，模型可以通过在线学习或周期性训练，不断吸收新数据，从而适应动态变化的环境需求，如更新的道路法规、复杂的新场景等。 图 1 自动驾驶传统模块化方案与端到端方案 可见，端到端智驾方案优势非常明显，但是对于仿真测试来说却是 “灾难性的挑战” 。过去模块化智驾方案中，感知与规控之间有 显性接口 。无论是SIL仿真还是HIL仿真，可以轻松绕过感知模块，直接对规控进行仿真测试（即使输入合成的低置信度图像或点云，也不对感知进行评测）。而端到端方案的到来， 不再有所谓感知与规控接口 ，原有SIL或HIL仿真方案需要重构。 面向端到端的智驾仿真必须从传感器输出数据切入，提供一种置信度高、一致性好、覆盖率全面、故障注入便捷的全链路闭环仿真方案。 我们探索了一种有效的端到端智驾仿真解决方案，在 仿真引擎 和 数据传输 上进行了大幅优化，以应对端到端带来的挑战，整体框架如 图2 所示。本方案充分利用了智能驾驶的 中间件技术 ，将仿真引擎生成的传感器原始数据（部分为结构化数据）直接传递给智驾应用层，绕过了传感器硬件和驱动，缩短了仿真数据传输链路，规避了仿真系统开发过程带来的复杂适配与调试工作。大大缩短开发周期的同时，还显著降低了整个仿真系统的成本。 图 2 基于软件定义接口和中间件的闭环测试 二、XIL架构仿真 方案核心架构基于 aiSim仿真器 ，采用 XIL架构 ，并提供开放灵活的API接口，满足不同仿真测试需求。无论是传感器模型、车辆动力学，还是场景构建，都有对应的功能模组来实现。 图 3 aiSim XIL架构示意图 aiSim Air引擎支持如 Raster、Raytrace等多种渲染方案 ，并兼容 3DGS/NeRF 等技术，能够在平衡渲染效率和置信度的同时，优化资源占用和数据传输效率。此外作为通过 ISO 26262 ASIL D认证 的仿真工具，aiSim能够在不同传感器和天气条件下提供完全的 确定性和一致性 。 图 4 Raster和Raytrace渲染支持 图 5 兼容三维重建场景 三、灵活先进的场景构建方案 此外，我们采用了多种 先进的场景构建方案 ，极大地增强了测试的灵活性和广度。交互式图形化场景编辑工具支持 OpenScenario 和aiSim自定义的 AimScenario 两种场景格式，能够逐帧回放编辑过程。 图 6 图形化场景编辑工具 高斯泼溅渲染器（GGSR） 则可以在3D重建场景中动态插入物体，优化环境条件，减少伪影，修复镜头下的非一致性问题。 图 7 非一致性修正 图 8 三维重建场景天气环境编辑 图 9 任意视角下多模态效果图 LogSim2WorldSim 进一步通过云端自动化处理和分析原始数据，实现了基于EuroNCAP等法规场景的切片、预测试和回放功能。 图 10 LogSim2WorldSim方案转换流程 在完成场景构建后，通过VRU、建筑物、道路标志和天气等动静态元素， 对场景的边缘条件进行探索 ，确保 端到端测试全面覆盖 。 图 11 场景泛化方案 四、高保真物理传感器模型 在传感器仿真方面 ，通过物理级相机、激光雷达和毫米波雷达模型等丰富模型库的支持，可以实现 快速配置和参数调整 。此外通过精准仿真HDR、高动态范围、动态模糊、曝光等不同的视觉效应，能够确保各种驾驶环境和天气条件下的 高保真度测试 。 图 12 相机模型镜头效应 图 13 镜头不同曝光次数下HDR图像 图 14 不同天气条件下镜头效果 激光雷达和毫米波雷达模型也能有效模拟不同天气条件下的传感器行为，为高效的多目标检测和车道线检测任务 提供可靠数据支持 。 图 15 激光雷达BRDF材质反射 图 16 雨雪天气激光雷达点云输出效应 图 17 激光雷达点云置信度验证 图 18 毫米波雷达点云 五、置信度与仿真结果分析 我们还对采用此方案的仿真结果进行了详细的验证。 例如，在车道线检测任务中，aiSim仿真与真实世界数据之间的召回率一致，达到了 98.45% 的高准确率。多个目标检测任务的测试结果也表明，仿真与实际表现 高度契合 ，尤其在近距离目标的检测中， 召回率表现优异 。 图 19 置信度测试1：车道线检测算法 图 20 置信度测试2：多目标检测 端到端智驾仿真方案还在多个测试环境中展现了出色的表现，包括实车静态和动态测试、车辆模型与动力学模型的集成，支持FMU接口快速接入第三方动力学模型。 图 21 动力学测量和建模 每次仿真结束后，系统会自动生成 SQLite数据库文件 ，方便进行深入的分析和数据挖掘，确保测试结果的全面性和准确性。 图 22 测试结果可视化分析 六、应用案例分享 随着自动驾驶测试需求的日益复杂，基于aiSim为核心的端到端仿真方案凭借其 易于扩展 的特性，可以支持 SiL/HiL等多种应用场景 ，并提供了与 ROS2、Simulink、Matlab 等系统的无缝集成。 图 23 基于DMA视频注入闭环测试方案及监测窗口 我们还尝试探索了 专为GNSS集成域控制器、决策功能快速测试等场景 的测试方案，进一步提高了测试效率，降低了硬件成本。 图 24 GNSS联合仿真方案 七、结语 本次介绍的 端到端智驾仿真测试方案 ，以 aiSim引擎 和 XIL架构 为核心支撑，凭借其 开放的接口设计 、 灵活的场景构建 与 测试功能 ，为自动驾驶技术的验证与优化提供了强有力的支持。无论客户面临的是 提升测试效率 的迫切需求，还是 降低成本 的现实压力，端到端智驾仿真测试方案都能帮助客户轻松应对自动驾驶测试中的种种复杂挑战，实现技术难题的快速解决。

01 物联网行业中存在问题 蜂窝通信模组相关的产品生产过程中，需要统计设备的设备ID(IMEI)与对应贴片卡的卡号（ICCID, IMSI ）,传统的生产方式，需要制定专门的测试工装，编写专门的测试软件，以及上位机软件进行设备iID与卡号统计。用这种方式会耗费较长的测试时间。读卡表可以完全的替换传统工装读卡，读设备ID等操作. 使用读卡表统计设备ID与SIM卡卡号时无需给设备上电，无需烧录专门的测试程序。从而提高了统计效率，节省了测试时间。生产测试：测试5*6,2*2贴片卡卡号 02 该问题带来的危害及影响 如果不读出设备的SIM卡卡号，无法将设备与SIM卡对应起来。当设备的SIM卡状态异常时，比如：欠费，卡停机，无法查询设备对应的SIM卡的状态，更无法将SIM卡状态恢复正常。在研发阶段中，会影响设备正常调整，在生产阶段中，会影响设备正常的通信，设备无法交付给客户。 03 解决方法 1、原理介绍 将所在设备的eSIM芯片焊盘通过测试探针引出，并连接到通信模组的SIM卡接口上被识别出来，再将卡号通过模组串口发送到测试电脑端的上位机中。 2、方案详情 测试板USB口接测试电脑USB口，表笔一端焊接弹簧测试探针，用来引出待测SIM卡的引脚，另外一端焊接2.54排针，通过排线连接读卡表与测试板。通过测试板上的NB模组读取待测电路板的eSIM贴片卡卡号，并通过串口打印到电脑端的串口调试助手软件上。此外，读卡表还支持通过指示灯与蜂鸣器指示测试探针与待测贴片卡的连接状态，以及读卡表的测试过程。 读卡过程： 当读卡表上电后，表笔上的指指示灯为红色，显示贴片卡未被测试板识别，当表笔的8根探针与eSIM贴片卡的八个焊盘上完全接触上时，指示灯为变为绿色，表笔上的蜂鸣器响2s，此时测试板开始读贴片SIM卡卡号，等待几秒钟测试板将卡号发送到测试电脑的串口调试助手上。此时，如果探针还未与待测eSIM贴片卡焊盘脱离接触时，指示灯变为蓝色，蜂鸣器响2s, 如果探针脱离待测eSIM贴片卡，指示灯变红，蜂鸣器响2s. 具体步骤见下面文档 eSIM读卡表使用说明 V2.0 3、需要的测试设备或测试环境 A. 表笔，贴有8根探针，1个蜂鸣器，1个led贴片3色灯 指示灯蜂鸣器状态说明 器件 状态说明 工作时长 红灯 SIM卡连接不正常或未连接 —— 绿灯 连接正常并正在读取数据阶段 3s~5s 蓝灯 读取数据已完成但是表笔还没离开被测件 —— 蜂鸣器 状态灯颜色切换时工作 2s B. 测试板 主控：AM21EV6，接口：usb接口（typeA）：负责5V电源供电及AT串口(同时可用作程序烧录)； SIM卡接口，指示灯蜂鸣器接口（总共2排 10pin），程序调试DEBUG接口 C. 软排线 D.上位机 工序 流程操作 1 1.数据库安装 数据库安装流程 数据库环境安装.mp4 2 2.上位机配置 上位机配置说明 上位机配置.mp4 3 3.IMEI，SN,ICCID绑定测试及入库 IMEI,SN,ICCID 绑定测试入库 IMEI，SN,ICCID绑定测试及入库.mp4 4 4.数据导出 数据导出 数据导出.mp4 本文章源自奇迹物联开源的物联网应用知识库Cellular IoT Wiki，更多技术干货欢迎关注收藏Wiki： Cellular IoT Wiki 知识库(https://rckrv97mzx.feishu.cn/wiki/wikcnBvAC9WOkEYG5CLqGwm6PHf) （如有侵权，联系删除）

01 物联网行业中存在问题 研发阶段，4G CAT1产品Socket通信测试. 02 该问题带来的危害及影响 Socket是应用层与TCP/IP协议族通信的中间软件抽象层。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。 市面上的4G CAT1通信模组通常把这些功能API封装成几条AT指令，这样对于研发人员更方便开发; 对于用开源平台开发的客户，通过用发送AT指令的形式进行soket通信测试，更容易理解红豆平台的Soket组件网络编程的开发逻辑，用开源通信模组,用OPEN形式做开发更容易上手。 红豆版服务层组件-soket组件 2.10 Socket AM-HD-E-SKT-08-010 AM430EV5 AT指令手册 AM430EV5（CAT1模组） 03 解决方法 方法一 1、原理介绍 搭建下图4G CAT1设备soket通信测试环境，奇迹开源产品——REV1底板与红豆平台开源SOM板通过串口转USB转线接测试电脑USB口，电脑串口调试助手向SOM板模组发送相关AT指令，连实现4G CAT1设备与服务器通信测试。 2、方案详情 2.1按上图搭建测试环境 2.2服务器上打开网络调试助手，设置好端口号 2.3串口助手配置115200波特率，选择串口号，向AM430EV5串口发送AT指令，连接服务 以 TCP 为例： 第 1 步：设备上电，自动获取SIM卡状态，获取基站时间信息 RDY *ATREADY: 1 *SIMDETEC:1,SIM +CPIN: READY ^MODE:9 +NITZ: 0,"+32","24/06/26","09:55:36" +CTZV: +32 第 2 步：设置 APN AT+QIPCSGP=1,1,"CMNET" //CID,上下文类型，APN OK 第 3 步：激活上下文 AT+QIPACT=1 //CID,需与第 1 步的 CID 保持一致 OK +QIPACTURC: 1,1,"10.155.69.240" //模块获取到 IP 第 4步：建立 socket 连接，最多可连接 6 路 AT+QIPOPEN=1,1,"TCP","101.200.35.208",8866,12341,1 //CID,socket ID,TCP 连接,服务器地址, 服务器端口,本地端口,连接类型为 TCP,访问模式为消息到来时直接上报 OK +QIPOPEN: 1,0 第 5 步：发送数据 AT+QIPSEND=1 //向第 1 路连接发送数据 1234567890 //数据内容不回显 +QIPSEND:1,10 //socket ID，发送数据长度 第6 步：接收数据 第 1 路连接接收数据： RECV FROM:1,101.200.35.208,8866,10 9876543210 第 7 步：关闭 socket 连接 AT+QIPCLOSE=1 //socket ID +QIPCLOSE: 1 OK 第 8步：断开 TCP/IP 连接 AT+QIPDEACT=1 OK +QIPACTURC: 1,0,"0.0.0.0" 3、需要的测试设备或测试环境分析 12V直流电源 AM430EV5 SOM板及REV主板 AM430EV5 SOM板1（5*6卡） REV1主板 串口转USB数据 4G天线 串口调试助手 服务器及网络调试助手 本文章源自奇迹物联开源的物联网应用知识库Cellular IoT Wiki，更多技术干货欢迎关注收藏Wiki： Cellular IoT Wiki 知识库(https://rckrv97mzx.feishu.cn/wiki/wikcnBvAC9WOkEYG5CLqGwm6PHf) （如有侵权，联系删除）

半导体封装测试处于晶圆制造过程中的后段部分， 目的是保护芯片。 在芯片制造完后，将晶圆进行封装测试 ， 将通过测试的晶圆按需求及功能加工得到芯片，属于 芯片 产业链中技术后段的环节 。 在国内半导体产业蓬勃发展的浪潮中，封装测试环节作为 产业 重要的组成部分，发挥着关键作用。下面为大家详细盘点国内一些知名的半导体封装测试企业。 长电科技 ：长电科技在全球集成电路前十大封测厂中排名第三。其在高端封装技术方面与国际先进同行并行发展，处于国内领先水平，并实现了大规模生产。无论是市场份额还是技术实力，都在行业内占据重要地位，是国内半导体封装测试领域的龙头企业之一。 华润微： 华润旗下的高科技企业，拥有完整半导体产业链，涵盖芯片设计、晶圆制造、封装测试等全产业链一体化经营。在封装测试领域，凭借自身的资源和技术优势，不断推出高质量的封装测试服务，满足市场多样化的需求。 万年芯微电子： 成立于 2017年江西万年芯微电子有限公司是专业从事芯片设计、半导体封装测试的国家高新技术企业。目前已获得国内专利134项，是国家专精特新“小巨人”企业、“国家知识产权优势企业”，拥有国家级博士后工作站。万年芯的多芯片堆叠 & 合封技术、传感器封装技术、大功率模块封装技术及大功率电源及方案设计在业内遥遥领先，被评为2023年中国封装测试企业20强之一。 天水华天科技： 作为国内的重要封测企业，天水华天科技在技术研发和市场拓展方面持续发力。通过不断提升自身的封装测试能力，在行业内拥有较强的竞争力，其专利申请量和有效专利量也处于较高水平，为我国半导体产业的发展做出了重要贡献。 通富微电： 主营业务为集成电路封装测试。在市场波动的情况下，依然坚持技术创新，不断提升产品的性能和质量。其在 7 纳米、fanout、存储、driveric 等新产品方面处于量产前期，虽然面临研发投入大等挑战，但也为未来的发展奠定了坚实基础。 甬矽电子： 成立于 2017 年，2023 年上半年面临市场挑战，甬矽电子通过多种举措保持了订单饱和状态，产能持续开满。在核心技术与研发方面，甬矽电子坚持自主研发，在大颗 FC - BGA、Bumping（凸块）及 RDL（重布线）等领域取得突破，不断丰富产品结构，深挖技术 “护城河”。 晶方科技： 专注于集成电路的封装测试业务，在传感器、 MEMS等领域的封装测试方面具有独特的技术优势和市场份额。其不断创新的封装技术，为相关领域的芯片提供了优质的封装解决方案。 此外，还有像绍兴光大芯业微电子有限公司、宁波芯健半导体有限公司、扬州扬杰电子科技股份有限公司等众多企业，也在半导体封装测试领域发挥着各自的作用。 随着半导体行业的快速发展，这些封装测试企业在技术创新、市场拓展、产能提升等方面不断努力，为我国半导体产业的自主可控和高质量发展贡献着力量，未来也有望在全球半导体封装测试市场中占据更加重要的地位。