标签: AIoT

学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4，对比 FPGA、GPU、CPU 的性能，助力 AIoT 边缘计算应用。（文末有彩蛋） 一、 为什么选择 FPGA：应对 7nm 制程与 AI 限制 在全球半导体制程限制和高端 GPU 受限的大环境下，FPGA 成为了中国企业发展的重要路径之一。它可支持灵活的 AIoT 应用，其灵活性与可编程性使其可以在国内成熟的 28nm 工艺甚至更低节点的制程下实现高效的硬件加速。 米尔的 ZU3EG 开发板凭借其可重构架构为 AI 和计算密集型任务提供了支持，同时避免了 7nm 工艺对国产芯片设计的制约。通过在 ZU3EG 上部署 Tiny YOLO V4，我们可以为智能家居、智慧城市等 AIoT 应用提供高效的解决方案。 CPU GPU FPGA 架构对比 二、 了解 Tiny YOLO 模型及其适用性 YOLO（You Only Look Once）是一种实时物体检测模型，它通过一次性扫描整个图像，实现高效的对象识别。 而其简化版 Tiny YOLO V4 更适合嵌入式设备，具有较少的层数和参数。其轻量化特性更适合在资源受限的设备上运行，尤其在低功耗、实时检测的边缘计算设备中表现出色。 相比传统 GPU，FPGA 能在小面积和低功耗下实现类似的推理性能，非常契合 AIoT 应用。像米尔 ZU3EG 这样的 FPGA 开发板，通过底板和丰富接口的载板设计，非常适合高效的嵌入式低功耗数据处理。 Yolo V4 网络结构图 Tiny Yolo V4 网络结构图 （通过优化网络结构和参数，保持较高检测精度的同时，降低模型的计算量和内存占用） 三、 获取数据集和模型 可下载开源训练集或预训练模型。为了确保兼容性，建议将模型转换为 ONNX 格式，以便后续能在 FPGA 上完成优化。 1. 下载 Tiny YOLO V4 模型 ：从 Darknet 的 GitHub 仓库 获取 Tiny YOLO 的预训练权重，或者在 COCO 等数据集上自行训练模型。自定义的模型适用于特定应用场景（如车辆检测、人脸检测等）。 2. 数据准备 ：若要自定义模型，可使用LabelImg等工具对数据集进行标注，将数据转为 YOLO 格式。之后，可将 YOLO 格式转换为 ONNX 格式，以便兼容 FPGA 优化工具链。 Tiny YOLO 在 Darknet 上训练的截图 四、 通过 Vivado HLS 为 FPGA 准备模型 要将模型部署到 FPGA，需要将神经网络操作转换为硬件级描述。使用 Xilinx 的 Vitis HLS（高级综合）可以将 Tiny YOLO v4 的 C++ 模型代码的转化为 Verilog RTL（寄存器传输级）代码，从而将模型从软件世界带入硬件实现。 详细步骤 ： 1. 模型层映射和优化 ： 将 YOLO 的每一层（如卷积层、池化层）映射为硬件友好的 C/C++ 结构。例如，将卷积映射为乘累加（MAC）数组，通过流水线实现并行化。 2. 算子加速与指令优化 ： 流水线（Pipelining） ：利用流水线来处理多项操作并行，减少延迟。 循环展开（Loop Unrolling） ：展开循环，以每周期处理更多数据，尤其在卷积操作中有效。 设置 DATAFLOW 指令，使层间独立处理。 3. 量化与位宽调整 ： 将激活值和权重量化为定点精度（例如 INT8），而非浮点数。这在维持准确度的同时显著降低计算量，尤其适合 FPGA 的固定点运算支持。 Tiny YOLO 模型在 Vivado HLS 中的层层转化流程图 五、 使用 Vivado 综合与部署 Verilog 到 米尔的ZU3EGFPGA开发板 当 HLS 生成的 RTL 代码准备就绪后，可以使用 Vivado 将模型部署到 FPGA。 1. Vivado 中的设置 ： 将 HLS 输出的 RTL 文件导入 Vivado。 在 Vivado 中创建模块设计，包括连接AXI 接口与 ZU3EG 的 ARM 核连接。 2. I/O 约束与时序 ： 定义 FPGA 的 I/O 引脚约束，以匹配 ZU3EG 板的特定管脚配置。配置时钟约束以满足合适的数据速率（如视频数据 100-200 MHz）。 进行时序分析，确保延迟和响应速度达到实时要求。 3. 生成比特流并下载到 ZU3EG ： 生成的比特流可以直接通过 JTAG 或以太网接口下载到 ZU3EG。 将 Tiny YOLO 处理模块连接到 米尔ZU3EG开发板 的外设和接口 六、 在 FPGA 上测试并运行推理 现在 Tiny YOLO 已部署，可以验证其实时对象检测性能。 1. 数据采集 ： 通过连接的相机模块捕捉图像或视频帧，或者使用存储的测试视频。 使用ZU3EG 的 ARM 核上的OpenCV对帧进行预处理，再将它们传入 FPGA 预处理后进行推理。 2. 后处理与显示 ： 模型检测对象后，输出边框和类别标签。使用 OpenCV 将边框映射回原始帧，并在每个检测到的对象周围显示类别和置信度。 3. 性能测试 ： 测量帧速率（FPS）和检测准确度。微调量化位宽或数据流参数，以优化实时需求。 Tiny YOLO 模型在 ZU3EG 上显示检测结果的实时输出，视频帧中标注了检测到的对象 七、 性能优化与调试技巧 为提高性能，可以进行以下调整： 内存访问 ：设计数据存储方式，最大限度利用缓存并减少数据传输，降低内存瓶颈。 降低延迟 ：重新评估关键路径延迟。若延迟过高，调整 Vitis HLS 中的流水线深度，并验证层间的数据依赖性。 量化改进 ：尝试 INT8 量化。Xilinx 的 Vitis AI 可帮助微调量化参数，以平衡准确性与速度。 不同优化配置对资源使用的影响 米尔MYC-CZU3EG/4EV/5EV-V2核心板及开发板 在MYIR 的 ZU3EG 开发平台上提供了一种高效的解决方案。利用 FPGA 独特的灵活性和低功耗优势，助力未来 AIoT 设备的普及和智能升级。 关注米尔电子公众号，后台回复FPGA，获取完整Tiny Yolo V4教程。

深圳触觉智能 SOM7608核心板 现已上市，搭载瑞芯微RK3576/RK3576J高性能AIoT芯片平台，通过高速B2B连接器引出瑞芯微RK3576全部引脚资源，支持UFS2.0与eMMC5.1存储，支持全国产化。 RK3576集成了四核Cortex-A72和四核Cortex-A53处理器及独立NEON协处理器，6T超高算力NPU，支持4K120FPS高帧率视频解码及16M像素ISP的强大视频图像处理性能。 国产中高端AIoT平台 SOM7608核心板采用瑞芯微第二代8nm高性能AIoT芯片平台RK3576设计，集成四核Cortex-A72和四核Cortex-A53处理器，6Tops算力NPU，Mali G52 MC3 GPU，无论是语音识别、图像识别还是深度学习算法，都能实现快速响应和精准处理，为用户带来快速流畅的使用体验。 丰富接口拓展 SOM7608核心板拥有丰富的音视频拓展接口，支持FlexBus灵活的并行总线接口，可模拟不规则或者标准的协议，具有CAN-FD、UART、PCle2.1、SATA3.0、USB3.2、SAI、I3C等丰富的总线传输接口，为多种应用场景提供了强有力的支持。核心板模块逻辑框图，如下图所示： ​ 严苛品质 SOM7608核心板进行了严格的电源完整性和信号完整性仿真设计，通过各项电磁兼容、温度冲击、高温高湿老化、长时间存储压力等测试，稳定可靠，批量供货。采用高速B to B连接器封装，多层高密板沉金工艺，尺寸仅40x60mm。 ​ 强大AI算力 SOM7608核心板内置6Tops AI算力NPU，支持INT4/INT8/INT16/FP16混合运算，具有轻松转换TensorFlow/MXNet/PyTorch/Caffe等一系列框架模型的强大兼容性能，满足大多数行业人工智能模型的算力需求。 ​ 多媒体性能革新 SOM7608核心板支持HDMI2.1/eDP1.3、DP1.4、MIPI DSI等多个显示接口，可实现4K@120FPS高帧率视频解码与4K@60FPS编码，内置专门的图像预处理器和后处理器，内置3D GPU，能够完全兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.0和Vulkan1.1以及最高16M像素ISP性能的图像信号处理器。 赋能多个行业应用 SOM7608核心板搭载瑞芯微RK3576高性能AIoT芯片平台，率先支持Android14与Linux等多操作系统，软硬件相结合进一步提升了资源利用率，使得设备在多任务处理、深度学习算法时更加游刃有余。广泛应用于AIoT、工业网关、HMI、工控、边缘计算、智慧商显、汽车电子等行业领域。 ​

9月24日~28日，2024中国国际工业博览会（简称“工博会”）将在国家会展中心（上海）盛大举行。作为亚洲最具影响力的工业盛会之一，工博会汇聚了全球工业领域的顶尖企业与创新技术，为业界搭建了一个集展示、交流、合作于一体的综合性平台。届时，飞凌嵌入式将携最新技术成果与解决方案，在6.2H-E136展位恭候您的光临。 创新技术，引领未来 飞凌嵌入式作为国内领先的嵌入式核心控制系统研发制造企业，此次参展将重点展示企业在工业自动化、智能控制、物联网、人工智能等多个领域的最新研发成果，向全球观众展示其如何助力企业实现数字化转型，推动智能制造的深入发展。 现场体验，多重互动 在6.2H-E136展位，飞凌嵌入式将设立产品展示区以及互动体验区，专业的技术团队也将现场解答观众疑问，提供定制化解决方案咨询，为参会者搭建起一座从选型到应用的桥梁。 行业交流，共谋发展 工博会不仅是一个展示新技术的舞台，更是一个促进业界交流与合作的重要平台。飞凌嵌入式期待与来自全球的同行、合作伙伴及客户共聚一堂，分享行业趋势，探讨技术难题，共同推动嵌入式技术的创新与发展。 ▪ 时间：2024年9月24日-28日 ▪ 地点：国家会展中心（上海） ▪ 展位：6.2H-E136

8月23日，第八届未来网络发展大会重要论坛：2024中国联通AIoT生态合作大会以“格物致新 智创未来”为主题在南京举办。本次论坛邀请全国政产学研等代表围绕一系列AIoT创新技术与成果，共同探讨AIoT产业发展。 广和通作为重要产业伙伴，受邀出席大会并取得“最佳生态合作伙伴”奖项。 会上，中国通信学会副秘书长（正局级）欧阳武进行开场致辞，他对中国联通的格物平台和雁飞芯模创新成果表示高度认可，寄望联通未来引导产业向健康、可持续方向发展。江苏省通信管理局党组成员、副局长马旸在致辞中对基础设施建设、技术创新、完善产业生态和强化安全保障等提出期望。联通数字科技有限公司高级副总裁兼物联网事业部总经理、中国联通物联网研究院院长李研则指出，人工智能与物联网的结合已成为锻造新质生产力，推动数字化转型的引擎，借此大会，他希望联通数科物联网能为客户提供卓越服务，为产业贡献智慧与价值。 面向智能时代，广和通与中国联通在通信产品与技术上保持紧密合作。 为加速5G规模化商用，双方在5G、Cat.1等多款联通雁飞模组上深度合作，优化功耗、成本、速率，共同推动AIoT产品发展。在技术创新上，中国联通联合广和通在RedCap等前沿技术上持续攻关，取得多项测试验证成果。 基于稳定长期的协作，论坛期间，中国联通为广和通颁发“最佳生态伙伴奖”，充分展现双方在AIoT产品与技术上合作的高价值与紧密性。 面对AIoT转型的浪潮，借此大会，中国联通向行业展示了AIoT创新成果，携手产业伙伴推动AI技术和物联网行业的深度融合，拓宽技术应用边界。中国联通秉持开放合作的理念，积极构建共赢共生的产业生态体系，携手产业生态伙伴，共同探索新技术、新应用、新业态。 广和通将持续与中国联通保持紧密一致的合作步伐，为网络强国和数字中国建设贡献力量。

为积极推动“产学研用”一体化，第十一届全国大学生物联网设计竞赛在2024年3月启动。 作为本次竞赛的合作伙伴，广和通和竞赛组委会走进10所高校进行巡回技术讲座，与各大高校在AIoT课程建设、实验室建设、科研创新等方面进行交流，为进一步开展校企合作，培养优秀物联网人才奠定良好技术基础。 3-5月， 广和通在兰州交通大学、山东大学、中国石油大学、哈尔滨工业大学、郑州大学、浙江大学、深圳技术大学、南开大学、西安交通大学、四川大学等10所高校进行技术交流 ，全方位展示了业内领先的具身智能机器人开发平台Fibot及可应用于多行业的端侧AI解决方案。同时，针对高校教育需求，广和通还与各高校共同商讨校企合作的多种方式，分享了广和通大学生计划在课程共建、实验室共建的创新建设，获得了各大高校的积极响应。 山东大学|莘莘学子济济一堂 中国石油大学（北京）|展示Fibot 哈尔滨工业大学|与高校老师共商校企合作 郑州大学|参观先进实验室 浙江大学|高校教学分享 深圳技术大学|展示校企合作作品 南开大学|名师讲物联网 西安交通大学|现场热烈交流 四川大学|圆桌会议共商教育 在本届赛事中，广和通为参赛学生设置IoT和AIoT两个命题方向。 在AIoT方面，广和通提供了融合AI计算、5G/WiFi 6E/蓝牙等通信方式、卫星定位的SC171开发套件。 该高算力开发套件采用主频高达2.7GHz的高性能处理器，具备强大的处理能力。丰富的外设接口可拓展至更多终端，便于参赛学生开发作品。SC171开发套件基于业内先进处理器，为参赛学生提供融合感知、计算、通信的智能物联网平台，激发学生开发更具落地意义的作品。 全国大学生物联网设计竞赛是以促进国内物联网相关专业建设和人才培养为目标，激发物联网相关专业学生的创新和创业活力，推动高校双创教育而举办的面向大学生的学科竞赛。2023 年3 月中国高等教育学会发布《2022全国普通高校大学生竞赛分析报告》，本竞赛新增进入竞赛榜单；2023 年4 月全国高等学校计算机教育研究会等发布《全国普通高校大学生计算机类竞赛研究报告》，本竞赛被选取为报告数据采集覆盖的竞赛。 广和通作为全球领先的无线通信模组和解决方案提供商，拥有丰富的物联网应用经验与过硬的技术实力。 通过一系列的高校交流活动，广和通培养高校学生在物联网创新和AI技术应用能力，激发物联网及通信电子相关专业学生的创新创业思路，加速校企人才培养进程。