标签: AIoT

文章来源公众号：电子开发学习 瑞芯微近期推出了第二代8nm高性能AIOT平台——RK3576。 RK3576应用方向指向工业控制及网关，云终端，人脸识别设备，车载中控，商显等等。参数方面，内置了四核Cortex-A72+四核Cortex-A53，频率最高2.2GHz，内置ARM G52 MC3 GPU，NPU算力高达6TOPS…… 参数看着非常犀利，而且据说主打的就是性价比。我们近期也拿到了米尔电子推出的搭载RK3576芯片的开发板——MYD-LR3576，简单体验一番之后，给大家推出这篇开发板上手体验文章，供您在做选型时参考。 01 开发板欣赏 包装盒里最主要的东西当然就是MYD-LR3576开发板本身以及一个纸质的快速上手指南，另外盒子里还有电源适配器和USB线等附件，限于篇幅不做展示。 板子依然是米尔最经典的配色，雅光黑色油墨+焊盘沉金工艺，看着逼格拉满。SOC模组上加了一个很大的散热器。一侧是音频、Mini DP、HDMI、两个USB3.0口、两个以太网接口等。 另一侧是电源输入口、调试口、五个按键（包含三个用户按键、RESET按键、BOOT按键）。 两端各是2*20的2.54mm间距排针。 背面是M.2硬盘接口、SD卡槽、3组4 lane的MIPI CSI摄像头输入接口，以及一个MIPI DSI显示输出接口。 去掉散热器之后，就可以看到板载的米尔MYC-LR3576模组了。这个模组就是米尔推出的LGA封装模组。模组有加屏蔽壳，屏蔽壳在RK3576芯片顶端部分有开窗。这个RK3576就是标题里说的性价比无敌的SOC， 集成了四核ARM Cortex-A72@2.2GHz和四核ARM Cortex-A53@1.8GHz，以及还有一颗Cortex-M0的MCU核。GPU方面，它集成的是Mali-G52 MC3。搭载了算力高达6TOPS的NPU加速器。 集成度是真的高，性能也是真的强啊。 从缝隙看进去，里面用的阻容器件是真的小啊。这模组里面封装了SOC、PMIC、DDR、eMMC，以及各种阻容感，布局布线密度很大。所以做终端产品的一般规模企业，真的没必要自己做核心板。首先是研发难度较大、其次研发成本和时间投入巨大。索性专业的事情交给专业的人做，直接买这种成熟的模组往底板上一贴，还挺香的。 从这个角度看，这个模组真漂亮啊，这就是LGA封装的魅力。相比于BTB连接器、邮票孔连接、排针连接等方式，LGA可以做到连接尺寸最小，可靠性最高，焊接也很方便，把模组当做一个大号的LGA封装的芯片一样使用即可。 板子上电源入口部分细节。 按键及指示灯细节。 HDMI和USB等接口防护电路细节。 以太网接口细节。 Wifi模组及天线细节。 MYiR logo细节。米尔真是把电路板的配色玩到极致了，黑金电路板搭配橙色排针，看起来就很高端，实际上他们的板子应用场景也确实都很高端。 板子看完了，接下来上电，出厂固件已经烧录好了Debian 12 操作系统。把我的一个2K 27寸显示屏用HDMI线连接到这个开发板，无压力点亮。再给接个键盘，鼠标，就可以当做另一台电脑用了。 虽然看起来蛮帅气的，但是我还是想体验一下，这个板子的开发流程。 02 资料 要体验就要先拿到资料。开发板的包装盒和核心板屏蔽壳上都有二维码及产品的PN码和SN码，使用这两个码可以在米尔开发者中心下载对应产品的资料。 第一次体验到这么正规的开发板资料获取方式，瞬间感觉付费用户就是不一样。 资料列表中的硬件资料，提供了硬件设计指南、硬件用户手册、硬件资料包。 软件提供了米尔定制的Debian操作系统相关的软件包和Linux操作系统相关软件包。这个下载方式是阿里云盘，将近20G的资料，十来分钟就下载完了，体验感很不错，看来米尔是真的从用户层面考虑这些细节了。 先看看文档中的《MYD-LR3576 Debian软件开发指南.pdf》 目录。 随便找个内容看看，也很详细，而且写了可能会遇到的错误以及处理办法。 作为硬件工程师转行的嵌入式工程师，硬件资料是我首要关注的，仔细看发现内容真多啊。其实也不意外，我之前就有分享过米尔的瑞米派资料： 谁家做板子这么开源啊？赶紧下载资料囤起来，怕他们后悔。 任何一个外设都有详细的参考电路、Layout建议。那是不是说，如果我想使用他们的核心板做底板，快速出产品给客户，直接照抄他们的设计指南就行了？我觉得大可不必，因为他们直接提供了底板的原理图和PCB文件啊，东西都喂到嘴里了，还需要自己再去动手抄吗？那我CV工程师的尊严何在？开玩笑归开玩笑，这样减小了硬件环节的工作量，企业就有更多的精力专注于软件层面的开发了。 底板是六层板，拼板也做好了。Allegro的好处就是直接可以把封装和焊盘一键导出，为我所用，一个字，爽！后面如果有客户找我做3576项目的话，那赚钱不是分分钟嘛，哈哈哈。 03 开发初体验 看着这么详细的软硬件开发资料，我觉着不跟着走一下有点对不起这资料。于是赶紧打开Ubuntu，跟着《 MYD-LR3576 Debian软件开发指南.pdf 》开始编译系统。 第一步就是进入SDK目录，使用 ./build.sh lunch 指令来配置目标开发板，这里选择7。 接下来就使用 ./build.sh 指令来全部编译一遍。第一遍全编译会比较慢，可能需要几个小时，这时候起来活动活动、喝喝茶、甚至可以约个球友出去打会儿球，回来就编译好了。 编译好固件之后，使用瑞芯微的烧录工具烧录到板子上即可。关于烧录，《 MYD-LR3576 Debian软件开发指南.pdf 》中花了整整八页来讲，真就差手把手了。 烧录完重新上电，相当于又进入了一个全新系统，连上网浏览个网页、打开终端玩一玩，都没啥问题。我在Github上看到有一个开源的 HomeNAS ，打算抽空把它部署到这个板子上，这样的话，这个板子就可以作为我的家庭存储管理中心了，这部分内容等我做好了再分享给大家。 04 后记 整体来说，经过我的一番上手体验，发现这个板子无论做工用料、颜值都是非常不错的。资料完善程度也是远远超出了我的预期。跟着文档简单操作编译个SDK也是非常顺手。有句话说得很好：改变自己最快的方法，就是做自己最害怕做的事！我以前很排斥去上手嵌入式Linux，因为我觉得这里面的东西过于庞杂，所以这些年错过了不少发财的机会。但是最近硬着头皮真的去上手了嵌入式Linux，发现并没有那么难，而且资料比我之前学MCU的资料更丰富、详细、规范。真的就属于： 早上手早涨薪，晚上手晚享受！

学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4，对比 FPGA、GPU、CPU 的性能，助力 AIoT 边缘计算应用。（文末有彩蛋） 一、 为什么选择 FPGA：应对 7nm 制程与 AI 限制 在全球半导体制程限制和高端 GPU 受限的大环境下，FPGA 成为了中国企业发展的重要路径之一。它可支持灵活的 AIoT 应用，其灵活性与可编程性使其可以在国内成熟的 28nm 工艺甚至更低节点的制程下实现高效的硬件加速。 米尔的 ZU3EG 开发板凭借其可重构架构为 AI 和计算密集型任务提供了支持，同时避免了 7nm 工艺对国产芯片设计的制约。通过在 ZU3EG 上部署 Tiny YOLO V4，我们可以为智能家居、智慧城市等 AIoT 应用提供高效的解决方案。 CPU GPU FPGA 架构对比 二、 了解 Tiny YOLO 模型及其适用性 YOLO（You Only Look Once）是一种实时物体检测模型，它通过一次性扫描整个图像，实现高效的对象识别。 而其简化版 Tiny YOLO V4 更适合嵌入式设备，具有较少的层数和参数。其轻量化特性更适合在资源受限的设备上运行，尤其在低功耗、实时检测的边缘计算设备中表现出色。 相比传统 GPU，FPGA 能在小面积和低功耗下实现类似的推理性能，非常契合 AIoT 应用。像米尔 ZU3EG 这样的 FPGA 开发板，通过底板和丰富接口的载板设计，非常适合高效的嵌入式低功耗数据处理。 Yolo V4 网络结构图 Tiny Yolo V4 网络结构图 （通过优化网络结构和参数，保持较高检测精度的同时，降低模型的计算量和内存占用） 三、 获取数据集和模型 可下载开源训练集或预训练模型。为了确保兼容性，建议将模型转换为 ONNX 格式，以便后续能在 FPGA 上完成优化。 1. 下载 Tiny YOLO V4 模型 ：从 Darknet 的 GitHub 仓库 获取 Tiny YOLO 的预训练权重，或者在 COCO 等数据集上自行训练模型。自定义的模型适用于特定应用场景（如车辆检测、人脸检测等）。 2. 数据准备 ：若要自定义模型，可使用LabelImg等工具对数据集进行标注，将数据转为 YOLO 格式。之后，可将 YOLO 格式转换为 ONNX 格式，以便兼容 FPGA 优化工具链。 Tiny YOLO 在 Darknet 上训练的截图 四、 通过 Vivado HLS 为 FPGA 准备模型 要将模型部署到 FPGA，需要将神经网络操作转换为硬件级描述。使用 Xilinx 的 Vitis HLS（高级综合）可以将 Tiny YOLO v4 的 C++ 模型代码的转化为 Verilog RTL（寄存器传输级）代码，从而将模型从软件世界带入硬件实现。 详细步骤 ： 1. 模型层映射和优化 ： 将 YOLO 的每一层（如卷积层、池化层）映射为硬件友好的 C/C++ 结构。例如，将卷积映射为乘累加（MAC）数组，通过流水线实现并行化。 2. 算子加速与指令优化 ： 流水线（Pipelining） ：利用流水线来处理多项操作并行，减少延迟。 循环展开（Loop Unrolling） ：展开循环，以每周期处理更多数据，尤其在卷积操作中有效。 设置 DATAFLOW 指令，使层间独立处理。 3. 量化与位宽调整 ： 将激活值和权重量化为定点精度（例如 INT8），而非浮点数。这在维持准确度的同时显著降低计算量，尤其适合 FPGA 的固定点运算支持。 Tiny YOLO 模型在 Vivado HLS 中的层层转化流程图 五、 使用 Vivado 综合与部署 Verilog 到 米尔的ZU3EGFPGA开发板 当 HLS 生成的 RTL 代码准备就绪后，可以使用 Vivado 将模型部署到 FPGA。 1. Vivado 中的设置 ： 将 HLS 输出的 RTL 文件导入 Vivado。 在 Vivado 中创建模块设计，包括连接AXI 接口与 ZU3EG 的 ARM 核连接。 2. I/O 约束与时序 ： 定义 FPGA 的 I/O 引脚约束，以匹配 ZU3EG 板的特定管脚配置。配置时钟约束以满足合适的数据速率（如视频数据 100-200 MHz）。 进行时序分析，确保延迟和响应速度达到实时要求。 3. 生成比特流并下载到 ZU3EG ： 生成的比特流可以直接通过 JTAG 或以太网接口下载到 ZU3EG。 将 Tiny YOLO 处理模块连接到 米尔ZU3EG开发板 的外设和接口 六、 在 FPGA 上测试并运行推理 现在 Tiny YOLO 已部署，可以验证其实时对象检测性能。 1. 数据采集 ： 通过连接的相机模块捕捉图像或视频帧，或者使用存储的测试视频。 使用ZU3EG 的 ARM 核上的OpenCV对帧进行预处理，再将它们传入 FPGA 预处理后进行推理。 2. 后处理与显示 ： 模型检测对象后，输出边框和类别标签。使用 OpenCV 将边框映射回原始帧，并在每个检测到的对象周围显示类别和置信度。 3. 性能测试 ： 测量帧速率（FPS）和检测准确度。微调量化位宽或数据流参数，以优化实时需求。 Tiny YOLO 模型在 ZU3EG 上显示检测结果的实时输出，视频帧中标注了检测到的对象 七、 性能优化与调试技巧 为提高性能，可以进行以下调整： 内存访问 ：设计数据存储方式，最大限度利用缓存并减少数据传输，降低内存瓶颈。 降低延迟 ：重新评估关键路径延迟。若延迟过高，调整 Vitis HLS 中的流水线深度，并验证层间的数据依赖性。 量化改进 ：尝试 INT8 量化。Xilinx 的 Vitis AI 可帮助微调量化参数，以平衡准确性与速度。 不同优化配置对资源使用的影响 米尔MYC-CZU3EG/4EV/5EV-V2核心板及开发板 在MYIR 的 ZU3EG 开发平台上提供了一种高效的解决方案。利用 FPGA 独特的灵活性和低功耗优势，助力未来 AIoT 设备的普及和智能升级。 关注米尔电子公众号，后台回复FPGA，获取完整Tiny Yolo V4教程。

深圳触觉智能 SOM7608核心板 现已上市，搭载瑞芯微RK3576/RK3576J高性能AIoT芯片平台，通过高速B2B连接器引出瑞芯微RK3576全部引脚资源，支持UFS2.0与eMMC5.1存储，支持全国产化。 RK3576集成了四核Cortex-A72和四核Cortex-A53处理器及独立NEON协处理器，6T超高算力NPU，支持4K120FPS高帧率视频解码及16M像素ISP的强大视频图像处理性能。 国产中高端AIoT平台 SOM7608核心板采用瑞芯微第二代8nm高性能AIoT芯片平台RK3576设计，集成四核Cortex-A72和四核Cortex-A53处理器，6Tops算力NPU，Mali G52 MC3 GPU，无论是语音识别、图像识别还是深度学习算法，都能实现快速响应和精准处理，为用户带来快速流畅的使用体验。 丰富接口拓展 SOM7608核心板拥有丰富的音视频拓展接口，支持FlexBus灵活的并行总线接口，可模拟不规则或者标准的协议，具有CAN-FD、UART、PCle2.1、SATA3.0、USB3.2、SAI、I3C等丰富的总线传输接口，为多种应用场景提供了强有力的支持。核心板模块逻辑框图，如下图所示： ​ 严苛品质 SOM7608核心板进行了严格的电源完整性和信号完整性仿真设计，通过各项电磁兼容、温度冲击、高温高湿老化、长时间存储压力等测试，稳定可靠，批量供货。采用高速B to B连接器封装，多层高密板沉金工艺，尺寸仅40x60mm。 ​ 强大AI算力 SOM7608核心板内置6Tops AI算力NPU，支持INT4/INT8/INT16/FP16混合运算，具有轻松转换TensorFlow/MXNet/PyTorch/Caffe等一系列框架模型的强大兼容性能，满足大多数行业人工智能模型的算力需求。 ​ 多媒体性能革新 SOM7608核心板支持HDMI2.1/eDP1.3、DP1.4、MIPI DSI等多个显示接口，可实现4K@120FPS高帧率视频解码与4K@60FPS编码，内置专门的图像预处理器和后处理器，内置3D GPU，能够完全兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.0和Vulkan1.1以及最高16M像素ISP性能的图像信号处理器。 赋能多个行业应用 SOM7608核心板搭载瑞芯微RK3576高性能AIoT芯片平台，率先支持Android14与Linux等多操作系统，软硬件相结合进一步提升了资源利用率，使得设备在多任务处理、深度学习算法时更加游刃有余。广泛应用于AIoT、工业网关、HMI、工控、边缘计算、智慧商显、汽车电子等行业领域。 ​

9月24日~28日，2024中国国际工业博览会（简称“工博会”）将在国家会展中心（上海）盛大举行。作为亚洲最具影响力的工业盛会之一，工博会汇聚了全球工业领域的顶尖企业与创新技术，为业界搭建了一个集展示、交流、合作于一体的综合性平台。届时，飞凌嵌入式将携最新技术成果与解决方案，在6.2H-E136展位恭候您的光临。 创新技术，引领未来 飞凌嵌入式作为国内领先的嵌入式核心控制系统研发制造企业，此次参展将重点展示企业在工业自动化、智能控制、物联网、人工智能等多个领域的最新研发成果，向全球观众展示其如何助力企业实现数字化转型，推动智能制造的深入发展。 现场体验，多重互动 在6.2H-E136展位，飞凌嵌入式将设立产品展示区以及互动体验区，专业的技术团队也将现场解答观众疑问，提供定制化解决方案咨询，为参会者搭建起一座从选型到应用的桥梁。 行业交流，共谋发展 工博会不仅是一个展示新技术的舞台，更是一个促进业界交流与合作的重要平台。飞凌嵌入式期待与来自全球的同行、合作伙伴及客户共聚一堂，分享行业趋势，探讨技术难题，共同推动嵌入式技术的创新与发展。 ▪ 时间：2024年9月24日-28日 ▪ 地点：国家会展中心（上海） ▪ 展位：6.2H-E136

8月23日，第八届未来网络发展大会重要论坛：2024中国联通AIoT生态合作大会以“格物致新 智创未来”为主题在南京举办。本次论坛邀请全国政产学研等代表围绕一系列AIoT创新技术与成果，共同探讨AIoT产业发展。 广和通作为重要产业伙伴，受邀出席大会并取得“最佳生态合作伙伴”奖项。 会上，中国通信学会副秘书长（正局级）欧阳武进行开场致辞，他对中国联通的格物平台和雁飞芯模创新成果表示高度认可，寄望联通未来引导产业向健康、可持续方向发展。江苏省通信管理局党组成员、副局长马旸在致辞中对基础设施建设、技术创新、完善产业生态和强化安全保障等提出期望。联通数字科技有限公司高级副总裁兼物联网事业部总经理、中国联通物联网研究院院长李研则指出，人工智能与物联网的结合已成为锻造新质生产力，推动数字化转型的引擎，借此大会，他希望联通数科物联网能为客户提供卓越服务，为产业贡献智慧与价值。 面向智能时代，广和通与中国联通在通信产品与技术上保持紧密合作。 为加速5G规模化商用，双方在5G、Cat.1等多款联通雁飞模组上深度合作，优化功耗、成本、速率，共同推动AIoT产品发展。在技术创新上，中国联通联合广和通在RedCap等前沿技术上持续攻关，取得多项测试验证成果。 基于稳定长期的协作，论坛期间，中国联通为广和通颁发“最佳生态伙伴奖”，充分展现双方在AIoT产品与技术上合作的高价值与紧密性。 面对AIoT转型的浪潮，借此大会，中国联通向行业展示了AIoT创新成果，携手产业伙伴推动AI技术和物联网行业的深度融合，拓宽技术应用边界。中国联通秉持开放合作的理念，积极构建共赢共生的产业生态体系，携手产业生态伙伴，共同探索新技术、新应用、新业态。 广和通将持续与中国联通保持紧密一致的合作步伐，为网络强国和数字中国建设贡献力量。