标签: Xilinx

1.引言 随着网络视频平台的发展，用户对于4K高清画质的需求日益增长。然而，许多用户发现，即使购买了视频平台的会员，观看4K内容时画质却不如预期，有时甚至还会出现模糊、卡顿的情况。这种现象背后涉及到视频编码、网络带宽、和视频传输的诸多因素。 近期“影视飓风”发布的视频《清晰度不如4年前！视频变糊是你的错觉吗？》因讨论视频平台降低码率和改变编码格式以压缩视频画质，影响了内容表达。 4K视频清晰度下降的一个主要原因是平台为了节省带宽而压缩视频流，有时导致比特率降低，无法发挥4K分辨率的全部潜力。 在这种背景下，如何 高效地压缩和传输4K视频成为了一个关键技术难题 。本文将探讨如何通过 米尔电子的ZU4EV MPSoC平台， 接入真4k 60UHD-SDI视频源后，使用VCU进行高效H.265编解码，再通过 SGMII万兆以太网 实现 网络推流，以确保高质量4K视频的流畅传输。 2.视频质量下降的原因与优化方法 1） 带宽瓶颈 ：在用户数量增加的情况下，服务器和网络的带宽常常无法满足4K视频流的需求。 2） 压缩算法不足 ：传统的视频压缩技术在高分辨率内容上表现不佳，容易导致画面模糊。 3） 视频流传输的优化 在推流过程中，网络带宽和视频压缩效率直接决定了视频播放的清晰度与流畅度。为了确保4K视频在万兆以太网上的高效传输，本设计采用以下优化措施： 合理的码率控制 ：在保证视频清晰度的前提下，调整H.265编码的目标码率，避免过低的码率影响视频质量或过高的码率导致带宽浪费或。通过CBR或VBR模式可以根据网络情况动态调整码率。 低延时模式 ：VCU支持低延时编码模式，确保视频在压缩和传输过程中保持尽可能低的延迟，提升用户的观看体验。 网络传输协议选择 ：根据应用场景选择合适的传输协议。对于实时性要求较高的场景，可选择UDP传输，而对于数据可靠性要求较高的场景，则推荐使用TCP协议。 3.MPSoC与VCU架构在4K UHD音视频广播领域的优势 1. 高性能与低功耗的结合 ：Zynq UltraScale+ MPSoC采用了16nm FinFET工艺，集成了多核处理器和可编程逻辑，能够在提高性能的同时降低功耗，这对于音视频广播领域来说至关重要，因为它可以在保证高清晰度视频传输的同时，减少能源消耗。 2. 实时压缩与解压缩能力 ：集成的VCU支持H.264/AVC和H.265/HEVC标准，能够实现高达4K UHD分辨率的视频的实时压缩和解压缩。这意味着在广播应用中，可以利用VCU进行高效的视频编码，减少存储空间和带宽的需求，同时保持视频质量。 3. 多视频流处理能力 ：VCU能够同时处理多达八个不同的视频流，这对于需要同时广播多个视频源的4K UHD广播应用来说非常有用。这种多任务处理能力使得MPSoC成为多媒体中心和视频服务器的理想选择。 4. 灵活性和可扩展性 ：MPSoC的可编程逻辑（PL）提供了任意到任意高速视频/音频接口的灵活性，可以为多媒体管道带来定制图像及视频处理功能的差异化效果。这种可编程性使得系统能够适应不断变化的音视频广播需求。 5. 专用硬件加速 ：MPSoC提供了专用的处理引擎，如基于ARM Cortex A53的APU、Mali图形处理单元等，这些专用硬件能够加速图形和视频处理任务，提高系统的整体性能。 6. 支持多种视频格式 ：VCU支持高达4:2:2 10位UHD-4K的视频格式，适合专业和高端消费级的制作与后期制作解决方案。这种广泛的格式支持使得MPSoC可以应用于各种不同的音视频广播场景。 7. 集成的多媒体框架支持 ：MPSoC结合常见的多媒体框架GStreamer，可以开发硬件加速型多媒体应用。这种集成支持简化了开发过程，使得开发者能够快速实现复杂的音视频处理任务。 8. 优化的功耗管理 ：Zynq UltraScale+ MPSoC将处理引擎、硬件编解码器等组件放置在具有独立电轨的不同电源域中，这种配置可用于为整个系统设计优化功耗管理方案，进一步降低系统功耗。 9. 高速互联外设 ：MPSoC提供高速互联外设，如集成式DisplayPort接口模块，支持高达6 Gb/s的工作速率，这有助于处理来自PS或PL的实时音视频流，进一步降低系统BOM成本。 10. 支持新一代地面数字电视广播技术 ：随着超高清电视时代的到来，MPSoC与VCU架构能够支持新一代地面数字电视广播技术，如DVB-T2、ATSC 3.0和DTMB-A等，这些技术支持更高的视频质量和新的广播应用模式。 综上所述，MPSoC与VCU架构在4K UHD音视频广播领域提供了高性能、低功耗、实时压缩解压缩、多视频流处理、灵活性、硬件加速、广泛格式支持、多媒体框架集成、优化的功耗管理和高速互联外设等多重优势，使其成为该领域理想的解决方案。 4.系统架构概述 在本设计中，我们使用Zynq UltraScale+ MPSoC平台（具体型号为MYIR XCZU4EV），通过FPGA实现对SDI视频的H265压缩，并通过SGMII接口推送到万兆以太网上。系统架构主要包括以下几个部分： 1. 视频输入 ：输入源可以是SDI摄像机、SDI信号发生器或通过HDMI转SDI设备从电脑接入的HDMI信号。视频信号通过TI公司的LMH1219芯片做均衡处理，并将单端信号转换为差分信号后输入FPGA。 2. SDI视频解码 ：FPGA中的UHD-SDI GT IP核用于SDI视频的解串，并将视频信号转换为AXI4-Stream格式供后续处理。通过SMPTE UHD-SDI RX SUBSYSTEM IP核，SDI视频被解码为RGB格式。 3. 视频帧缓存与处理 ：解码后的视频信号存储在PS侧的DDR4中，通过Xilinx提供的Video Frame Buffer Write IP核实现。在这一阶段，可以对视频帧进行颜色转换、缩放等处理。 4. H.265视频压缩 ：使用Zynq UltraScale+ VCU IP核对存储的RGB视频帧进行H.265编码压缩。VCU支持YUV420格式的视频，编码分辨率最高可达到4K@60fps。 5. SGMII万兆以太网传输 ：经过H.265压缩后的视频流通过SGMII接口推送至万兆以太网。通过PetaLinux系统，利用TCP/UDP协议将压缩后的码流传输到PC或服务器端，用户可以通过VLC播放器等软件实时播放接收到的H.265码流。 5.工程设计主要流程 1. SDI输入 ：通过LMH1219进行信号均衡，SDI信号转换为AXI4-Stream格式。 通过HDMI转SDI盒子，通过12G UHD-SDI输出4K 60FPS视频给FPGA，用户也可以使用SDI 工业相机； 2. 视频解码 ：UHD-SDI GT IP核完成视频解串，SMPTE UHD-SDI RX SUBSYSTEM IP核将视频解码为RGB信号。 3. 视频缓存 ：使用Video Frame Buffer Write IP核将视频写入DDR4。 用户可以选择在这里做出customer ISP，例如图像缩放，拼接 4. 视频压缩 ：通过Zynq UltraScale+ VCU IP核对视频进行H265压缩。 5. 网络传输 ：通过SGMII万兆以太网接口，将压缩后的H265视频流通过UDP协议推送至PC端，使用VLC播放器播放。 6.结论 在视频内容不断向4K发展的大背景下， 通过Zynq UltraScale+ MPSoC平台，基于VCU实现的SGMII万兆以太网视频压缩推流方案，不仅能够高效地压缩和传输4K视频，还可以确保较低的延迟和高质量的图像输出。该方案适用于视频监控、医疗影像、工业自动化等对高分辨率视频有需求的应用场景。 对于希望在网络视频平台上获得更好观看体验的用户来说，视频平台和服务提供商则需要在视频编码、网络传输等方面进行优化，以满足用户对于4K视频的画质需求。 7.互动环节 在SGMII网兆以太网推流到PC端，因为是万兆网，CPU无法负担这里的高速吞吐率，这里我们需要用到网络卸载，米尔电子的MYC-J7A100T双芯设计核心板可通过SFP采集SGMII万兆以太网数据后，PC通过PCIE读取视频源，实现万兆网口数据包卸载，我们会在后续系列文章中做出分享基于米尔MYC-J7A100TSFP采集后PCIE XDMA中断读取。

本文主要介绍基于Xilinx UltraScale+ MPSoC XCZU7EV的12G-SDI高清视频开发案例，适用开发环境如下： Windows开发环境：Windows 7 64bit、Windows 10 64bit Linux开发环境：Ubuntu18.04.4 64bit 开发工具包：Xilinx Unified 2022.2 硬件平台：创龙科技TLZU-EVM评估板 (基于Xilinx UltraScale+ MPSoC XCZU7EV) 12G-SDI介绍 SDI（Serial Digital Interface，串行数字接口）是一种用于传输未经压缩的数字视频信号的标准，主要应用于远程监控、工业检测等领域。12G-SDI是SDI接口的其中一种，支持高达12Gbps的数据传输速率，专为支持4K超高清视频而设计。 12G-SDI优势 支持单链路传输： 12G-SDI能够在单根电缆上传输，简化安装与维护，减少布线复杂性。 支持长距离传输： 12G-SDI支持长距离传输，能够实现远距离的高质量视频信号传输。 支持4K高清视频： 12G-SDI支持4K分辨率，帧率高达60fps，能够流畅地播放动态视频。 图 1 SOM-TLZU核心板优势 图 2 SOM-TLZU核心板典型应用领域 图 3 12G-SDI高清视频开发案例演示 为了简化描述，本文仅摘录部分方案功能描述与测试结果。 案例说明 该案例通过12G-SDI IN接口采集4K@60fps视频，并通过12G-SDI OUT接口将采集到的视频进行输出。 案例演示 将小米盒子、视频转换器模块、4K显示屏连接至评估板，硬件连接图如下所示。 图 4 加载PS端裸机程序、PL端程序后，即可看到调试串口终端打印如下信息。 图 5 可看到4K显示屏显示正常图像。 图 6 键盘输入i，调试串口终端会打印如下信息。可从打印信息中获取输入、输出图像格式、分辨率、帧率等信息。 图 7

0 1 产品概述 本公司基于 Xilinx Kintex-7系列的开发平台采用核心板加扩展主板的方式，方便用户对相关板卡的二次开发利用。 其中，核心板包含一片芯片XC7K325T，使用FFG900封装，外挂4片512MB的高速DDR3芯片和1片256Mb的QSPI Flash芯片。 在扩展板上我们设计了丰富的外围接口，比如 PCIe Gen2X8 接口、2路10G SFP接口、1路 HDMI 输入接口、1路HDMI输出接口、2路SATA接口、1路SD卡接口、2路千兆以太网接口、1个40针扩展接口、1路UART接口、1个FMC接口等等。并且可以搭配使用各类高速 ADC / DAC 、视频处理 FMC 子卡等。 02功能接口图 扩展板： 核心板： 03产品参数 核心板主要参数： 型号 XC7K325T-2FFG900I PCle Gen2 X8 逻辑单元 326,080 收发器 16个12.5Gb/s max 查找表 50,950 触虫发器 407,600 Block RAM 16,020Kb DSP 处理单元 840 温度等级 工业级，-40℃-85℃ XADC 1个12bit 1Mbps AD 速度等级 -2 功能和接口： DDR3 4 x 512MB DDR3，64bit 总线 ，数据速率1600Mbps QSPl Flash 1 片 256Mbit QSPI FLASH，可用作 FPGA 配置文件和用户数据存储 晶振 高精度 LVDS 有源差分晶振，一个是 200MHz给系统提供稳定的时钟源，一个是125MHz为 GTX收发器提供稳定的时钟输入 PCle 接口 1 路标准 PCle x8 接口，用于和电脑主板的 PCle 通信，支持PCLe2.0，单通道通信速率可高达 5Gbps SATA接口 2 路SATA接口 SFP 光纤 2 路高速 SFP 光纤通信接口，每路接收和发送速度高达 10Gb/s HDMI接口 1 路HDMI输入接口，1路HDMI输出接口 以太网口 2 路千兆以太网口 SD 卡座 1 路 Micro SD 卡座 40 针扩展接口 预留 1个40 针 2.54mm 间距的扩展口，可以外接各种模块(双目摄像头，TFT LCD 屏，高速 AD 模块等等)。扩展口包含 5V电源1路，3.3V电源2路，地3路，IO口 34路。 JTAG 口 14 针 2.0mm 标准的 JTAG 口，用于 FPGA 程序的下载和调试 USB 转串口 2 路 Uart 转 USB 接口，用于和电脑通信，方便用户调试 FMC接口 1路FMC接口，兼容FMC-LPC接口 LED 4 个用户 LED 灯 按键 2 个用户按键 包装清单： FPGA开发板 1 套（1块扩展主板+1块核心板） 散热风扇 1 个 MicroUSB线 1 根 USB下载器 1 套 12V电源 1 个 挡板 电源参数： 输入 电压 +12V 电压输入 供电 12V / 3A 供电 输入 电流 3A 最大电流 结构尺寸： 尺寸大小 核心板 80mmx60mm，扩展主板 180mm x 108mm 叠层数量 核心板 14 层 PCB 板设计，扩展主板采用 6 层 PCB 板设计，预留独立电源层和 GND 层 04结构尺寸图 05应用领域 购买联系方式：13828768606 邮箱： William@deepview.top

0 1 产品概述 本公司基于Xilinx Kintex-7系列的开发平台采用核心板加扩展主板的方式，方便用户对相关板卡的二次开发利用。 其中，核心板包含一片芯片XC7K325T，使用FFG900封装，外挂4片512MB的高速DDR3芯片和1片256Mb的QSPI Flash芯片。 在扩展板上我们设计了丰富的外围接口，比如 PCIe Gen2X8 接口、2路10G SFP接口、1路HDMI输入接口、1路HDMI输出接口、2路SATA接口、1路SD卡接口、2路千兆以太网接口、1个40针扩展接口、1路UART接口、1个FMC接口等等。并且可以搭配使用各类高速 ADC/DAC、视频处理 FMC 子卡等。 02 功能接口图 扩展板： 核心板： 03 产品参数 核心板主 要参 数： 型号 XC7K325T-2FFG900I PCle Gen2 X8 逻辑单元 326,080 收发器 16个12.5Gb/s max 查找表 50,950 触虫发器 407,600 Block RAM 16,020Kb DSP 处理单元 840 温度等级 工业级，-40℃-85℃ XADC 1个12bit 1Mbps AD 速度等级 -2 功能和接口： DDR3 4 x 512MB DDR3，64bit 总线，数据速率1600Mbps QSPl Flash 1 片 256Mbit QSPI FLASH，可用作 FPGA配置文件和用户数据存储 晶振 高精度 LVDS 有源差分晶振，一个是 200MHz给系统提供稳定的时钟源，一个是125MHz为 GTX收发器提供稳定的时钟输入 PCle 接口 1 路标准 PCle x8 接口，用于和电脑主板的 PCle 通信，支持PCLe2.0，单通道通信速率可高达 5Gbps SATA接口 2 路SATA接口 SFP 光纤 2 路高速 SFP 光纤通信接口，每路接收和发送速度高达 10Gb/s HDMI接口 1 路HDMI输入接口，1路HDMI输出接口 以太网口 2 路千兆以太网口 SD 卡座 1 路 Micro SD 卡座 40 针扩展接口 预留 1个40 针 2.54mm 间距的扩展口，可以外接各种模块(双目摄像头，TFT LCD 屏，高速 AD 模块等等)。扩展口包含 5V电源1路，3.3V电源2路，地3路，IO口 34路。 JTAG 口 14 针 2.0mm 标准的 JTAG 口，用于 FPGA 程序的下载和调试 USB 转串口 2 路 Uart 转 USB 接口，用于和电脑通信，方便用户调试 FMC接口 1路FMC接口，兼容FMC-LPC接口 LED 4 个用户 LED 灯 按键 2 个用户按键 包装 清单： FPGA开发板 1 套（1块扩展主板+1块核心板） 散热风扇 1 个 MicroUSB线 1 根 USB下载器 1 套 12V电源 1 个 挡板 电源参数： 输入电压 +12V 电压输入 供电 12V / 3A 供电 输入电流 3A 最大电流 结构尺寸： 尺寸大小 核心板 80mmx60mm，扩展主板 180mm x 108mm 叠层数量 核心板 14 层 PCB 板设计，扩展主板采用 6 层 PCB 板设计，预留独立电源层和 GND 层 04 结构尺寸图 核心板结构尺寸图： 扩展主板结构尺寸图： 05 应用领域 人工智能 机器视觉 图像处理 自动驾驶 机器人 高速通信 工业控制 仪器仪表 购买联系方式：13828768606 邮箱：William@deepview.top 长按添加好友 也可了解更多相 关板 卡内容哦~ 转载请标注来源，谢谢！

随着农业生产模式和视觉技术的发展，农业采摘机器人的应用已逐渐成为了智慧农业的新趋势，通过机器视觉技术对农作物进行自动检测和识别已成为采摘机器人设计的关键技术之一，这决定了机器人的采摘效果和农场的经济效率。目前市面上最常见的是基于单片机开发的自动采摘机器人，但是随着人工智能的快速发展，通过建立神经网络基于大量图像数据训练的识别方法成为新一代智慧农业发展必不可缺的硬性条件。 智慧农业-图片来源 于网络 升级农业生产机器人，主控芯片该如何选择呢？FPGA实时高速采集功能，搭配ARM端高性能处理系统 ，必然是机器人构建自动识别采摘系统最优解决方案。Xilinx公司的Zynq 7000 系列的芯片作为控制器，既可以完成机器视觉算法，又可以实现对机器人的控制程序。此外，FPGA特有的并行处理能力可同时对多个目标进行识别采摘，提高了采摘效率；在此期间，可以通过优化算法和训练学习图像数据，对果实好坏进行分拣。 农产品识别系统的工作流程可分为以下几个步骤： (1)摄像头采集图像，将图像信息通过串口发送到FPGA，预处理图像数据。 (2)调用ZYNQ芯片的识别算法程序包，识别农产品的种类，成熟度，大小等相关信息。 (3)通过网络、多媒体接口把相应农产品信息显示在触摸屏和云端，实时监控画面并记录采摘信息。 (4)在通过FPGA和软件的协调下，对图像中水果坐标信息进行计算，控制电机运转机械臂对成熟果实进行采摘操作。 基于Zyn q 7000系列FPGA农业生产识别系统流程框架图 随着农业升级硬件需求的不断增加，米尔电子基于Xilinx Zynq 7000系列7Z010/7Z020处理器，设计了一款简单易开发的单板Z-turn Board，大容量存储设计，支持系统长期数据存储；拥有丰富的接口，摄像头接口，HDMI显示接口，LCD 接口，可连接高清触摸屏幕，显示各类数据信息，实现就地监控和农作物实时管理；拥有千兆网口和CAN，PMOD，丰富的I/O等数据通讯接口，可轻松应对各类场景下的多种功能需求。并且该单板支持PYNQ设计平台，设计人员可以通过Python语言和库，利用Zynq中融合可编程逻辑和微处理器的优势来快速构建更强大的嵌入式系统。 米尔基于Xilinx -7Z01 0/20-V2单板 附基于Xilinx -7Z010/20处理的MYS-7Z010/20-V2单板资料： SOC ： Xilinx Zynq-7010/20 高性能双核ARM Cortex-A9处理系统（PS），FPGA架构：可编程逻辑单元 XC7Z010（28K，约43万逻辑门 ）XC7Z020（85K，约1.3M逻辑门）。 系统内存 ： 1GB DDR3 SDRAM（512MB*2） 存储 ： QSPI 默认16MB，TF CARD槽（支持外部启动） 网络 ： 一路千兆网口 视频 ： HDMI接口 USB ： USB HOST*2 JTAG ： 1路PS/PL复用 JTAG接口（进行编程调试下载） 供电 ：5V/0.5A 为了开发的多样性，米尔还为Z-turn Board设计出专属Z-turn IO Cape，扩展了Z-turn 的普通IO，ADC，LCD，摄像头接口等，能搭配更多的外设模组共同使用。大大扩展了开发场景。 Z-turn+Z-turn IO Cape