标签: npu

处理的信息量呈爆炸式增长。对于联邦机构和军队来说尤其如此，它们从设备、建筑物、船舶、飞机等中的移动设备和传感器生成大量数据。 寻找有效的方法来管理、使用和保护这些数据具有挑战性。但是有一个有效且具有成本效益的解决方案。神经形态处理和自搜索计算存储的结合可以使组织能够快速处理大量边缘数据。 边缘数据困境 边缘数据可以提供洞察力，从而实现更有效的核心任务。问题是，处理这些数据所需的计算和网络基础设施没有跟上。组织缺乏在边缘处理数据的计算能力，并且他们缺乏网络带宽将数据传输到他们具有处理能力的集中位置。 传统的计算技术占用太多空间并产生太多热量，无法在边缘使用。传统的网络技术无法以实用的速度长距离传输大量数据。例如，美国海军舰船平均从船员、操作系统、武器系统和通信中产生数 PB 的数据。对于许多用例，在船靠岸之前无法处理这些数据。 网络优势 机构不仅必须找到管理数据的有效方法，还需要保护其资产免受网络威胁。如今，网络安全团队在应对网络攻击时必须筛选大量数据。为了发现异常并找出根本原因，他们需要从访问日志和安全信息与事件管理 (SIEM) 系统中搜索大型数据集。他们还需要尽可能近乎实时地完成该任务，以防止破坏任务的网络漏洞。但迄今为止，他们缺乏有效的计算和存储解决方案来在边缘实现这一目标。 Cyberedge 的一份 新报告 发现，68% 的政府机构在 2021 年面临网络攻击，这表明机构需要找到创新的数据保护解决方案以防受到攻击。在响应网络事件时，主动响应能力至关重要，可以通过快速查找数据和实时提醒分析师来大幅降低网络风险并保护任务。 神经形态处理的力量 如果计算机的功能更像人脑，那将会很有帮助。一个人可以看着成千上万朵黄色花朵的田野，并立即认出那一朵红色花朵。计算机需要单独处理每朵花，直到找到异常。 那是因为大脑在亿万年的进化过程中经过微调，可以很好地执行特定任务。它这样做的同时消耗的能量非常少。 但是，如果计算机可以像大脑一样非常快速地执行特定任务，而只需要很少的能量呢？这就是神经形态处理器的前景——本质上是一种以大脑系统为模型的计算机。 以下是神经形态处理如何在边缘转变网络风险。从构建在高端现场可编程门阵列 (FPGA) 集成电路上的神经形态处理单元 (NPU) 开始，该集成电路经过定制可加速关键工作负载。添加几十 TB 的本地 SSD 存储。其结果是一个基于 NPU 的自搜索存储设备，可以在边缘以非常低的功耗对非常大的数据集执行极快的搜索。 NPU 技术搜索大型数据集的速度有多快？将多个NPU设备组合在一个机架中，您可以在大约12分钟内搜索1PB的数据。要使用传统技术实现该结果，您需要 62 个服务器机架 – 以及非常庞大的预算。在测试中，NPU 设备机架需要的资本支出降低 84%，运营支出降低 99%，功耗降低 99%。 想象一下在响应像 Sunburst 黑客这样的情况时在几分钟内搜索 PB 数据的优势。Sunburst 黑客攻击始于 2020 年 3 月左右，但直到 2020 年 12 月才被发现，影响了至少 200 个组织，包括国防部、国土安全部、财政部、商务部和司法部等政府部门。各机构必须搜索至少九个月的数据，确定违规发生的位置、当前的违规活动以及哪些系统、网络和数据受到影响。 在这种情况下，神经形态处理和自搜索存储可以缩短事件响应时间。这可以节省成本、加速事件解决并降低网络风险。 制作NPU 设备的用例 NPU 搜索技术是与能源部的研发实验室 桑迪亚国家实验室合作开发的。 如今，桑迪亚正在积极使用多个 NPU 系统进行网络防御和其他用例。 NPU 设备的一个引人注目的方面是它可以帮助组织遵守拜登总统 2021 年 5 月 关于改善国家网络安全的行政命令 。作为对该命令的回应，管理和预算办公室 发布了一项指令， 要求各机构保留 12 个月的活动数据存储和 18 个月的冷数据存储。对于许多机构来说，这会带来严重的预算挑战。NPU 设备可以使此类数据保留具有成本效益。 此外，NPU 设备存储的部署不需要改变组织当前的 IT 基础设施或网络防御。该设备只是与现有的硬件和网络安全解决方案并存。大型数据集的搜索发生在边缘。识别出的任何少量相关数据都可以快速轻松地传输以进行集中分析。 NPU 设备还有其他潜在用例。例如，一家财富 50 强公司使用数据标记技术来训练机器学习算法。该组织将所需时间从一个月减少到 22 分钟。 与此同时，对于联邦机构和军方而言，神经形态处理和自搜索存储是保护敏感数据和降低边缘网络风险的可行且经济高效的解决方案。

自从物联网(IoT)出现以来，边缘智能颇具颠覆性的创新，以及边缘计算应用都逐渐变得非常普遍，例如人脸识别，语音识别，物体识别，或者汽车上用的车辆识别系统都有它的身影。当然，这对算力的要求逐渐提高，NPU的性能也更受到注重，也作为了CPU与GPU外的下一个性能指标。 本文介绍的是米尔于2021年底发布的新品—— MYC-JX8MPQ核心板 ，作为AI领域的里程碑CPU模组，它基于NXP第一颗搭载了NPU的高端芯片 i.MX8MPlus ，这个模组主要面向AI场景，具有2.3 TOPS算力，4核 Cortex-A53 + Cortex-M7，主频1.8GHz+800MHz。 随着市场上机器学习开发的需求加大，NXP大力扩展eIQ软件环境，现在eIQ已经正式加入到BSP镜像中，它支持OpenCV，TensorFlow-Lite，armNN，PyTorch等框架。下面，我们借用一幅图来说明8M系列针对eIQ支持情况。 可以看到目前只有i.MX 8m Plus搭载了NPU神经网络单元，那么NPU到底强在哪里，请看如下对比。我们用了TensorFlow-Lite框架《将军》图为例，来对比CPU，GPU，NPU算法能力。 下表展示了通过对应的命令算出来的结果。可以看到，CPU的算力为平均44.832MS、GPU是160.934MS、NPU仅2.866MS，通过数据可以直观地看出NPU的算力更强，更能满足边缘计算的高标准要求。 这款 MYC-JX8MPQ 模组除拥有强悍的处理器之外，还有几个特别优势： 支持双MIPI CSI接口，可实现双路摄像头数据同时输入, 拥有强大的硬件编解码能力，支持H.264编解码； 多媒体接口丰富GPU/VPU、HDMI，支持HiFi语音及其他多媒体功能； 丰富的高速接口,传输速率快，其中2个千兆以太网、2个两用USB 3.0高速接口，可以保障语音和视频的高速传输； 所以，MYC-JX8MPQ可以在高性能AI设备、边缘计算、5G网关、高性能工业计算器、仪表仪器、工业网关设备等领域投入应用。 以上是对MYC-JX8MPQ核心板的介绍，同时米尔也提供配套的开发板，外设资源丰富。 登录米尔电子官网了解更多： http://www.myir-tech.com/product/MYC-J1028X.htm 关于米尔 米尔，专注嵌入式处理器模块设计和研发，是领先的嵌入式软硬件方案的供应商。米尔在嵌入式领域具有20年的行业技术经验，为客户提供专业的ARM工业控制板、ARM开发板、ARM核心板、ARM开发工具、充电桩计费控制单元及充电控制板等产品和技术服务。此外，米尔还可通过涵盖众多ARM处理器及操作系统的专业技术提供定制设计解决方案，通过专业且高效率服务帮助客户加速产品上市进程。

本文介绍了AI-MD55x55M核心板是针对基于NPU+AI ISP的SoC 媒体处理芯片开发的编解码核心板，用于给开发者展示芯片强大的多媒体功能和丰富的外围接口，同时为开发者提供 基于SoC的产品硬件PCBA，将芯片具备的资源完整开放出来，可根据各种使用场景设计相应的底板，模块的设计降低了的开发周期和开发成本与风险。 AI ISP升级主要体现在，超感光降噪:信噪比提升了4倍；多光谱融合:红外补光，既有全彩又有细节；超级宽动态:动态范围扩大12dB，同时获得明亮细节和暗部细节；超级稳像:在运动条件下获得稳定画面；多维度感知:形象感知的同时进行物理量的标注。 主控关键特性已经全部开放出来：智能加速4Tops INT8 NN加速引擎，双核Vision Q6的DSP处理；支持4K60的H.265/H.264编码，支持10路1080p30的H.265/H.264解码；支持4路4Mp30机内实时硬化拼接，支持2路4K p30机内实时硬化拼接；高速接口支持USB3.0和PCIe2.0高速接口。 内置智能视频分析神经网络加速引擎，高达 4Tops INT8 支持INT4/FP16 ，支持完整的API和工具链，易于开发 ，双核 Vision Q6 DSP 32K I-Cache /32K D-Cache /32K IRAM/320K DRAM，内置智能计算加速引擎，双目深度加速单元，以及矩阵计算加速单元。 引脚原理图