【大联大友尚英特尔神经计算棒】Intel神经网络计算棒2代（NCS2短评）

楼主

小怼怼

4 主题
4 帖子
437 积分

身份：LV2 初级技术员

E币：388

发消息

 3997

 0

发表于 2021-9-22 23:47:48

显示全部楼层

附件.zip (19.3 MB, 下载次数: 3)

2021-9-23 15:58 上传

点击文件名下载附件
感谢大联大和社区给我这个计算棒的评测机会，接下来我们会从思维导图中涉及的方面展开论述。

我们的主角就是这个小家伙了~，通体蓝色，就像一个高端U盘一样，质量为35g，对着这个体积也算的上沉甸甸的了~

硬件与软件相关参数

硬件

• 处理器：英特尔 Movidius Myriad X 视觉处理单元 (VPU)

• 支持的框架：TensorFlow、Caffe、Apache MXNet、开放神经网络交换 (ONNX)、PyTorch* 和 PaddlePaddle*，通过 ONNX 转换

• 连接性：USB 3.0 Type-A

• 尺寸：2.85 英寸 x 1.06 英寸 x 0.55 英寸（72.5 毫米 x 27 毫米 x 14 毫米）

• 工作温度：0°C 至 40°C

软件

• Intel Distribution of OpenVINO toolkit

• 支持的操作系统：

– Ubuntu 16.04.3 LTS（64 位）

– CentOS* 7.4（64 位）

– Windows 10（64 位）

– macOS 10.14.4（或更高版本）

这个就是芯片的内部构成，最新一代英特尔® VPU 包括 16 个强大的处理内核（称为 SHAVE 内核）和一个专用的深度神经网络硬件加速器，用于高性能视觉和 AI 推理应用程序——所有这些都以低功耗运行。

在前端放置着我们的计算核心，网络上的拆机图也没有，这个渲染图来自于Intel官方，对于内部结构的布局认识有着一定的信度。

Intel的独家Logo,富有科技感

它的核心部件，相当于纽扣电池大小，低功率，高性能的AI芯片

Myriad X 的强大之处在于 Movidius 引入了被称之为神经计算引擎（Neural Compute Engine）的新结构，这是一种片上 DNN 加速器。Movidius 称，在该组件的帮助下，Myriad X 可以在 Myriad X 理论计算能力 4+ TOPS 的基础上达到超过每秒万亿次（TOPS）的 DNN 峰值吞吐量。

此外，Myriad X 还有四个 C 编程 128 位 VLIW 向量处理器，来自 Myriad 2 的可配置 MIPI 通道，以及扩展的 2.5 MB 片上存储器，更多固定功能的图像／视觉加速器。像 Myriad 2 中的一样，Myriad X 的向量单元是针对计算机视觉工作负载优化的专门 SHAVE 处理器。Myriad X 同样也支持最新的 LPDDR4。在随附的发布视频中，Movidius 通过核心图展示了 Myriad X 功能。

Myriad X 的另一个新功能是 4K 硬件编码，支持 30 Hz (H.264/H.265) 和 60 Hz (M/JPEG) 的 4K 硬件编码。在接口方面，Myriad X 支持 USB 3.1 和 PCIe 3.0，两者对于 Myriad VPU 系列都是新功能。所有这一切都在 Myriad 2 一样的2W 的包络功率内完成，更准确地说是 1W。

全新的X芯片

Myraid X芯片与第一代Myraid2芯片的对比

实物的样子

放倒的样子，做工精美

思维导图

简介

Intel®神经计算棒2由Intel Movidius™ X VPU提供支持，可提供出色的性能、功率和功耗。该神经计算棒支持OpenVINO™，这是一款可加快解决方案开发并简化部署的SDK，同时也支持CPU，CPU自带的集成显卡，FPGA，VPU等计算设备的集成工具包。神经计算棒2简单易用，可即插即用，并支持常用框架拥有开箱即用的示例应用程序。使用具有3.0USB端口的任何平台进行原型设计和操作，而不必依赖云计算。Intel NCS 2可实现每秒4万亿次运算，与前代产品相比，性能提升了8倍。

特点

• 卓越的每瓦性能将机器视觉提升到全新级别，在运行相关代码的时候重点考虑使用CV领域的项目

• “在边缘”运行，不依赖云计算连接，不需要考虑与网络的连接情况

• 现可在笔记本电脑、单板计算机或任何带USB端口的平台上进行深度学习原型设计

• 价格合理 — 具有每瓦性能更高的优势和高效无风扇设计的优势

• 将Intel® Movidius™ Myriad™ X VPU和Intel® Distribution of OpenVINO工具套件的硬件优化性能相结合，加快深度神经网络应用的速度

• 在同类产品中首次采用神经计算引擎 — 一款专用硬件加速器

• Intel Movidius Myriad X VPU将16个强大的处理内核（称为SHAVE内核）和超高吞吐量智能内存结构相结合，成为移动应用型深度神经网络和计算机视觉应用的行业领导者

• 在芯片上采用全新的深度神经网络 (DNN) 推理引擎

NCS2优势

1.产生背景

在聊背景之前先说一下深度应用的制作流程：

• 获取数据

• 对数据的前向处理（矫正方向，RGB转黑白，去噪，锐化，resize等）

• 构建合适的神经网络训练模型

• 使用GPU，CPU等算力强大的设备，进行迭代训练

• 得到最终的特征模型

• 布置推理模型（所谓的应用层）

1.1边缘算力短缺

当我们具体到应用层的时候，推理设备所需要的算力还是很庞大，传统的计算构架不满足应用需求。所以急需要一种，具有高吞吐量的并行计算设备。

1.2应用端推理需求

• 价格低廉，适合大规模部署

• 性能强大，满足深度学习的基本要求

• 能耗较低，可以使用小型电源供电

• 适配较多的计算框架：TensorFlow、Caffe、Apache MXNet、开放神经网络交换 (ONNX)、PyTorch* 和 PaddlePaddle*，通过 ONNX 转换

2.产品迭代

2.1第一代产品

第一代产品已经停售，其使用的芯片为Myraid 2，计算棒2使用的是Myraid X芯片，在性能上面是上代产品的8倍。具体的芯片性能参数对比看上方的对比图。

2.2未来展望

按照一二代的发布看，计算棒的3代要等Myraid芯片的第三代发布了。希望我到时候可以评测到第三代的计算芯片咯。

3.核心竞争力

3.1VPU计算芯片

在指甲盖大小的芯片上面使用1W的功率获得一秒4万亿次运算

3.2OpenVIVO处理框架

强大的OpenVIVO计算框架

支持将常用的计算框架经过框架转换为OpenVINO计算源，再分布在Windows，Linux，macOS系统等。

具体流程，三步走：

使用 Open Model Zoo 查找准备用于推理的开源、预训练和预优化模型，或使用您自己的深度学习模型。

通过模型优化器运行经过训练的模型，将模型转换为中间表示 (IR)，该表示在一对文件（.xml 和 .bin）中表示。这些文件描述了网络拓扑并包含模型的权重和偏差二进制数据。

使用推理引擎在多个处理器、加速器和环境上运行推理并输出结果，实现一次编写、随处部署的效率。

4.软硬件适配情况

4.1多平台布置

支持的操作系统：

• Ubuntu 16.04.3 LTS（64 位）

• CentOS* 7.4（64 位）

• Windows 10（64 位）

• macOS 10.14.4（或更高版本）

• Raspbian

5.使用场景

5.1小型智能化无人机

特别是大疆的教育产品线，Tello系列无人机,在图传方面就使用了和计算棒2同款芯片，

Tello可编程教育无人机

相关使用探究

分析脚本

在接下来的文章中，会大篇幅的说这个模型的转换过程，因为计算棒确实是直接推理不了这些模型，数据结构，表示方式等等，反正就是运行不了，只要转换过后就有可能。甚至来说，让其计算通用的计算模型都可以，比如解个微分方程。

: command line arguments parsing
:input_arguments_loop
if not "%1"=="" (
if "%1"=="-d" (
set TARGET=%2
echo target = !TARGET!
shift
)
if "%1"=="-sample-options" (
set SAMPLE_OPTIONS=%2 %3 %4 %5 %6
echo sample_options = !SAMPLE_OPTIONS!
shift
)
if "%1"=="-help" (
echo %~n0%~x0 is classification demo using public SqueezeNet topology
echo.
echo Options:
echo -d name Specify the target device to infer on; CPU, GPU, FPGA, HDDL or MYRIAD are acceptable. Sample will look for a suitable plugin for device specified
exit /b
)

这里我们分析一下脚本的作用，我们应该知道，对于OpenVIVO其实并不是一个专门适用于计算棒的软件，它是支持Intel家的CPU（六代到八代），以及GPU（位于CPU内部的集成显卡），以及FPGA产品（前几年收购的A厂），以及就是我们的计算棒，注意这里计算棒的名字叫 MYRAID

cd C:"Program Files (x86)"\IntelSWTools\openvino\deployment_tools\demo
.\demo_squeezenet_download_convert_run.bat –d MYRIAD

所以我们在执行coda之前，要显式的写出我们的d参数，就是devices的缩写，默认是使用CPU进行计算

.\demo_squeezenet_download_convert_run.bat –d MYRIAD

这里不幸运的是，我的这个demo是没有跑起来的，模型下载不全

驱动安装

这里插一句，如果你的设备一直没有跑起来，可能是驱动的原因

C:\Program Files (x86)\Intel\openvino_2021.4.689\deployment_tools\inference_engine\external\myriad\drivers

打开这里，我们可以看到一些驱动的安装文件。接着打开设备管理器，找到我们的计算棒，右键驱动安装，从本地，找到目安装一下。

常规模型到计算棒模型转换

对于我们的加速棒，我们也需要知道，它支持的精度，或者是他的能力是FP16。

一个FP16的数据占据两个字节，其中一个是符号为，5位指数位，10位有效精度，写一下数值计算的公式：

***（-1）^sugnbit\*2^(e)\*(1+signficantbits)\***

经过简单的计算MAX为65504，MIN为6.10*10^-5(吐槽一下，这社区好像对公式不太友好哇）。

但是我们一般的都是使用FP32来进行计算，所以在棒子上面跑的话，需要一个:

**FP32 -----> FP16**

的转换过程。

这里没想到又是坑。。。和我玩一代计算棒的时候目录大有不同，经过一番搜索，查看：

C:\Program Files (x86)\Intel\openvino_2021.4.689\deployment_tools\open_model_zoo\models

以上这个目录是我们最新的模型文件夹，不对，这个是开放模型，看下面这个位置

C:\Program Files (x86)\Intel\openvino_2021.4.689\deployment_tools\intel_models

这里是我们的模型位置。

在这里我再插一下，因为现在的的深度运算，都是几家独大的，所以就要选择计算框架，包括TF，caffa，kaldi，ONNX，MXNET等。每家的标准都不一样，带来的数据结构也不尽相同，但是为了最终可以在计算棒使用，所以就需要转换相关的数据。计算机分层的概念在这里体现的淋漓尽致。

C:\Program Files (x86)\Intel\openvino_2021.4.689\deployment_tools\model_optimizer\install_prerequisites

我们打开这个文件夹以后，可以看到很多计算框架的模型优化脚本，如果可以使用多了框架，可以全装，如果就是一个，就单独的安装。我这里是TF2，直接就执行TF2就好

tensorflow~=2.4.1
networkx~=2.5
numpy>=1.16.6,<1.20
defusedxml>=0.7.1
requests>=2.25.1

内部先会执行pip的安装软件，安装这些库

@echo off
:: Copyright (C) 2018-2021 Intel Corporation
:: SPDX-License-Identifier: Apache-2.0
:: Check if Python is installed
CALL install_prerequisites.bat tf2

我们看下这个安装文件，很明显的是调用了另外一个脚本，就是给了一个参数而已。

> python --version 2>NUL> if errorlevel 1 ( > echo Error^: Python is not installed. Please install Python 3.5 ^(64-bit^) or higher from https://www.python.org/downloads/> goto error > ) >> :: Check if Python version is equal or higher 3.4> for /F "tokens=* USEBACKQ" %%F IN (`python --version 2^>^&1`) DO ( > set version=%%F 
> )
> echo %var%

打开上面的另外一个脚本，里面一开始就是写了一个对Py解释器的版本监测

IF /I "%1%" EQU "tf2" ( set postfix=_tf2 )

这个地方的参数会接收这个

pip3 install --user -r ..\requirements%postfix%.txt

使用这个来安装我们上面给你们看到的几个库

最后会打印：

echo **************************************************** ********************************************
echo 可选：为了加快模型转换过程，请安装位于
echo "model-optimizer\install_prerequisites" 文件夹或从源构建 protobuf 库。

如果对这个性能不满意的话，还可以自己构建库。我这里说的是caffe的用户，TF就不要考虑了。

这里推荐使用虚拟的Python环境，我这里就不写了。自己搜索一下

接着才是要开始转换我们的模型，我上面写的有点早了。

python3 mo.py --input_model INPUT_MODEL --output_dir <OUTPUT_MODEL_DIR>

对于转换来说，可以使用通用的脚本来转换，也可以使用专有的脚本。

python3 mo.py
--input_model INPUT_MODEL
--output_dir <OUTPUT_MODEL_DIR>

这样看起来就很很明了了

脚本在$INTEL_OPENVINO_DIR/deployment_tools/model_optimizer/. 输出目录必须具有写入权限，因此你可以从输出目录运行 mo.py 或使用--output_dir选项指定输出路径。

C:\Program Files (x86)\Intel\openvino_2021.4.689\deployment_tools\model_optimizer

这个目录里面

\#!/usr/bin/env python3 if __name__ == "__main__":  from mo.subprocess_main import subprocess_main # pylint: disable=no-name-in-module 
subprocess_main(framework=None)

这个脚本可以接收很多的参数：

可选参数：
-h, --help 显示此帮助信息并退出
--framework {tf,caffe,mxnet,kaldi,onnx}用于训练输入模型的框架的名称。

与框架无关的参数：
--input_model INPUT_MODEL, -w INPUT_MODEL, -m INPUT_MODEL
Tensorflow*：带有预训练模型的文件（二进制或冻结后的文本 .pb 文件）。Caffe*：模型带有模型权重的 proto 文件

--model_name MODEL_NAME, -n MODEL_NAME Model_name 参数传递给最终的 create_ir转变。此参数用于命名网络生成的 IR 和输出 .xml/.bin 文件。
--output_dir OUTPUT_DIR, -o OUTPUT_DIR存储生成的 IR 的目录。默认情况下，它是模型优化器所在的目录。
--scale SCALE, -s SCALE 来自原始网络输入的所有输入值将除以这个值。当输入列表被 --input 参数覆盖，这个比例是不应用于任何与不匹配的输入模型的原始输入。
--disable_weights_compression禁用压缩并使用原始值存储权重精确。
--progress 启用模型转换进度显示。
--stream_output 切换模型转换进度显示为多行模式。

就是这些参数了（兄弟，冰山一角啊，我用到的只有这些，因为一些细节我也不懂）

转换脚本参数
何时指定平均值和尺度值

通常神经网络模型是用归一化的输入数据训练的。这意味着输入数据值被转换为在特定范围内，例如，[0, 1]或[-1, 1]。有时，作为预处理的一部分，从输入数据值中减去平均值（平均图像）。输入数据预处理的实现方式有两种。

• 输入预处理操作是拓扑的一部分。在这种情况下，使用框架推断拓扑的应用程序不会预处理输入。

• 输入预处理操作不是拓扑的一部分，预处理是在为模型提供输入数据的应用程序中执行的。

在第一种情况下，模型优化器生成具有所需预处理层的 IR，推理引擎样本可用于推断模型。

在第二种情况下，应向模型优化器提供有关均值/尺度值的信息，以将其嵌入到生成的 IR 中。模型优化器提供了许多命令行参数来指定它们：--scale、--scale_values、--mean_values、--mean_file。

如果同时指定了均值和比例值，则先减去均值，然后应用比例。输入值除以比例值。

没有确定特定模型的均值/尺度值的通用方法。以下步骤可以帮助确定它们：

• 阅读模型文档。如果需要预处理，文档通常会描述均值/比例值。

• 打开执行模型的示例脚本/应用程序并跟踪如何读取输入数据并将其传递给框架。

• 打开一个可视化工具的模型，并检查用于执行减法或乘法的层（如Sub，Mul，ScaleShift，Eltwise输入数据的等）。如果存在这样的层，预处理可能是模型的一部分。

何时指定输入形状

在某些情况下，模型的输入数据形状不固定，例如全卷积神经网络。例如，在这种情况下，TensorFlow* 模型包含操作属性中的-1值。推理引擎不支持未定义大小的输入层，因此如果模型中未定义输入形状，模型优化器将无法转换模型。解决方案是使用或命令行参数为模型的所有输入提供输入形状，或者如果模型仅包含一个未定义批量大小的输入，则使用命令行参数提供批量大小。在后一种情况下，TensorFlow* 模型的形状如下所示。shapePlaceholder--input--input_shape-bPlaceholder[-1, 224, 224, 3]

何时反转输入通道

应用程序的输入数据可以是 RGB 或 BRG 颜色输入顺序。例如，推理引擎样本以 BGR 通道顺序加载输入图像。但是，模型可能会在以相反顺序加载的图像上进行训练（例如，大多数 TensorFlow* 模型都使用 RGB 顺序的图像进行训练）。在这种情况下，使用推理引擎示例的推理结果可能不正确。解决方法是提供--reverse_input_channels命令行参数。使用此参数，模型优化器执行第一次卷积或其他通道相关操作权重修改，因此这些操作输出将像图像以 RGB 通道顺序传递一样。

何时指定--static_shape命令行参数

如果--static_shape指定了命令行参数，模型优化器会针对固定输入形状评估模型中所有操作的形状（形状传播）。在形状传播期间，模型优化器评估操作形状并将它们从计算图中删除。使用这种方法，可以将可以消耗不同形状输入的初始模型转换为仅使用一种固定形状输入的 IR。例如，考虑将某些 blob 从形状[N, C, H, W] 的4D 重新整形为形状[N, C, H * W] 的情况。在模型转换期间，模型优化将输出形状计算为具有值[N, C, H * W]的恒定一维 blob 。因此，如果输入形状更改为其他值[N,C,H1,W1]（完全卷积模型可能的情况）然后重塑层变得无效。在推理引擎的帮助下，生成的中间表示将无法调整大小。

实例运行

我们接下来运行一个实例代码，在运行前需要先激活我们的环境变量：

就像这样

模型介绍

脚本用来对车牌识别，而且对车进行划分

流程

1. 下载三个预训练模型 IR（计算棒支持的中间件文件格式）。

2. 使用Cmake编译演示程序。

3. 在编译目录下，以bmp文件作为输入，运行程序。

参数输入与输出

1. 标识标识为车辆的对象。

2. 使用车辆标识作为第二个模型的输入，该模型标识特定的车辆属性，包括车牌。

3. 使用车牌作为第三个模型的输入，该模型识别车牌中的特定字符。

CPU与计算棒对比

.\demo_security_barrier_camera.bat -d GPU

GPU的缺少一些文件，没有运行成功

.\demo_security_barrier_camera.bat

CPU运行成功

.\demo_security_barrier_camera.bat -d MYRIAD

计算棒运行成功

对比来看还是CPU强大一些，接下来看性能对比。

性能对比

CPU性能

.\demo_benchmark_app.bat

运行代码

Total time: 10505 microseconds

Full device name: Intel(R) Core(TM) i7-7700HQ CPU @ 2.80GHz

Count: 1000 iterations
Duration: 2674.34 ms
Latency: 10.15 ms
Throughput: 373.92 FPS

结果

计算棒2性能

.\demo_benchmark_app.bat -d MYRIAD

运行代码

Total time: 6061 microseconds

Full device name: Intel Movidius Myriad X VPU

Count: 1000 iterations
Duration: 3619.12 ms
Latency: 14.16 ms
Throughput: 276.31 FPS

结果

性能对比

我们就以处理的帧数的比这个很主观的数据作为评价的标准，因为帧数高，直观来讲就是流畅。