标签: 机器学习

来源：友思特 智能感知 友思特分享 | Neuro-T：零代码自动深度学习训练平台 欢迎关注虹科，为您提供最新资讯！ 工业自动化、智能化浪潮涌进，视觉技术在其中扮演了至关重要的角色。在汽车、制造业、医药、芯片、食品等行业，基于视觉技术实现的缺陷检测具有非常大的需求。对于传统检测方法，目视检查方法能够有效检测非标、具有挑战性的缺陷，传统机器视觉方法具有稳定的速度及准确性，适合重复检测任务。这两种方法具有诸如检测精度、缺陷类型、技术人员成本等局限性。在这种背景下，融合深度学习的视觉检测方案有效地结合了两者的优势，满足了传统检测方法的需求。 为什么要选择友思特 Neuro-T？ 深度学习项目流程如上图所示。对于深度学习视觉检测方案： (1) 高质量的训练数据对于创建高性能的深度学习模型至关重要； (2) 创建高性能的深度学习模型需要丰富的专业知识。 完成一个深度学习视觉检测项目，需要有丰富经验的行业领域工程师和深度学习工程师。 友思特 Neuro-T为传统的深度学习视觉检测方案提供了“ 自动深度学习 ”的解决方案。Neuro-T 软件集成 自动深度学习算法，结合自动标注功能 ，一键生成高性能视觉检测模型，无需AI领域专业知识即可创建深度学习视觉检测模型。 友思特 Neuro-T 平台介绍 友思特 Neuro-T 是一个用于深度学习视觉检测项目的一体化平台，可用于 项目规划→图像预处理→图像标注→模型训练→模型评估 一系列任务。Neuro-T提供了便捷的工具和友好的图形化界面，只需四个步骤即可创建一个深度学习模型： 01 文件页面 第一步是在文件页面导入图像 该页面还提供了如图像切片、图像增强等预处理功能 02 数据页面 第二步从选择模型类型开始。 通过标注，用户可以指示模型要检测的目标 03 训练页面 第三步是验证数据集并启动训练过程 自动深度学习算法使得一键即可完成训练设置 04 结果页面 第四步是评估模型的性能 模型可以基于四个不同的值（Accuracy, Precision, Recall, F1 Score）进行评估 友思特 Neuro-T 的优势特性 自动深度学习算法 深度学习算法分为：自动深度学习算法和现有算法。自动深度学习算法使得每个人都可以轻松地创建高性能的深度学习模型。 自动标注 在大数据量深度学习任务中，标注任务需要耗费大量时间。Neuro-T通过自动标注显著缩短项目周期时间，基于用户已标注的数据来保证后续标注的一致性。 本地云环境 用户可以在安全的环境中与团队成员协作。Neuro-T 的服务端-客户端架构只允许团队成员共享工作区。 流程图和推理中心 流程图可以链接多个不同类型的模型来简化项目设计，如分类+检测模型组合。推理中心可以评估项目流程图的推理时间和准确率，从而以更少的尝试和错误创建最佳模型。 快速再训练 如果出现新的缺陷类型或设计修改，需要重新进行训练，且存在时间延迟和效果下降的问题。Neuro-T 通过自动深度学习和平衡数据，以较短的训练时间实现较高的模型精度。 友思特 Neuro-T 的功能 分类(Classification) 分类正常类型与缺陷类型 分割(Segmentation) 通过分析像素识别特点形状缺陷和位置 目标检测(Object Detection) 识别物体类别、数量和位置 异常检测(Anomaly Detection) 通过仅在正常图像上训练来识别异常图像 字符识别(OCR) 光学字符识别 旋转(Rotation) 旋转图像至正确方位 友思特 Neuro-T 应用案例 1. 汽车用钢材 检测要点： （1）汽车表面缺陷检测和装配完成检测。 （2）VIN编号识别。 （3）材料表面涂层区域的识别。 （4）无损检测、焊接/卷材/板材检测。 2. 螺栓/螺母组件检测 3. VIN编号识别 4. 其他汽车制造业应用领域

各行各业的欺诈者一直存在，尤其是金融服务行业欺诈性事件更是数不胜数。为了阻止欺诈事件的产生，反欺诈者也越来越多。随着人工智能在计算机领域的发展，使用机器学习进行欺诈检测已在许多行业中流行起来。本文中，虹科云科技将探讨如何使用机器学习进行欺诈检测、一些最常用的机器学习欺诈检测算法和最佳实践。 一、使用机器学习相对于传统方法的好处 1.机器学习的概念 在深入研究如何使用机器学习来检测欺诈之前，我们先简要定义一下机器学习是什么。机器学习是人工智能的一种应用，它使系统能够从经验中学习和改进，而无需明确编程。 2.欺诈检测的方法 欺诈检测有两种方法。最常见的是基于规则的方法，而最有效的是使用机器学习。基于规则的检测已经存在了一段时间并且仍被广泛使用，但该方法难以应对不断变化的欺诈环境。此外，使用规则意味着必须撒大网，可能会导致一些正常的交易被标记为欺诈。例如，风险分析师可以根据位置创建规则从而阻止假定有风险的位置的交易。 通过机器学习，规则进行了相应的改进。通过机器学习，系统可以从以往的经验（数据）中学习，而这往往是应对欺诈事件的好方法。使用机器学习并不意味着规则没有用或已经过时。事实上，结合使用这两种方法可以让你在与欺诈者斗智斗勇过程中获得最佳机会。 二、使用机器学习进行欺诈检测 在使用机器学习检测欺诈时，通常有两种方法可以解决： 第一个是异常检测，它从无监督学习的角度解决问题。 另一种是分类，这是一种有监督的学习方法。 1.异常检测 一般来说，异常检测，也称为聚类，是一种用于识别异常行为的机器学习技术。表明异常行为的遥远数据点被称为点异常。在检测金融欺诈时，重要的是要了解大多数金融交易（超过 99%）不是欺诈性的。因此，欺诈者实际进行的交易中只有一小部分是点异常，这些小部分的点异常则是企业系统需要标记的事务。 2.分类 在机器学习中使用分类，是通过不同的角度解来检测欺诈。在这里，需要训练一个模型来学习好交易和坏交易的特征，以便对新交易进行分类。值得注意的是，需要有足够数量的数据并标记好了“好的交易数据”和“坏交易的数据”，这样系统对数据进行模型训练后才能分辨哪些交易具有欺诈性。 三、机器学习欺诈检测算法 目前有多种算法可以进行欺诈检测，至于哪种算法更好、更适用，关键还要看企业的数据。下面是目前使用比较多的一些机器学习欺诈检测算法。 1.逻辑回归 逻辑回归是最基本，但功能最强大的算法，可用于预测真假（二进制）值。逻辑回归通过将数据拟合到逻辑函数来从一组自变量中估计离散值（通常是欺诈/无欺诈等二进制值）。 2.决策树 决策树是另一种流行的算法，它学习规则来分割或分类数据。决策树算法最有趣的一点是，该模型是一组易于解释的规则，同时也可以采用这些规则并创建基于规则的系统。但是，该模型绝不是基于规则的系统，因为基础数据的微小变化可能会导致一组完全不同的规则。 3.随机森林 随机森林是一种基于多个决策树的算法，可以提供更准确的分类。它通过平均单个决策树的结果来做到这一点，其预测能力是非常优秀的。随机森林适用于具有大量输入变量的训练集。 但从一方面看，随机森林比决策树更难解释。通过随机森林最终会得到许多规则，而不是一套规则。尤其需要对系统合规性或其他监管要求进行解释时，多种规则可能会出现问题。 4.K-近邻算法 (KNN) K-近邻算法是一个简单的算法，它存储所有可用案例，通过对其k个最佳邻居进行多数投票来对新案例进行分类。在K-近邻算法中，会使用像欧几里得距离这样的距离函数。此外，该算法的训练过程并不完全生成模型。相反，“训练”和“分类”是即时发生的。 这使得 KNN 算法在欺诈检测方面比其他机器学习算法的计算密集度更高。 5.K-均值 K-均值是一种解决聚类问题的无监督学习算法（不同于 KNN）。该算法将给定的数据集分组到多个集群中，以使集群中的数据点尽可能相似。与KNN类似，K-均值也会使用距离函数。 四、在欺诈检测中使用机器学习面临的挑战 1.标签不平衡 在现实世界的欺诈检测中，几乎都需要处理不平衡的数据集，因为欺诈条目在数据集中仅占少数。如果用户使用的是有监督的机器学习，则更适合处理平衡数据而非不平衡的数据集。 对于该问题，一种常见的解决方案是使用上采样等技术来增加少数欺诈样本或使用下采样来减少大多数合法样本。 2.非平稳数据 想要抓住欺诈者，就像一场猫捉老鼠的游戏。因为欺诈行为会迅速发生变化，这也会导致数据发生变化。因此，不断训练新模型来应对欺诈非常关键。一种有效的方法是建立一个模型再训练过程，以便更快地适应并更好地捕捉欺诈行为。

什么是 AI 管道？AI 管道是一种自动化机器学习工作流程的方法。AI 管道 一般包括四个主要阶段： *预处理 *学习 *评估 *预言 一、什么是机器学习操作？ 术语“Ops”是“操作”的简写，被附加到许多不同的术语中，以表示对适合单个学科的多个相互关联的流程进行精简。例如，这种框架设备更常见的用途之一是“DevOps”，或将多个流程（如测试、错误跟踪、监控和迭代敏捷开发）集成到单个管道中。 集成操作发挥巨大作用的另一个地方是机器学习。机器学习是一个包含多个关键组件的复杂过程，而最佳地执行这些组件可以证明是可靠机器学习平台的成败。 MLOps 是 AI 平台的关键部分，部分原因在于机器学习和 AI 之间的关系： * 人工智能平台为智能机器提供动力 ：更大的机器，包括分析平台和制造系统，由可以持决策和优化的人工智能提供支持。人工智能通常包含几个组件，其中之一是机器学习。 *神经网络大脑为人工智能提供动力 ：神经网络是根据我们在人脑中观察到的情况建模的——也就是说，思维过程由神经元等较小的组件组​​成，将输入处理成越来越复杂的过程。创造性思维是相对简单的任务完成的涌现结果。 *机器学习算法教授神经网络 ：机器学习算法在机器学习管道的推动下，获取数据并通机器学习模型运行，以了解特定系统及其工作方式。机器学习算法使用的模型可能会改变它们的学习方式，但基线操作是算法优化战略思维，可以作为人工智能平台的基础。 因此，人工智能管道包括背景机器学习算法，这些算法向系统教授环境策略，形成一个更大的人工智能，可以驱动它所连接的任何系统或机器。人工智能管道本质上是一个机器学习管道。 二、什么是 AI 管道？ 人工智能或机器学习管道是相互连接且流线型的操作集合。从数据收集到训练模型，这些信息会进入并通过机器学习系统。 AI 管道由“工作流”或交互路径组成，数据通过这些路径在机器学习平台中移动。一般来说，这些工作流程由以下阶段组成： *数据摄取 ：人工智能训练需要大量信息才能实际训练运行它的算法。在现代数据平台出现之前，收集这么多数据几乎是不可能的。现在，人工智能平台从数据库、用户输入和混合云系统等多个来源提取数据。 *数据清理 ：通过这些方法收集的大多数数据都是非结构化的。它不是遵循相同的清除、识别和分类过程的数据。第一步是筛选出损坏或重复的数据，或简单的“虚拟数据”，这对机器学习没有帮助。 *预处理 ：顾名思义，非结构化数据没有以适当处理所需的结构化方式进行分类、格式化或存储。预处理是在处理之前自动分类和存储以供使用。 *建模 ：机器学习系统然后根据给定的应用领域创建或改进模型——本质上，系统是使用摄取的数据进行训练的。机器学习系统将创建和利用模型来推动智能决策并为未来的模型提供信息。 *部署 ：人工智能可以被部署以供最终用户、业务用户或数据科学家使用。 工作流（以及管道）将信息从收集转移到最终部署，并代表一个迭代过程，该过程不断将新信息（来自数据收集阶段和用户交互）提供给机器学习和人工智能系统，以用于学习和处理目的。 三、ML工作流程如何塑造 AI 管道？ 虽然我们了解 AI 管道的作用，但了解 AI 进程如何在这些管道中发挥作用也很重要。 人工智能有几个阶段，作为其“学习”过程的一部分。这些阶段包括： （1）预处理 虽然我们已经介绍了这一部分，但重要的是要了解 ML 工作流的几个阶段用作 AI 应用程序的预处理。这包括清理数据、构建数据并为 AI 学习模型做好准备。 （2）学习 机器学习本身就是一门完整的学科，也是人工智能的一个子集。作为人工智能系统的一部分，机器学习算法将使用不同的模型来处理数据。 支持 AI 管道的一些最常见的机器学习形式包括： *监督学习 ：监督学习是数据科学家如何根据样本输入为机器学习算法提供所需输出的示例。然后，机器学习算法使用这种相关性来学习如何根据输入和输出之间的关系来最好地构建它们的行为。这就像一个代数方程，机器学习在其中学习如何最好地求解给定样本数的“X”。这种学习形式支持数据分类和分析等应用类型。 *无监督学习 ：顾名思义，这种学习形式省略了任何结构化输出供机器学习学习。相反机器学习算法使用数据集来了解该数据中的固有模式以及如何最好地将其用于特定任务。这种机器学习支持数据挖掘和数据组织等高级战略行动。 *强化学习 ：强化学习主要与数字或物理系统中的代理相关，并使用行动和奖励教学来帮助这些代理学习如何在这些环境中对战略行动进行建模。这种学习最常用于多人游戏中。 *深度学习 ：深度学习是一种教学形式，它使用神经网络层来促进复杂任务的机器学习， 例如物理系统的模式识别，例如图像和面部识别。这种学习形式并非排他性的，因为它由神经网络驱动，以促进更广泛的学习技术。因此，例如，您可以将深度学习技术与列出的任何方法一起使用。深度强化学习是非常先进的系统机器学习的一种常见形式。 （3）评估 人工智能系统由使用机器学习技术和技术创建的“训练有素”的大脑驱动，评估来自用户输入的传入数据。此阶段要求提供给 AI 的信息与其预期接收的信息相匹配，并且它已经接受过培训。 请注意，在构建用于 AI 平台的非结构化数据的过程中，必须以标准化的方式对其进行组织。无论您使用有监督还是无监督的数据，它都将以标准化的方式进行结构化。 （4）预测 基于通过学习过程学到的策略，人工智能将根据信息做出预测，从而为决策提供信息。这可以包括机器为用户提供的洞察力、它如何驾驶其他机器（如自动驾驶汽车或制造设备）或对风险管理表执行复杂的分析。 四、使用 WEKA 云基础架构为 AI 管道供电 AI 管道需要大量资源：计算能力、随时可用的存储、灾难恢复和备份、机器学习应用程序的专用硬件等。典型的云环境通常不具备这种能力。相反，数据科学家转向专门的混合云环境来运行他们复杂的 AI 管道。 WEKA 提供了这样一个环境，包括以下功能： *流线型和快速的云文件系统，将多个源组合到一个高性能计算系统中 *业界最佳的 GPUDirect 性能（单个 DGX-2 为 113 Gbps，单个 DGX A100 为 162 Gbps） *针对治理、风险和合规性要求的动态和静态加密 *边缘、核心和云开发的敏捷访问和管理 *可扩展至数十亿文件的 EB 级存储

云计算、边缘计算和机器视觉越来越多地应用在工业和消费系统中，NXP推出先进的i.MX8M Plus应用处理器，将用于机器学习加速的神经处理单元（NPU）、图像信号处理器（ISP）、GPU集成在处理器上，应用于工业和物联网边缘的机器学习推理和各类人工智能。 为满足人工智能、机器视觉、边缘计算在各领域不断增长的需求，启扬智能基于NXP i.MX8M Plus处理器研发推出 IAC-IMX8MP-Kit开发板 。 IAC-IMX8MP-Kit开发板 启扬IAC-IMX8MP-Kit开发板拥有强大的处理器内核，四核Cortex-A53和1个Cortex-M7内核，主频可达1.6GHz；内置算力高达2.3 TOPS的神经处理单元NPU，高精度图形处理单元（GPU）和图像信号处理器(ISP)；拥有先进的多媒体功能，支持多格式1080P@60视频编解码、3D、2D图形加速以及多种音频和语音功能。IAC-IMX8MP-Kit开发板采用B TO B连接器连接核心板和底板，核心板集成CPU、LPDDR4、eMMC、PMIC等主要器件；底板充分扩展了核心资源，引出千兆网口、USB3.0、Type-C、M.2、CAN-FD等高速接口以及各类通信、扩展接口，可快速实现在工业互联、机器视觉、智慧城市、智慧家居、智慧医疗等方面的AI应用开发。 高性能多核处理器 启扬IAC-IMX8MP-Kit开发板搭载的处理器采用14nm LPC FinFET工艺技术，四个主频可达1.6GHz的Cortex-A53内核，搭配一个主频为800MHz的 Cortex-M7实时控制内核，先进工艺技术、多核异构和实时操作系统内核，在提升性能的同时进一步优化了能耗； 内置神经处理单元NPU 内置用于机器学习加速的神经处理单元NPU，算力可达2.3 TOPS，边缘本地化运行处理机器学习和推理，支持目标分类、目标检测、目标识别、场景分割等机器视觉处理任务； NPU支持Tensorflow-lite、armNN、ONNX、PyTorch等模型，可快速将模型部署到嵌入式硬件平台中，助力AI应用落地。 集成双图像信号处理器(ISP) 集成双ISP，输入速率高达375M像素/s，分辨率可达12MPix/s，支持双摄像头同时输入；支持处理高动态范围（HDR）的快速多重曝光、图像增强等复杂的图像处理任务，提供灵敏的机器视觉。 丰富的多媒体功能 集成2D/3D图形加速器，支持OpenGL®ES 3.1/3.0、Vulkan®、Open CL™ 1.2 FP、OpenVG™ 1.1，可实现1080p 60 H.265/H.264视频编码和1080p 60 H.265/H.264/VP9/VP8视频解码； 拥有LVDS、MIPI-DSI、HDMI2.0多种显示接口，支持三路接口同时接入，可实现三屏同显、三屏异显； 集成高性能HiFi 4 DSP，6路SAI通道，支持I2S，AC97，TDM多数字音频接口，支持8通道PDM MIC输入。 丰富接口 引出2路千兆网口、3路USB3.0、1路Type-C、2路M.2（一路外接SSD 模块，一路外接4G/5G模块）、2路CAN-FD等高速通信接口，实现高效流畅的数据传输； 板载Wi-Fi模块，4路RS232、1路RS485、MIPI-DSI、LVDS、HDMI、I2C、GPIO、SIM等接口，核心资源全面引出，扩展能力强，满足各领域产品的接口需求。 工业级特性 提供适用于内部存储器和DDR接口的纠错码（ECC）功能，大大降低软错误率（SER），工业级设计，温宽可达-40℃~+85℃，满足工业应用的高质量和可靠性要求； 集成时间敏感网络(TSN)，精确把控以太网数据传输，Cortex-M7内核进行实时性控制，双CAN-FD高速接口，支持工业网络的低延迟通信。 作为NXP金牌合作伙伴，稳定供货周期长达10~15年。 操作系统 支持Linux5.10.35操作系统和Android操作系统（未发布） 应用领域

自从物联网(IoT)出现以来，边缘智能颇具颠覆性的创新，以及边缘计算应用都逐渐变得非常普遍，例如人脸识别，语音识别，物体识别，或者汽车上用的车辆识别系统都有它的身影。当然，这对算力的要求逐渐提高，NPU的性能也更受到注重，也作为了CPU与GPU外的下一个性能指标。 本文介绍的是米尔于2021年底发布的新品—— MYC-JX8MPQ核心板 ，作为AI领域的里程碑CPU模组，它基于NXP第一颗搭载了NPU的高端芯片 i.MX8MPlus ，这个模组主要面向AI场景，具有2.3 TOPS算力，4核 Cortex-A53 + Cortex-M7，主频1.8GHz+800MHz。 随着市场上机器学习开发的需求加大，NXP大力扩展eIQ软件环境，现在eIQ已经正式加入到BSP镜像中，它支持OpenCV，TensorFlow-Lite，armNN，PyTorch等框架。下面，我们借用一幅图来说明8M系列针对eIQ支持情况。 可以看到目前只有i.MX 8m Plus搭载了NPU神经网络单元，那么NPU到底强在哪里，请看如下对比。我们用了TensorFlow-Lite框架《将军》图为例，来对比CPU，GPU，NPU算法能力。 下表展示了通过对应的命令算出来的结果。可以看到，CPU的算力为平均44.832MS、GPU是160.934MS、NPU仅2.866MS，通过数据可以直观地看出NPU的算力更强，更能满足边缘计算的高标准要求。 这款 MYC-JX8MPQ 模组除拥有强悍的处理器之外，还有几个特别优势： 支持双MIPI CSI接口，可实现双路摄像头数据同时输入, 拥有强大的硬件编解码能力，支持H.264编解码； 多媒体接口丰富GPU/VPU、HDMI，支持HiFi语音及其他多媒体功能； 丰富的高速接口,传输速率快，其中2个千兆以太网、2个两用USB 3.0高速接口，可以保障语音和视频的高速传输； 所以，MYC-JX8MPQ可以在高性能AI设备、边缘计算、5G网关、高性能工业计算器、仪表仪器、工业网关设备等领域投入应用。 以上是对MYC-JX8MPQ核心板的介绍，同时米尔也提供配套的开发板，外设资源丰富。 登录米尔电子官网了解更多： http://www.myir-tech.com/product/MYC-J1028X.htm 关于米尔 米尔，专注嵌入式处理器模块设计和研发，是领先的嵌入式软硬件方案的供应商。米尔在嵌入式领域具有20年的行业技术经验，为客户提供专业的ARM工业控制板、ARM开发板、ARM核心板、ARM开发工具、充电桩计费控制单元及充电控制板等产品和技术服务。此外，米尔还可通过涵盖众多ARM处理器及操作系统的专业技术提供定制设计解决方案，通过专业且高效率服务帮助客户加速产品上市进程。