tag 标签: 深度学习

相关帖子
相关博文
  • 热度 1
    2020-7-7 14:27
    242 次阅读|
    0 个评论
    1 摘要 数据来源跟踪确定与给定输出相关的一组输入。它使数据工程中的质量控制和问题诊断成为可能。大多数现有技术通过跟踪程序依赖性来工作。他们无法从数量上评估相关输入的重要性,这对于机器学习算法至关重要,在机器学习算法中,输出往往取决于大量输入,而其中只有一些输入很重要。在本文中,我们提出了 LAMP,一种用于机器学习算法的出处计算系统。受自动微分(AD)的启发,LAMP 通过计算偏导数来量化输入对于输出的重要性。LAMP 将原始数据处理和更昂贵的导数计算分离到不同的过程中,以实现成本效益。另外,它允许量化与离散行为(例如控制流选择)相关的输入的重要性。对一组现实世界的程序和数据集的评估表明,与基于程序依赖的技术相比,LAMP 产生了更精确,更简洁的出处,而开销却少得多。我们的案例研究证明了 LAMP 在数据工程问题诊断中的潜力。 2 研究简介 与传统软件工程相比,数据工程的复杂性主要在于数据和模型。例如,许多数据处理程序,例如众所周知的机器学习程序,具有较小的尺寸。但是这些程序处理的数据和生成的模型通常很大且很复杂。基于图的机器学习(GML)是一种越来越受欢迎的数据处理方法。提供输入图模型和初始权重值后,GML 算法将生成更新的模型。这些算法大多数都是迭代算法。在每次迭代中,一个顶点与其邻居进行通信并更新其值,直到所有值收敛为止。通过多次迭代,一个顶点会影响到许多边缘不远的其他顶点。这就是所谓的涟漪效应。由于这种计算的性质,要确定所生成模型的正确性极具挑战性,因为故障可能会通过许多步骤传播,而故障状态可能会在传播过程中累积/混淆。即使用户怀疑最终输出的不正确性,他也几乎无法诊断确定根本原因的过程,根本原因可能出现在输入图模型,初始权重值甚至 GML 算法本身中。 数据出处是一种重要的方法解决问题。它标识输入输出依存关系和/或记录操作历史,大多数专注于在运行时选择性地收集中间结果,以努力提供崩溃恢复机制,调试支持等。但是,这些技术几乎无法解释输入输出的依赖性,无法量化单个输入的重要性。由于 GML 算法的涟漪效应,即使大多数输入对输出的影响微不足道,输出也往往取决于大量输入。 在本文中,作者提出了 LAMP,一种量化输入重要性的技术。受到自动差分,LAMP 通过计算关于输入的输出导数来工作。该设计将原始数据处理与出处计算分开,因此在生产运行过程中引入的开销很少。它通过产生过程具体确定输出变化来量化那些可能引起控制流变化的输入重要性。作者团队的主要贡献在于: 正式定义了 GML 算法的出处计算问题,这是量化输入重要性的关键挑战。 提出了一种将原始数据处理与出处计算分离的新颖设计。 提出了一种基于执行的方法来量化与控制相关的输入重要性流程。 我们开发了原型 LAMP。我案例研究证明了 LAMP 在数据工程中的潜力,它可以帮助开发过程和发现输入数据,图形模型甚至 GML 算法实现中的错误。 概念定义 如果一个顶点很重要(即,通过具有高的初始权重或通过与许多其他顶点连接),则其初始值的较小扰动将更改所有连接的顶点的值,并最终导致实质性的输出变化。但是,尽管数学功能在很大程度上是连续的,但 GML 程序具有许多离散的行为。结果,Fn 函数通常是不连续的。请注意,在不连续函数中,任意小的输入变化不会导致任意小的输出变化。结果,导数是无限的。在这种情况下,导数不代表输入变化的影响。因此,作者改为报告输出变化,见图 1。 图 1 LAMP 原理本质示意图 3 LAMP 方法描述 基本思路 LAMP 动态计算每个变量的偏导数。给定一个语句 操作数,LAMP 利用导数链规则计算每个初始权重的偏导数。计算函数组成的导数是一条如下规则: 其中f(u)是最终输出,u是中间结果,x是输入变量。从直觉上讲,它可以根据函数对输入的导数和中间结果对输入的导数来计算函数对输入的导数。利用链规则,可以基于在定义操作数时计算出的操作数值及其偏导数,在本地对语句进行微分计算。在谓词上,LAMP 检查任何初始权重值的微小变化是否会导致谓词采取不同的分支结果。这可以通过使用谓词表达式的计算偏导数通过线性近似来完成。如果是这样,则 LAMP 产生一个新的进程来接管另一个分支。最后,通过比较所有过程的输出得出输出变化。根据§3 中的问题陈述,由不连续性引起的偏导数和输出变化是衡量输入对输出的影响的结果数据来源。 详细设计:运行时数据采集 在生产运行期间,LAMP 进行非常轻量级的跟踪,以收集分支结果和某些操作(例如乘法)的结果。跟踪语义在图 2 中说明。表达规则是标准的。根据评估上下文 E,在应用语句规则之前,首先将表达式评估为值。语句评估具有 σ,ω 和 C 的配置:σ 是存储;ω 是由跟踪项的顺序组成的跟踪日志,每个跟踪项包含一个语句标签,该语句的执行计数器值和一组值; C 记录当前计数器每个陈述的价值。大多数陈述的评估规则是标准的,因此这种模式是合理的。 图 2 语义规则说明 详细介绍了多种运行时数据语义规则构建形式 规则 和 指出 LAMP 可能会记录乘法的操作数值,因为在以后的源计算阶段的导数计算中需要使用这些值。如果编译器静态确定两个操作数变量都与带注释的输入变量相关,则通过将条目附加到 ω 来记录其值,同时计数器也增加了。同样,如果只有一个操作数与输入相关,则记录另一个操作数的值。当两个操作数都不与输入变量相关时,LAMP 无需计算导数,因此不记录操作数值(规则 )。根据条件语句,LAMP 确定谓词是否与输入变量相关。如果是这样,它将通过方法 unstable()进一步检测出分支结果是否可能不稳定。如果小的输入扰动 Δ 翻转分支结果,则分支结果不稳定。 图 3 代码转化规则 描述不同条件下各类代码的转化规则 详细设计:代码转换 LAMP 将原始程序转换为新程序,该程序将获取原始输入图和在跟踪阶段生成的日志,并执行出处计算。图 3 描述了一组转换规则。 1),这表明谓词潜在地不稳定,并且较小的输入变化量 Δ 会导致值变化较大。比(记录的)值大,并利用偏导数。如果是这样,则分支结果可以翻转。因此,LAMP 生成一个进程以继续沿原始程序中的另一个分支执行(第 3 行)。在执行分支之前,LAMP 将恢复临界状态。父进程继续在 true 分支(第 5 行)中进行导数计算。第 4 行用于记录带注释的输入变量,这些变量的变化可能会翻转分支结果和子进程 id。在计算结束时,对于每个导致谓词不稳定的输入,LAMP 会在所有关联过程中以 zmax 和 zmin,最大值和最小值 z 收集输出变量 za 的值,这表示输入对 z 的影响。图 1 显示了转换后的 PageRank。 详细设计:讨论 LAMP 使用导数作为来源,并输出加权偏倚图,其中偏导数作为权重。它可以检测影响此类依赖关系和相应权重的错误。它的能力也会影响具体的数值。对重量不可见或影响不大的 Bug,被 LAMP 检测的概率较小。此外,由于 LAMP 的目标是机器学习计算过程,因此如果工作流中发生错误(例如,选择错误的数据集,不合适的机器学习算法),它将无法提供帮助。 4 验证 作者从来源计算开销,内存开销,日志空间,稳定性等方面评估的 LAMP 的效率,并简单介绍了 LAMP 的实效性。结果表明,该工具具有极高的使用效率,在各项性能和功能的可用性上均有出色表现。相关验证结果图片如下(图 4,表 1): 图 4 内存计算开销 表 1 来源计算开销
  • 热度 1
    2020-6-19 11:19
    294 次阅读|
    0 个评论
    总结 本文实现了一个系统化的测试工具 DeepTest,可以自动检测出 DNN 自动驾驶系统可能导致事故发生的错误决策,主要是分析摄像头捕获到的图像致使自动驾驶汽车转向的行为。首先,DeepTest 系统化自动生成测试用例,能使模型的神经元覆盖率最大化,比如模拟下雨,起雾,光照条件等实际场景。其次,本文证明了神经元覆盖率的变化可以影响到自动驾驶汽车转向行为的变化,并且对于摄像机捕获到图像进行各种转换,可以激活 DNN 中不同组的神经元,从而最大化神经元覆盖率。最后,本文对于不同测试用例进行真实图像变换,利用蜕变关系自动检测错误行为,合成的图像还可以用于再训练,使 DNN 自动驾驶汽车系统具有更强的鲁棒性。 摘要 深度神经网络(DNN)的最新研究进展使得 DNN 驱动的自动驾驶汽车的迅猛发展,该自动驾驶汽车使用摄像头,LiDAR 等传感器,无需任何人工干预即可驾驶。包括 Tesla,GM,Ford,BMW 和 Waymo / Google 在内的大多数主要制造商都在致力于构建和测试不同类型的自动驾驶汽车。美国包括加利福尼亚州,德克萨斯州和纽约州在内的几个州的立法者已经通过了新的立法,以进行道路上自动驾驶汽车的测试和部署。但是,尽管 DNN 取得了令人瞩目的进步,但与传统软件一样,它们经常表现出不正确或意外的极端情况,可能导致致命的碰撞。已经发生了几起涉及自动驾驶汽车的实际事故,其中包括一些事故导致死亡。用于 DNN 驱动的车辆测试技术大部分都严重依赖于在不同驾驶条件下手动收集测试数据,随着测试场景需求的增加,这种测试数据获取的成本过高。在本文中,我们设计,实施和评估一种系统测试工具 DeepTest,用于自动检测 DNN 驱动的车辆的错误行为,这些行为可能导致致命的撞车事故。首先,我们的工具旨在根据驾驶条件(如雨,雾,光照条件等)的实际变化自动生成测试用例。DeepTest 通过最大化激活神经元数量来生成测试用例,系统地探索 DNN 的不同部分的逻辑。 DeepTest 在不同的现实驾驶条件下(例如,模糊,下雨,起雾等)发现了数千种错误行为,其中许多行为可能导致 Udacity 自动驾驶汽车挑战赛中三个性能最高的 DNN 产生致命事故。 本文主要贡献: 我们提供了一种自动合成测试用例的技术,可在安全攸关的 DNN 的系统(例如自动驾驶汽车)中最大化神经元覆盖范围。我们证明了神经元覆盖范围的变化与自动驾驶汽车行为的变化相关。 我们证明了不同的图像变换(如对比度变化,雾的存在等)可用于测试来增加神经元覆盖率。 我们利用特定于变换关系来自动检测错误行为。 我们的实验还表明,合成图像可用于重新训练,并使 DNN 对不同的极端情况更为稳健。 据我们所知,DeepTest 是首款针对 DNN 驱动的自动驾驶汽车的系统化和自动化测试工具。 我们使用 DeepTest 对来自 Udacity 驾驶挑战的三个性能最高的 DNN 模型进行系统测试。 DeepTest 在这些系统中发现了数千种错误行为,其中许多行为可能导致潜在的致命碰撞。 背景知识 自动驾驶汽车的关键组件是由底层的深度神经网络(DNN)控制的感知模块。 DNN 接收来自不同传感器的输入,例如摄像机,光检测和测距传感器(LiDAR)和 IR(红外)传感器,这些传感器可感知环境并输出转向角,制动力度等,使得在各种条件下安全操纵汽车。 自动驾驶汽车中使用的大多数 DNN 可以分为两种类型:(1)前馈卷积神经网络(CNN)和(2)循环神经网络(RNN)。 我们测试的 DNN 包括两个 CNN 和一个 RNN。 实验方法 1. 基于神经元覆盖的系统性测试。 在本文中,我们基于所有具有相似神经元覆盖率的输入均属于同一等价类的假设(即目标 DNN 对于这些输入的行为类似),利用神经元覆盖率作为划分输入空间的一种机制。 2. 利用图像合成的方法最大化神经元覆盖率 DeepTest 通过将图像变换应用于种子图像并模拟不同的现实世界情况(例如相机镜头变形,物体移动,不同的天气条件等)来生成逼真的合成图像。为此,我们研究了九种不同的逼真的图像变换(改变亮度,改变对比度,平移,缩放,水平剪切,旋转,模糊,添加雾效果和施加下雨效果)。 这些转换可以分为三类:线性,仿射和卷积。我们的实验结果表明,转换后所有测试的 DNN 都显著提高了神经元覆盖率。 3. 用变换组合提高神经元覆盖率 不同的图像变换可以激活不同的神经元,如果这些变换堆叠起来的话,可以激活更多的神经元。可是,所有变换组合的状态空间非常巨大,本文提供了一种神经元覆盖率引导的贪婪搜索技术,可以有效地找到导致更高覆盖率的图像变换组合。 4. 利用蜕变关系创造 Test Oracle 自动驾驶系统是一个基于 DNN 的复杂系统,手动创建系统规范是极其困难的,因为这涉及到重新创建人类驾驶员的逻辑。本文巧妙地避免了这个问题,转而考虑不同合成图像间对应汽车不同决策行为之间的蜕变关系。例如,在任何灯光/天气条件、模糊或任何具有小参数值的仿射变换下,对于同一图像,自动驾驶汽车的转向角不应发生显著变化。本文使用相对宽松的蜕变关系寻求一种权衡,于是借助均方差重新定义了一个蜕变关系,即认为模型对于输入的转换图像产生的误差应该在 λ 倍的均方差内。 实验结果 本文将 deeptest 工具用于对三款在 Udacity 自动驾驶挑战赛中获得优异名次的 DNN 车型上进行评估,分别为 Rambo(第二名), Chauffeur (第三名), 和 Epoch(第六名).得出以下四个结论: 神经元覆盖率与输入输出多样性相关,可用于系统化测试生成。 不同的图像变换倾向于激活不同的神经元。 通过系统地组合不同的图像变换,神经元覆盖率比原始种子图像可以提高约 100%。 借助神经元覆盖率引导生成的合成图像,DeepTest 成功地检测到三个模型所预测的 1,000 多种错误行为(图 1)。 通过使用 DeepTest 生成的合成数据对 DNN 进行重新训练,可以将 DNN 的准确性提高多达 46%。 图 1 DeepTest 所发现的错误行为示例 实验有效性讨论 DeepTest 通过对种子图像应用不同的图像变换来生成逼真的合成图像。 但是,这些转换可能无法涵盖所有现实情况。 虽然我们设计的转换(如雨雾效果)是逼近现实的,但由于大量不可预测的因素(例如太阳的位置,雨滴的角度和大小),所生成的图片在现实中可能无法完全重现。 但是,随着图像处理技术变得越来越复杂,生成的图片将越来越接近现实。除此之外,完整的用于驾驶自动驾驶汽车的 DNN 模型还必须处理转向角以外的制动和加速问题。我们限制自己只能测试转向角的准确性,因为我们测试的模型尚不支持制动和加速。 但是,假设模型支持它们,我们的技术也应该很容易应用于测试这些输出。
  • 热度 1
    2020-6-19 11:15
    247 次阅读|
    0 个评论
    总结: 本文作者提出了 SADL,这是 DL 系统的一个惊奇程度度量框架,该框架可以定量地测量每个输入相对于训练数据的相对惊奇程度,我们称其为惊奇程度(SA)。并进一步的给出了惊奇覆盖率(SC),它可以测量离散输入意外范围的覆盖率,而不是具有特定激活特征的神经元的数量。 我们的经验评估表明,SA 和 SC 可以准确地捕获输入的惊奇性,并且是衡量 DL 系统如何响应未知输入的良好指标。SA 与 DL 系统查找输入的难易程度相关,可用于准确分类对抗性示例。SC 可用于指导选择输入,以便于更有效地训练针对对抗性示例的 DL 系统以及 DeepXplore 合成的输入。 概述: 深度学习(DL)系统在安全攸关领域中被广泛的应用。因此迫切需要一系列测试其正确性和鲁棒性的方法。传统来看,深度学习系统的测试往往要依赖于手动的收集与标记书。最近,学者们提出了很多基于神经元激活数的覆盖标准。 这类标准实质上是对运行深度学习系统期间其激活满足某些属性(例如高于预定阈值)的神经元进行计数。但是,一方面,现有的这类覆盖标准不足以捕获 DL 系统所表现出的细微行为;另一方面,这类神经元激活覆盖,重点体现的是对抗性示例与提出的标准之间的相关性,而无法评估和指导 DL 系统实际过程中的测试。 本文的作者提出了一种新的用于测试 DL 系统的测试充分性标准,称为深度学习系统的惊奇程度(Surprise Adequacy(SADL)),这一标准是 DL 系统相对于其训练数据的一个度量。简单的来说就是,通过测量输入的惊奇程度,给出输入与训练数据之间 DL 系统行为上的差异(这也就体现了在训练过程中学到的东西)。与训练相比,良好的测试输入应该具有足够但不过分的惊奇程度。 作者将这一标准应用到一系列的 DL 系统中,并经过经验评估表明:基于输入的惊奇程度对其进行系统的输入采样,可以通过再训练,可将 DL 系统针对对抗性示例的分类准确性提高 77.5%。 介绍: 深度学习(DL)系统在许多的领域都已取得了重大进展。在一些安全攸关领域(例如自动驾驶和恶意软件检测)中,研究者也越来越多的将 DL 纳入成为大型系统的一部分。而这类领域的安全性的更高要求,自然也对 DL 系统提出了正确性与可预测性的更高要求。然而,现有的软件测试技术往往无法直接适用于 DL 系统,尤其是其中旨在增加结构覆盖率的白盒测试技术,因为难以明确的编码进它们的控制流结构中,所以对于 DL 系统也就不具有明显效果。 最近已经有许多用于测试和验证深度学习系统的新方法,来填补这一领域的空白。这些技术大多数建立在两个假设之上。 第一个假设:如果深度学习系统的两个输入在某种意义上是相似的,那么它的输出也应该相似。这本质上是对蜕变测试的本质概括。例如,DeepTest 检查在转换输入图像时自动驾驶系统是否具有相同的选择,比如,同一场景处于不同的天气条件下的选择。 第二个假设:一组输入越多样化,则可以执行的 DL 系统的测试就越有效。例如,DeepXplore 提出了 Neuron Coverage(激活值高于预定阈值的神经元的比率)作为神经元行为多样性的度量,随后表明,违反第一个假设的输入也会增加神经元覆盖率。 尽管基于这两个假设的新技术在 DL 系统的手动测试上取得了显著的进步,但相关的标准仍然存在着一些限制。最主要的局限在于,目前的覆盖标准不够细粒度,换句话说,它们还都只是简单地计算激活值满足某些条件的神经元的数量。虽然可以通过这一方式帮助测试人员对输入集测试有效性进行量化,但它传递的关于单个输入的信息很少。例如,不能确定什么时候,高 NC 的输入比低 NC 的输入的效果好;同时,有些情况下的一类输入自然会比其他输入激活更多的神经元阈值。 为了克服以上限制,作者为 DL 系统提出了一种新的测试充分性的标准,并将其称为 DL 系统的惊奇程度(SADL)。直观的来讲,一个好的 DL 系统的测试输入集合应该足够多样化,从而可以包括与训练数据集相似的输入、显著不同的输入以及对抗性的输入。在单个输入的维度上,SADL 根据训练过的数据集来测量新输入对于 DL 系统的惊奇程度。实际的惊奇度量可以基于系统在训练期间看到相似输入的可能性(这里是通过使用核密度估计来从训练过程中推断出的概率密度分布),也可以基于给定输入和训练数据之间神经元激活轨迹的向量的距离(此处仅使用欧几里得距离)。随后,可以得到关于一组测试输入的惊奇充足性(SA)。 结果显示,通过训练基于 SADL 值的对抗性事例分类器,可以产生比现有技术更高准确性的对抗示例分类器。研究者还表明,根据 SADL 进行再训练 DL 系统的输入采样可以提高准确性,从而表明 SADL 是一个独立变量,可以正向的影响 DL 系统测试的有效性。 本文的主要贡献如下: 本文提出了 SADL,这是一种细粒度的测试充足性的度量标准,用来度量输入的意外程度,即给定输入和训练数据之间 DL 系统行为的差异。根据不同的量化惊奇程度的方式,提出了两个 SADL 的具体实例。这两个实例均与 DL 系统的现有覆盖标准相关。 作者显示,通过训练高度准确的对抗性示例分类器,SADL 在捕获 DL 系统的行为方面具有足够的细粒度。当将其分别应用于 MNIST 和 CIFAR-10 数据集时,这一对抗示例分类器分别显示出高达 100%和 94.53%的 ROC-AUC 得分。 作者同样证明了 SADL 指标可用于对有效的测试输入集进行采样。 当使用其他对抗性示例对 DL 系统进行再训练时,对具有更大 SA 值的其他输入进行采样可以将再训练后的准确度提高多达 77.5%. 这一方法在不同的公开的 DL 系统都进行了实验,从小型基准测试(MNIST 和 CIFAR-10)到大型自动驾驶车辆系统(Dave-2 和 Chauffeur)。 深度学习系统的惊奇程度: DL 系统的所有现有测试充分性标准旨在测量输入集的多样性。神经元覆盖率(NC)假设,在预定阈值以上激活的神经元数量越多,执行 DL 系统的输入就越多样化。DeepGauge 提出了一系列更细粒度的充分性标准,包括 k-多节神经元覆盖率(用于测量跨所有神经元的激活值桶的比率)和神经元边界覆盖率(用于测量在训练过程中观察到的超出激活范围的神经元的比率)。 有人认为,就训练数据而言,DL 系统测试中的多样性更有意义,因为对于不熟悉的输入(即多样化),DL 系统可能更容易出错。 此外,虽然高于阈值或超出观察范围的神经激活可能与给定输入的多样性密切相关,但它们无法衡量一个输入的网络激活与另一个输入的激活在多大程度上不同。 它们从根本上说是离散化,没有利用神经元激活为连续量这一事实。 相反,本文作者的目标是定义一个适当的标准,该标准定量地测量相对于训练数据在给定一组输入中观察到的行为差异。 主要符号: 基于可能性的惊奇程度(LSA): 基于距离的惊奇程度(DSA): 另一种用于替代的方法是直接使用激活轨迹之间的距离来作为度量。这里通过使用新的输入 x 的激活轨迹与训练期间得到的激活轨迹的欧式距离来定义基于距离的惊奇充分性(DSA)。 这是一种距离度量标准,适合利用输入之间的边界,来比较新输入的激活轨迹与参考点(距离 C1 最近的激活轨迹)之间的距离相比于参考点距离 C2 集中最近点距离,从而来体现新输入与类边界有多接近。 作者认为,对于分类问题,更接近类边界的输入在测试输入多样性方面更加有价值。 另一方面,对于输入之间没有任何界限的任务,例如自动驾驶汽车的适当转向角的预测,DSA 则可能不太适用。 图一:DSA 的直观图像理解,x1 相比 x2 有更好的惊奇程度。 惊奇覆盖(SC): 给定一组输入值,还可以来测量覆盖值的 SA 值范围,并将这一度量记作,惊奇覆盖率(Surprise Coverage)。对应上面所提到的两种定义在连续空间的 SA 计算方法 LSA 与 DSA,利用分类来离散惊奇程度的空间,并给出对应的基于概率的惊奇覆盖率(LSC)与基于距离的惊奇覆盖率(DSC)。 一组输出的 SC 值越高,意味着多样性越好。作者认为,用于 DL 系统的输入集不仅自身应该足够多样化,同时还应该考虑 SA 在系统上的多样化。此外,还有一些研究说明,更遥远的测试输入更有可能导致异常,但这种异常可能与测试无关,这也就从另一种角度证明了,多样化输入不能只从自身的角度来看的观点。 尽管这里使用了覆盖率的说法,但这里的覆盖率并不是传统意义上的定义。首先,不同于大多数结构性覆盖标准,SC 没有一个有限的目标集合来去覆盖,因此,SC 只能相对于预先定义的上界进行测量。另一方面,SC 不会陷入组合集覆盖问题,单个输入仅产生单个 SA 值,并且不能属于多个 SA 区间。 以 SC 作为覆盖标准的冗余感要弱于结构覆盖的冗余感,因为结构覆盖率的单一输入可以覆盖多个目标。 研究问题(RQ): RQ1:SADL 能够捕获 DL 系统输入的相对惊奇程度么? 首先,作者计算原始数据集中包含的每个测试输入的 SA,然后查看 DL 分类器是否发现难以识别的具有较高惊奇程度的输入。并希望更高惊奇程度的输入难以正确分类。 其次,作者评估是否有可能基于 SA 值检测生成对抗示例,因为其期望对抗示例会具有更高的惊奇程度,并导致 DL 系统的不同行为。使用不同的技术,可以生成多组对抗性示例并通过其 SA 值进行比较。 最后,作者使用对 SA 值的逻辑回归训练对抗性示例分类器。 对于每种对抗攻击策略,我们使用 MNIST 和 CIFAR-10 提供的 10,000 个原始测试图像生成 10,000 个对抗示例。 使用全部随机选择的 1,000 个原始测试图像和 1,000 个对抗示例,我们训练了逻辑回归分类器。 最后,我们使用剩余的 9,000 个原始测试图像和 9,000 个对抗示例来评估经过训练的分类器。如果 SA 值正确地捕获了 DL 系统的行为,则意味着基于 SA 的分类器能够成功检测到对抗性示例。作者使用曲线下面积的接收算子特征(ROC-AUC)进行评估,因为它捕获了真假阳性率。 RQ2:层灵敏度:用于 SA 计算的神经元层的选择对 SA 能否准确反映 DL 系统的影响? Bengio 等人认为更深的层代表输入的更高层次的特征,并在随后的工作中,通过引入基于 KDE 的对抗性示例检测技术,假定最深的(即最后隐藏的)层包含有助于检测的最多信息。 作者通过计算所有单独层的 LSA 和 DSA,然后通过比较每一层在 SA 上训练的对抗性示例分类器,在 SA 的背景下评估这种假设。 RQ3:相关性:SC 与 DL 系统的现有覆盖标准相关么? 除了捕获惊奇程度的信息之外,作者同样希望 SC 与基于计数聚合的现有覆盖标准保持一致。 因为如果不是这样,则意味着存在 SC 实际上正在测量输入分集以外的东西的风险。 为此,作者通过累积添加不同方法生成的输入(即不同的对抗性示例生成技术或输入合成技术)来控制输入多样性,使用这些输入执行所研究的 DL 系统,并比较观察到的各种覆盖标准(包括 SC 和四个现有标准)的变化: DeepXplore's Neuron Coverage(NC)和三个由 Deep-Gauge 导出的神经元级覆盖率(NLCs):k 多节神经元覆盖率(KMNC),神经元边界覆盖率(NBC)和强神经元激活覆盖率(SNAC) RQ4:指导性:SA 可以指导 DL 系统的再培训,以提高它对抗 DeepXplore 产生的对抗性案例和合成测试输入的准确性吗? 为了评估 SADL 是否可以指导现有 DL 系统的额外训练,以提高对抗性示例的准确性,作者考察 SA 是否可以指导输入的这些选择以进行额外训练。 从这些模型的对抗示例和综合输入中,从四个不同的 SA 范围中选择了四组,每组 100 张图像。 给定 U 作为 RQ3 中的计算 SC 的上界,我们将其分为四个子集,第一个子集包括前 25%的 SA 值 ,第二个子集包括前一半的 SA 值 ,第三部分包括前 75%的 SA 值 ,最后一个集合包括整个区间。这四个子集意味着越来越多样化的输入集合。作者选择每一个区间对应的 100 个随机图像,并对现有的每个模型分别额外训练 5 轮。最后,分别针对整个对抗性输入和综合输入来衡量每种模型的性能。来观察更高多样化的子集进行再培训是否能够带来更好的效果。 实验设置: 研究者使用(a)原始测试集,(b)由五种攻击策略生成的对抗示例以及(c)由 DeepXplore 和 DeepTest 生成的综合输入,在四个不同的 DL 系统上评估 SADL。 数据集与 DL 系统: 表一:所使用的的三个数据集与对应设置。 对抗实例与综合输入: 使用对抗性示例和综合测试输入对 SADL 进行评估。 通过将人类无法察觉的小扰动应用到原始输入中来制作对抗性示例,直到所研究的 DL 系统的行为不正确为止。我们使用五种经过广泛研究的攻击策略来评估 SADL:快速梯度符号方法(FGSM),基本迭代方法(BIM-A,BIM-B),基于雅可比度的显着性图攻击(JSMA)和 Carlini&Wagner(C&W)。并基于克莱弗汉斯和 Ma 等人的框架来实现这些策略。 对于 Dave-2 和 Chauffeur,作者使用最先进的合成输入生成算法 DeepXplore 和 DeepTest。两种算法均旨在从现有输入中综合新的输入,以检测自动驾驶车辆中的错误行为。 配置:对于所有研究问题,将 LSA 的默认激活方差阈值设置为 ,并使用 Scott 规则设置 KDE 的带宽。 实验结果: 输入惊奇(RQ1): 图 2 显示了当我们从 MNIST 和 CIFAR-10 数据集中包含的测试输入中对尺寸不断增大的图像集进行分类时,分类精度如何变化。与红点(AscendingSA)相对应的图像集以具有最低 SA 的图像开始,并且越来越多地以 SA 的升序包含具有较高 SA 的图像;与蓝点相对应的图像集沿相反的方向生长(即,从具有最高 SA 的图像到较低 SA 的图像)。 作为参考,绿点表示在 20 次重复中随机增长的集合的均值准确性。 显然,具有较高 LSA 值的图像,即,更高惊奇程度的图像,导致较低的准确性。 图二: 为了在另一个数据集上进行视觉确认,我们还从 3 个不同的 LSA 值级别中选择了 DeepTest 为 Chauffeur 合成的输入集:图 3 显示,LSA 值越高,视觉上识别图像的难度就越大。从数量上和视觉上,观察到的趋势都支持我们的观点,即 SADL 捕获了输入惊奇:即使对于看不见的输入,SA 也可以测量给定输入的惊奇程度,这与 DL 系统的性能直接相关。 图三:Deepest 生成的司机模型的合成图像。 具有较高 LSA 值的图像往往难以在视觉上识别和解释 图四:对 MNIST 和 CIFAR-10 的对抗示例的 DSA 值进行排序。 图五:从不同层随机选择了 2,000 个针对 MNIST 和 CIFAR-10 的对抗示例的 LSA 排序 对于 MNIST 和 CIFAR-10 而言,数据集提供的测试输入(以蓝色表示)往往是最令人惊讶的,而大多数对抗性示例由于其较高的 SA 值而明显地与测试输入分离。 这支持了我们的主张,即 SADL 可以捕获 DL 系统在对抗性示例中的行为差异。 表二:基于 DSA 的 MNIST 和 CIFAR-10 的对抗示例分类 ROC-AUC 结果 最后,表二结果表明,图 4 中观察到的 DSA 值差距可用于对具有高准确性的对抗性示例进行分类。 基于三种不同的分析,RQ1 的答案是 SADL 可以捕获输入的相对惊奇程度。具有较高 SA 的输入更难正确分类;对抗样本会显示更高的 SA 值,可以根据 SA 进行相应的分类。 层选择的影响(RQ2): 表三:MNIST 上每层 SA 的 ROC-AUC 结果 表四:CIFAR-10 上每层 SA 的 ROC-AUC 结果 LSA 和 DSA 与 CIFAR-10 显示出不同的趋势。对于 LSA,没有充分的证据表明最深的层会生成最准确的分类器,但是对于 DSA 而言,最深的层会针对五种攻击策略中的三种(BIM-B,JSMA 和 C&W)生成最准确的分类器。 基于这些结果,我们回答 RQ2, DSA 对它所计算的层的选择是敏感的,并且选择更深的层时更有价值。然而,对于 LSA 来说,没有明确的证据支持深层假设。层敏感性在不同的对抗性例子生成策略中是不同的。 SC 与其他标准的相关性(RQ3): 表五:在不同的覆盖率标准中增加了对抗集。 图六:CIFAR-10 和 Chauffeur 的覆盖率可视化 表五和图六的结果表示,随着更多的输入集(x 轴)被添加到原始测试集,各种覆盖率标准(y 轴)增加。 并可以分析得到得到结论:SC 与到目前为止引入的其他覆盖标准具有相关性。 再训练指导(RQ4): 表六:SA 指导下的再训练结果(最好结果加粗加粗显示) 表格显示,选择全范围时,达到最好再训练效果的配置数量最多(15 个)。 尽管观察仅限于此处研究的 DL 系统和输入生成技术,但可以回答 RQ4,即 SA 可以根据对观察到的趋势的解释为对抗性示例提供更有效的再训练指导。
  • 热度 2
    2020-3-3 12:52
    1407 次阅读|
    1 个评论
    在19世纪,医生可能开出了汞用于治疗情绪波动,而砷则用于治疗哮喘。在您进行手术之前,他们可能没有洗过手。他们没有试图杀死你,当然-他们只是不知道任何好转。 这些早期的医生在笔记本写有价值的数据,但每个人只能在一个巨大的拼图游戏中保留一张。如果没有现代的工具来共享和分析信息,也没有科学的方法来理解这些数据,那么就没有什么可以阻止迷信取代通过可观察的事实的关键孔可以看到的东西了。 从那时起,人类在技术上已经走了很长一段路,但是今天的机器学习和人工智能的繁荣并没有真正打破过去。理解我们周围世界是人类基本本能的延续,以便我们做出更明智的决策。我们拥有比以往任何时候都更好的技术。 今天的AI繁荣并不是与过去的突破。我们拥有比以往任何时候都更好的技术。 写作的发明 考虑一下Sumer(现代伊拉克)的抄写员,他们在5,000多年前就将其笔针压在粘土片上。当他们这样做时,他们不仅发明了第一个书写系统,而且发明了第一个数据存储和共享技术。 世界上第一个数据存储和共享技术的例子 而从字面上看,检索是一件痛苦的事! 如果您对AI优于人类的能力的承诺感到鼓舞,请考虑文具会带给我们超人的记忆。尽管现在很容易将写作视为理所当然,但是可靠地存储数据集的能力代表了迈向更高智能的第一步。 如果您对AI优于人类的能力的承诺感到鼓舞,请考虑文具会带给我们超人的记忆。 不幸的是, 从没有电子表的数据中检索信息是一件痛苦的事情 。您无法用手指抓住一本书以获得字数统计。相反,您必须将每个单词上传到大脑中进行处理。这使得早期的数据分析非常耗时,因此最初的尝试固守了要点。尽管一个王国可以分析它从​​税收中筹集了多少黄金,但只有一个勇敢的人会在诸如医学之类的应用程序上尝试相同的费力推理,而数千年的传统鼓励这种情况。 分析的兴起 显示了1854年伦敦流行的霍乱病例群 幸运的是,我们的物种产生了一些不可思议的开拓者。例如,约翰·斯诺(John Snow)激发了医学界重新考虑这种疾病是由 有毒的坏空气 引起的迷信,并开始仔细研究饮用水。 南丁格尔(1820–1910) 如果您知道(《有灯的女人》,以她对护士的英勇同情,您可能会惊讶地发现她也是 分析师先驱 。在克里米亚战争期间, 她极富创造力的信息图表给出不良的卫生状况是医院死亡的主要原因,并激励她的政府认真对待卫生设施,挽救了许多生命。 极区图显示了由可预防的疾病引起的死亡人数(蓝色),由伤口造成的死亡人数(红色)以及由于其他原因造成的 单数据集时代开始了,信息的价值开始在越来越多的领域中确立起来, 从而导致了计算机的发明 。不过,不是咱们今天习惯的电脑伙伴。 "计算机"最初是人类的职业,其从业人员执行计算和手动处理数据以提取其价值。 1950年代超音速压力隧道工作人员的照片 数据的优点在于,它使我们可以凭空想出更好的意见。通过查看信息,可以激发我们跟随佛罗伦萨·南丁格尔和约翰·斯诺的足迹提出新的问题。 这就是分析师的全部内容:通过探索启发模型和假设。 分析的缺点 不幸的是,如果没有第二个数据集,将无法知道这种基于观点是否是胡说八道。它可以在查特定数据点之外正常工作吗?现在进入20世纪的分析。 数据驱动决策中确认偏差 您无法相信自己的发现,因为您的潜意识偏见使您非常容易关注感兴趣的内容,而错过所有其他内容。您可能认为您已经看到了所有可以看到的东西,但是实际上您几乎没有刮擦表面。人类的注意力范围和记忆力比我们想像的要小,因此探索性数据集通常是我们的。 分析是关于灵感和探索的,但超出所探究数据范围的观点不能被认真对待。 要测试您对数据之外的世界的工作方式的看法,您不能一开始就使用 促发该观点的数据 。虽然该芯片看起来像猫王,但我们不能用它来推断大多数芯片都可以。要了解我们的观点是否会受到启发他们的例子之外的重视,我们必须在我们从未见过的新芯片上对其进行测试。 从数据集到数据拆分 20世纪初,在不确定性下做出更好决策的愿望导致了并行行业的诞生。统计人员可以帮助您测试行为是否明智,就好像某种现象也适用于当前数据集之外。 统计之父:罗纳德·费希尔 著名的例子来自罗纳德·费希尔,他开发了世界上第一本统计学教科书。费舍尔(Fisher)描述了一项假设检验,以回应他朋友的说法,即她可以品尝在喝水之前还是之后将牛奶添加到茶中。为了证明她是错的,数据迫使他断定她可以。 严格的统计要求您在拍摄之前先进行拍照;分析更像是事后的游戏。 Achilles's heel(致命弱点) 有一个主要的致命弱点:如果您使用相同的数据点进行假设生成和假设检验,那么您就在作弊。如果您选择使用数据来代替严谨而不是灵感,那么您就必须从别处获得灵感。经典消息来源在认真思考。换句话说,您坐在扫帚壁橱里打坐,仔细地构想自己的统计问题,阐明所有假设,然后就可以测试世界上的心理模型是否真正积水了。 不幸的是,以数学方式测试您的直觉需要花费大量的精力和训练。您需要相当的精神专注。但是至少现在您有一种合法的方法来检查您的印象是否值得采取行动。欢迎使用1900年代后期的。 数据集革命 严格的统计要求您在拍摄 ; 更像是事后的游戏。这些学科在交通上几乎是,直到下一次重大革命()改变了一切。 数据拆分是一个简单的想法,但对像我这样的来说,这是最深刻的想法之一。如果只有一个数据集,则必须在(令人鼓舞的灵感)和(严格的结论)之间进行选择。骇客?将您的数据集分为两部分,然后吃点蛋糕也吃! 两数据集时代取代了 - 与两个不同的协调与合作数据的专业公司。分析师使用一个数据集来帮助您提出问题,然后统计学家使用另一个数据集来为您提供严格的答案。 将您的数据集分为两部分,然后吃点蛋糕也吃! 这样的奢侈品带有高昂的价格标签:数量。如果您很难为一个受人尊敬的数据集收集足够的信息,那么说起来容易做起来难。两数据集时代是一个相当新的发展,它与更好的处理硬件,更低的存储成本以及通过Internet共享收集的信息的能力紧密结合。 实际上,导致两数据集时代的技术创新迅速进入了下一阶段,即自动灵感的三数据集时代。有一个更熟悉的词:。 一口气进行测试 曾经想过为什么在涉及严格性和数据性时,为什么统计学家倾向于倾向于抽搐呢?在计划问题之前先查看数据集会破坏其作为统计严谨性来源的纯度。如果您问错了问题或愚蠢地提出了问题,那么您就不必第二次询问神谕了。 即使您正在考虑进行多个比较校正(每个数据集允许多个假设的统计方法),也只有在事先计划所有假设时,该程序才有效。您不允许在测试数据集中玩20个问题,迭代地放大发光的结果,并假装保持双手清洁。 测试仍然是一针见血的提议-不允许您迭代地寻求解决方案。 为了使这种严格的方法有效,您必须预先计划,如果存在多个问题,请使用一些道歉的数学运算,然后同时执行一次测试。您不能多次打开该测试数据集。 第三数据集的奢华 既然您只有一个机会,您如何知道分析中最值得测试的"洞察力"?好吧,如果您有第三个数据集,则可以用它来激发您进行测试的灵感。这个筛选过程称为 ; 这是使的核心。 验证是使机器学习更上一层楼的核心-它使您可以自动激发灵感。 一旦您有空将所有内容扔到验证墙上,看看有什么问题,您就可以放心地让每个人都提出解决方案:经验丰富的分析师,实习生,茶叶甚至是与您的业务问题无关的算法。哪种解决方案在验证方面最有效,都将成为进行适当统计检验的候选人。您刚刚授权自己可以自动化灵感! AI =自动化灵感 这就是为什么机器学习是数据集而不是数据的一场革命。这取决于是否有足够的数据进行三路拆分。 人工智能在哪里适合?基于深度神经网络的机器学习在技术上被称为深度学习,但它又有一个绰号AI。尽管AI曾经有,但今天您最有可能发现它被用作深度学习的同义词。 深度神经网络在许多复杂任务上胜过不那么复杂的机器学习算法,因此赢得了炒作 。但是它们需要更多的数据来训练它们,并且处理要求超出了典型笔记本电脑的处理要求。这就是为什么现代AI需要云计算,云使您可以租用他人的数据中心,而不必致力于构建您的深度学习平台。 有了这个拼图,我们就可以充分利用以下专业:ML/AI,分析和统计。涵盖所有这些术语的总称被称为数据科学。 灵感的未来 现代是我们三数据集时代的产物,但是许多行业通常会生成足够多的数据。那么是否有四个数据集的案例? 好吧,如果您刚刚训练的模型的验证分数很低,您的下一步行动是什么?如果您像大多数人一样,您将立即要求知道为什么!不幸的是,您没有数据集可以询问。您可能很想研究验证数据集,但是不幸的是,调试破坏了它有效筛选模型的能力。 通过对验证数据集进行,可以有效地将三个数据集变回两个。您没有寻求帮助,而是不经意地回到了一个时代! 该解决方案不在您正在使用的三个数据集中。要解锁更智能的训练迭代和超参数调整,您将需要加入最前沿:四个数据集的时代。 最前沿的是四路数据分割,以实现加速! 如果您认为其他三个数据集可以为您提供灵感,迭代和严格的测试,那么第四个可以加速,通过先进的技术缩短AI开发周期,这些技术可以提供有关每轮尝试方法的线索。通过采用四向数据拆分,您将处在最佳位置以利用!
  • 热度 2
    2020-1-16 11:50
    1611 次阅读|
    1 个评论
    深度残差网络(deep residual learning, ResNet)获得了2016年CVPR会议的最佳论文奖,截至目前,在谷歌学术上的引用次数已经达到了惊人的37185次。 深度残差收缩网络(deep residual shrinkage network)是深度残差网络的一种新颖的升级版本,其实是深度残差网络、注意力机制(参照Squeeze-and-Excitation Network,SENet)和软阈值化的深度集成。 在一定程度上,深度残差收缩网络的工作原理,可以理解为:通过注意力机制注意到不重要的特征,然后通过软阈值化将它们置为零;或者说,通过注意力机制注意到重要的特征,将它们保留下来,从而加强深度神经网络从含噪声信号中提取有用特征的能力。 1.为什么要提出深度残差收缩网络呢? 首先,在对样本进行分类的时候,样本中不可避免地会有一些噪声,就像高斯噪声、粉色噪声、拉普拉斯噪声等。更广义地讲,样本中很可能包含着与当前分类任务无关的信息,这些信息也可以理解为噪声。这些噪声可能会对分类效果产生不利的影响。(软阈值化是许多信号降噪算法中的一个关键步骤) 举例来说,在马路边聊天的时候,聊天的声音里就可能会混杂车辆的鸣笛声、车轮声等等。当对这些声音信号进行语音识别的时候,识别效果不可避免地会受到鸣笛声、车轮声的影响。从深度学习的角度来讲,这些鸣笛声、车轮声所对应的特征,就应该在深度神经网络内部被删除掉,以避免对语音识别的效果造成影响。 其次,即使是同一个样本集,各个样本的噪声量也往往是不同的。(这和注意力机制有相通之处;以一个图像样本集为例,各张图片中目标物体所在的位置可能是不同的;注意力机制可以针对每一张图片,注意到目标物体所在的位置) 例如,当训练猫狗分类器的时候,对于标签为“狗”的5张图像,第1张图像可能同时包含着狗和老鼠,第2张图像可能同时包含着狗和鹅,第3张图像可能同时包含着狗和鸡,第4张图像可能同时包含着狗和驴,第5张图像可能同时包含着狗和鸭子。我们在训练猫狗分类器的时候,就不可避免地会受到老鼠、鹅、鸡、驴和鸭子等无关物体的干扰,造成分类准确率下降。如果我们能够注意到这些无关的老鼠、鹅、鸡、驴和鸭子,将它们所对应的特征删除掉,就有可能提高猫狗分类器的准确率。 2.软阈值化是很多降噪算法的核心步骤 软阈值化,是很多信号降噪算法的核心步骤,将绝对值小于某个阈值的特征删除掉,将绝对值大于这个阈值的特征朝着零的方向进行收缩。它可以通过以下公式来实现: 软阈值化的输出对于输入的导数为 由上可知,软阈值化的导数要么是1,要么是0。这个性质是和ReLU激活函数是相同的。因此,软阈值化也能够减小深度学习算法遭遇梯度弥散和梯度爆炸的风险。 在软阈值化函数中,阈值的设置必须符合两个的条件: 第一,阈值是正数;第二,阈值不能大于输入信号的最大值,否则输出会全部为零。 同时,阈值最好还能符合第三个条件: 每个样本应该根据自身的噪声含量,有着自己独立的阈值。 这是因为,很多样本的噪声含量经常是不同的。例如经常会有这种情况,在同一个样本集里面,样本A所含噪声较少,样本B所含噪声较多。那么,如果是在降噪算法里进行软阈值化的时候,样本A就应该采用较大的阈值,样本B就应该采用较小的阈值。在深度神经网络中,虽然这些特征和阈值失去了明确的物理意义,但是基本的道理还是相通的。也就是说,每个样本应该根据自身的噪声含量,有着自己独立的阈值。 3.注意力机制 注意力机制在计算机视觉领域是比较容易理解的。动物的视觉系统可以快速扫描全部区域,发现目标物体,进而将注意力集中在目标物体上,以提取更多的细节,同时抑制无关信息。具体请参照注意力机制方面的文章。 Squeeze-and-Excitation Network(SENet)是一种较新的注意力机制下的深度学习方法。 在不同的样本中,不同的特征通道,在分类任务中的贡献大小,往往是不同的。SENet采用一个小型的子网络,获得一组权重,进而将这组权重与各个通道的特征分别相乘,以调整各个通道特征的大小。这个过程,就可以认为是在施加不同大小的注意力在各个特征通道上。 在这种方式下,每一个样本,都会有自己独立的一组权重。换言之,任意的两个样本,它们的权重,都是不一样的。在SENet中,获得权重的具体路径是,“全局池化→全连接层→ReLU函数→全连接层→Sigmoid函数”。 4.深度注意力机制下的软阈值化 深度残差收缩网络借鉴了上述SENet的子网络结构,以实现注意力机制下的软阈值化。通过蓝色框内的子网络,就可以学习得到一组阈值,对各个特征通道进行软阈值化。 在这个子网络中,首先对输入特征图的所有特征,求它们的绝对值。然后经过全局均值池化和平均,获得一个特征,记为A。在另一条路径中,全局均值池化之后的特征图,被输入到一个小型的全连接网络。这个全连接网络以Sigmoid函数作为最后一层,将输出归一化到0和1之间,获得一个系数,记为α。最终的阈值可以表示为α×A。因此,阈值就是,一个0和1之间的数字×特征图的绝对值的平均。 通过这种方式,保证了阈值为正,而且不会太大。 而且,不同的样本就有了不同的阈值。因此,在一定程度上,可以理解成一种特殊的注意力机制: 注意到与当前任务无关的特征,通过软阈值化,将它们置为零;或者说,注意到与当前任务有关的特征,将它们保留下来。 5.深度残差收缩网络或许有更广泛的通用性 深度残差收缩网络事实上是一种通用的数据分类方法。 这是因为很多分类任务中,样本中或多或少都会包含一些噪声,以及不相关的信息。这些噪声和不相关的信息,有可能会对分类的效果造成影响。例如说: 在图片分类的时候 ,如果图片同时包含着很多其他的物体,那么这些物体就可以被理解成“噪声”;深度残差收缩网络或许能够借助注意力机制,注意到这些“噪声”,然后借助软阈值化,将这些“噪声”所对应的特征置为零,就有可能提高图像分类的准确率。 在语音识别的时候 ,如果在声音较为嘈杂的环境里,比如在马路边、工厂车间里聊天的时候,深度残差收缩网络也许可以提高语音识别的准确率,或者给出了一种能够提高语音识别准确率的思路。 参考网址 深度残差收缩网络:(四)注意力机制下的阈值设置 https://www.cnblogs.com/yc-9527/p/11604082.html 【深度残差收缩网络论文翻译】 Deep Residual Shrinkage Networks for Fault Diagnosis https://www.jianshu.com/p/bcdc9d75a302 秒懂深度残差收缩网络 https://www.jianshu.com/p/90f1ef1b06bc 论文网址 M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, DOI: 10.1109/TII.2019.2943898 https://ieeexplore.ieee.org/document/8850096
相关资源
  • 所需E币: 0
    时间: 4 天前
    大小: 96.75MB
    上传者: bwj312
    Tensorflow实战Google深度学习框架
  • 所需E币: 0
    时间: 6 天前
    大小: 29.05MB
    上传者: LGWU1995
    深度学习_中文版所有压缩文件的解压密码都是:di201805
  • 所需E币: 0
    时间: 4 天前
    大小: 37.47MB
    上传者: bwj312
    深度学习_中文版.pdf
  • 所需E币: 5
    时间: 2020-9-9 17:43
    大小: 10.08MB
    上传者: 希望A
    【深度学习平台PaddlePaddle】下载安装教程.docx
  • 所需E币: 2
    时间: 2020-8-20 15:05
    大小: 8.98MB
    上传者: Taurus123
    该书主要介绍神经网络与深度学习中的基础知识、主要模型(前馈网络、卷积网络、循环网络等)以及在计算机视觉、自然语言处理等领域的应用。全书共15章。第1章是绪论,介绍人工智能、机器学习、深度学习的概要,使读者对相关知识进行全面的了解。第2、3章介绍了机器学习的基础知识。第4、5、6章分别讲述三种主要的神经网络模型:前馈神经网络、卷积神经网络和循环神经网络。在第6章中略提了下图网络的内容。第7章介绍神经网络的优化与正则化方法。第8章介绍神经网络中的注意力机制和外部记忆。第9章简要介绍了一些无监督学习方法。第10章中介绍一些和模型独立的机器学习方法:集成学习、协同学习、多任务学习、迁移学习、终生学习、小样本学习、元学习等。这些都是目前深度学习的难点和热点问题。第11章介绍了概率图模型的基本概念,为后面的章节进行铺垫。第12章介绍两种早期的深度学习模型:玻尔兹曼机和深度信念网络。第13章介绍最近两年发展十分迅速的深度生成模型:变分自编码器和对抗生成网络。第14章介绍了深度强化学习的知识。第15章介绍了应用十分广泛的序列生成模型。
  • 所需E币: 0
    时间: 2020-8-17 17:22
    大小: 531.3KB
    上传者: bwj312
    COGNEX-IN-SIGHTViDiDETECT工具,用于缺陷检测的深度学习解决方案
  • 所需E币: 0
    时间: 2020-8-17 17:23
    大小: 508.77KB
    上传者: bwj312
    COGNEX-IN-SIGHTViDiREAD工具面向文本和字符读取的深度学习解决方案
  • 所需E币: 0
    时间: 2020-8-17 17:22
    大小: 566.41KB
    上传者: bwj312
    COGNEX-IN-SIGHTViDiCHECK工具用于装配验证的深度学习解决方案
  • 所需E币: 4
    时间: 2020-8-12 16:59
    大小: 33.5MB
    上传者: VinayKIngle
    《动手学深度学习》电子书内容简介本书旨在向读者交付有关深度学习的交互式学习体验。书中不仅阐述深度学习的算法原理,还演示它们的实现和运行。与传统图书不同,本书的每一节都是一个可以下载并运行的Jupyter记事本,它将文字、公式、图像、代码和运行结果结合在了一起。此外,读者还可以访问并参与书中内容的讨论。全书的内容分为3个部分:第一部分介绍深度学习的背景,提供预备知识,并包括深度学习最基础的概念和技术;第二部分描述深度学习计算的重要组成部分,还解释近年来令深度学习在多个领域大获成功的卷积神经网络和循环神经网络;第三部分评价优化算法,检验影响深度学习计算性能的重要因素,并分别列举深度学习在计算机视觉和自然语言处理中的重要应用。本书同时覆盖深度学习的方法和实践,主要面向在校大学生、技术人员和研究人员。阅读本书需要读者了解基本的Python编程或附录中描述的线性代数、微分和概率基础。作者简介阿斯顿·张(AstonZhang)亚马逊应用科学家,美国伊利诺伊大学香槟分校计算机科学博士,统计学和计算机科学双硕士。他专注于机器学习的研究,并在数个顶级学术会议发表过论文。他担任过NeurIPS、ICML、KDD、WWW、WSDM、SIGIR、AAAI等学术会议的程序委员或审稿人以及FrontiersinBigData期刊的编委。李沐(MuLi)亚马逊首席科学家(PrincipalScientist),加州大学伯克利分校客座助理教授,美国卡内基梅隆大学计算机系博士。他专注于分布式系统和机器学习算法的研究。他是深度学习框架MXNet的作者之一。他曾任机器学习创业公司MarianasLabs的CTO和百度深度学习研究院的主任研发架构师。他在理论、机器学习、应用和操作系统等多个领域的顶级学术会议(包括FOCS、ICML、NeurIPS、AISTATS、CVPR、KDD、WSDM、OSDI)上发表过论文。扎卡里·C.立顿(ZacharyC.Lipton)亚马逊应用科学家,美国卡内基梅隆大学助理教授,美国加州大学圣迭戈分校博士。他专注于机器学习算法及其社会影响的研究,特别是在时序数据与序列决策上的深度学习。这类工作有着广泛的应用场景,包括医疗诊断、对话系统和产品推荐。他创立了博客“ApproximatelyCorrect”(approximatelycorrect.com)。亚历山大·J.斯莫拉(AlexanderJ.Smola)亚马逊副总裁/杰出科学家,德国柏林工业大学计算机科学博士。他曾在澳大利亚国立大学、美国加州大学伯克利分校和卡内基梅隆大学任教。他发表了超过200篇学术论文,并著有5本书,其论文及书被引用超过10万次。他的研究兴趣包括深度学习、贝叶斯非参数、核方法、统计建模和可扩展算法。
  • 所需E币: 3
    时间: 2020-8-12 17:10
    大小: 19.07MB
    上传者: VinayKIngle
    《Python深度学习》电子书内容简介本书由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱(FrançoisChollet)执笔,详尽介绍了用Python和Keras进行深度学习的探索实践,涉及计算机视觉、自然语言处理、生成式模型等应用。书中包含30多个代码示例,步骤讲解详细透彻。由于本书立足于人工智能的可达性和大众化,读者无须具备机器学习相关背景知识即可展开阅读。在学习完本书后,读者将具备搭建自己的深度学习环境、建立图像识别模型、生成图像和文字等能力。作者简介弗朗索瓦•肖莱(FrançoisChollet)Keras之父,TensorFlow机器学习框架贡献者,Kaggle竞赛教练,个人Kaggle竞赛全球排名曾获得第17名。目前任职于Google,从事人工智能研究,尤其关注计算机视觉与机器学习在形式推理方面的应用。
  • 所需E币: 4
    时间: 2020-8-12 17:16
    大小: 10.89MB
    上传者: VinayKIngle
    《精通特征工程》高清中文电子书内容简介特征工程是机器学习流程中至关重要的一个环节,然而专门讨论这个话题的著作却寥寥无几。本书旨在填补这一空白,着重阐明特征工程的基本原则,介绍大量特征工程技术,教你从原始数据中提取出正确的特征并将其转换为适合机器学习模型的格式,从而轻松构建模型,增强机器学习算法的效果。然而,本书并非单纯地讲述特征工程的基本原则,而是通过大量示例和练习将重点放在了实际应用上。每一章都集中研究一个数据问题:如何表示文本数据或图像数据,如何为自动生成的特征降低维度,何时以及如何对特征进行标准化,等等。最后一章通过一个完整的例子演示了多种特征工程技术的实际应用。书中所有代码示例均是用Python编写的,涉及NumPy、Pandas、scikit-learn和Matplotlib等程序包。-数值型数据的特征工程:过滤、分箱、缩放、对数变换和指数变换-自然文本技术:词袋、n元词与短语检测-基于频率的过滤和特征缩放-分类变量编码技术:特征散列化与分箱计数-使用主成分分析的基于模型的特征工程-模型堆叠与k-均值特征化-图像特征提取:人工提取与深度学习作者简介爱丽丝·郑(AliceZheng)亚马逊广告平台建模和优化团队负责人,应用机器学习、生成算法和平台开发领域的技术领导者,前微软研究院机器学习研究员。阿曼达·卡萨丽(AmandaCasari)谷歌云开发者关系工程经理,曾是ConcurLabs的产品经理和数据科学家,在数据科学、机器学习、复杂系统和机器人等多个领域都有丰富经验。
  • 所需E币: 1
    时间: 2020-8-10 17:14
    大小: 420.36KB
    上传者: sense1999
    深度学习资料-第1课数学基础
  • 所需E币: 1
    时间: 2020-8-10 17:16
    大小: 25.47MB
    上传者: sense1999
    深度学习资料-第2课:从线性分类器到人工神经网络
  • 所需E币: 1
    时间: 2020-8-10 17:21
    大小: 9.23MB
    上传者: sense1999
    深度学习资料-第6课:词嵌入(word2vec)与相关应用
  • 所需E币: 1
    时间: 2020-8-10 17:22
    大小: 3.75MB
    上传者: sense1999
    深度学习资料-第7课:循环神经网络与长短时记忆及应用
  • 所需E币: 1
    时间: 2020-8-10 17:22
    大小: 16.51MB
    上传者: sense1999
    深度学习资料-第8课:循环神经网络应用
  • 所需E币: 1
    时间: 2020-8-10 17:23
    大小: 5.97MB
    上传者: sense1999
    深度学习资料-第9课:强化学习与DQN
  • 所需E币: 1
    时间: 2020-8-10 17:18
    大小: 20.32MB
    上传者: sense1999
    第3课:计算机视觉与卷积神经网络
  • 所需E币: 1
    时间: 2020-8-10 17:19
    大小: 10.5MB
    上传者: sense1999
    深度学习资料-第4课:深度学习框架与应用
  • 所需E币: 1
    时间: 2020-8-10 17:20
    大小: 7.57MB
    上传者: sense1999
    深度学习资料-第5课detection_dec10
广告