标签: 数据挖掘

处理的信息量呈爆炸式增长。对于联邦机构和军队来说尤其如此，它们从设备、建筑物、船舶、飞机等中的移动设备和传感器生成大量数据。 寻找有效的方法来管理、使用和保护这些数据具有挑战性。但是有一个有效且具有成本效益的解决方案。神经形态处理和自搜索计算存储的结合可以使组织能够快速处理大量边缘数据。 边缘数据困境 边缘数据可以提供洞察力，从而实现更有效的核心任务。问题是，处理这些数据所需的计算和网络基础设施没有跟上。组织缺乏在边缘处理数据的计算能力，并且他们缺乏网络带宽将数据传输到他们具有处理能力的集中位置。 传统的计算技术占用太多空间并产生太多热量，无法在边缘使用。传统的网络技术无法以实用的速度长距离传输大量数据。例如，美国海军舰船平均从船员、操作系统、武器系统和通信中产生数 PB 的数据。对于许多用例，在船靠岸之前无法处理这些数据。 网络优势 机构不仅必须找到管理数据的有效方法，还需要保护其资产免受网络威胁。如今，网络安全团队在应对网络攻击时必须筛选大量数据。为了发现异常并找出根本原因，他们需要从访问日志和安全信息与事件管理 (SIEM) 系统中搜索大型数据集。他们还需要尽可能近乎实时地完成该任务，以防止破坏任务的网络漏洞。但迄今为止，他们缺乏有效的计算和存储解决方案来在边缘实现这一目标。 Cyberedge 的一份 新报告 发现，68% 的政府机构在 2021 年面临网络攻击，这表明机构需要找到创新的数据保护解决方案以防受到攻击。在响应网络事件时，主动响应能力至关重要，可以通过快速查找数据和实时提醒分析师来大幅降低网络风险并保护任务。 神经形态处理的力量 如果计算机的功能更像人脑，那将会很有帮助。一个人可以看着成千上万朵黄色花朵的田野，并立即认出那一朵红色花朵。计算机需要单独处理每朵花，直到找到异常。 那是因为大脑在亿万年的进化过程中经过微调，可以很好地执行特定任务。它这样做的同时消耗的能量非常少。 但是，如果计算机可以像大脑一样非常快速地执行特定任务，而只需要很少的能量呢？这就是神经形态处理器的前景——本质上是一种以大脑系统为模型的计算机。 以下是神经形态处理如何在边缘转变网络风险。从构建在高端现场可编程门阵列 (FPGA) 集成电路上的神经形态处理单元 (NPU) 开始，该集成电路经过定制可加速关键工作负载。添加几十 TB 的本地 SSD 存储。其结果是一个基于 NPU 的自搜索存储设备，可以在边缘以非常低的功耗对非常大的数据集执行极快的搜索。 NPU 技术搜索大型数据集的速度有多快？将多个NPU设备组合在一个机架中，您可以在大约12分钟内搜索1PB的数据。要使用传统技术实现该结果，您需要 62 个服务器机架 – 以及非常庞大的预算。在测试中，NPU 设备机架需要的资本支出降低 84%，运营支出降低 99%，功耗降低 99%。 想象一下在响应像 Sunburst 黑客这样的情况时在几分钟内搜索 PB 数据的优势。Sunburst 黑客攻击始于 2020 年 3 月左右，但直到 2020 年 12 月才被发现，影响了至少 200 个组织，包括国防部、国土安全部、财政部、商务部和司法部等政府部门。各机构必须搜索至少九个月的数据，确定违规发生的位置、当前的违规活动以及哪些系统、网络和数据受到影响。 在这种情况下，神经形态处理和自搜索存储可以缩短事件响应时间。这可以节省成本、加速事件解决并降低网络风险。 制作NPU 设备的用例 NPU 搜索技术是与能源部的研发实验室 桑迪亚国家实验室合作开发的。 如今，桑迪亚正在积极使用多个 NPU 系统进行网络防御和其他用例。 NPU 设备的一个引人注目的方面是它可以帮助组织遵守拜登总统 2021 年 5 月 关于改善国家网络安全的行政命令 。作为对该命令的回应，管理和预算办公室 发布了一项指令， 要求各机构保留 12 个月的活动数据存储和 18 个月的冷数据存储。对于许多机构来说，这会带来严重的预算挑战。NPU 设备可以使此类数据保留具有成本效益。 此外，NPU 设备存储的部署不需要改变组织当前的 IT 基础设施或网络防御。该设备只是与现有的硬件和网络安全解决方案并存。大型数据集的搜索发生在边缘。识别出的任何少量相关数据都可以快速轻松地传输以进行集中分析。 NPU 设备还有其他潜在用例。例如，一家财富 50 强公司使用数据标记技术来训练机器学习算法。该组织将所需时间从一个月减少到 22 分钟。 与此同时，对于联邦机构和军方而言，神经形态处理和自搜索存储是保护敏感数据和降低边缘网络风险的可行且经济高效的解决方案。

一、Domo简介 Domo 成立于 2010 年， 是一个一体化、完全移动、基于云的平台 ，旨在增强企业当前的数据湖、数据仓库和 BI 工具。Domo 的集成平台建立在三个技术支柱上，这些技术支柱连接来自不同业务来源的数据，实时分析和可视化数据，并支持创建低代码到无代码应用程序。这使整个企业的用户能够快速、轻松地访问他们所需的数据，从而推动业务增长和增加收入。 二、Qlik 简介 Qlik Active Intelligence Platform 于 1993 年在瑞典成立， 是一个由 AI 驱动的端到端、基于云的分析和数据集成平台 。该平台包含两套产品：数据集成和分析。每个产品都旨在连接来自跨业务渠道的数据，并将其交到用户手中，以实现实时、快速的洞察和行动。 三、主要功能对比 乍一看， Domo 和 Qlik 非常相似 。从本质上讲，这是两个基于云的数据分析和集成平台，允许用户收集、分析和报告来自整个组织的原始业务数据。此外，还提供数据分析和集成工具，旨在连接成员和数据。 然而，经过进一步研究，发现Qlik 中的许多功能比 Domo 的功能更局限。 其中一些限制导致用户难以使用 Qlik 工具收集正确的业务数据、发现见解并保护数据。 数据连接器 Qlik 具有 100 多个数据连接器， 允许用户访问和集成来自 Amazon、GitHub、Microsoft Excel 等来源的数据。虽然 Qlik 的数据连接器很多，但 Domo 的数据连接器更多， 有1000 多个预建连接器 。 此外，Domo 具有 内置的 ETL 功能 ，允许用户转换来自不同来源的数据，并将其存储在一个集中平台上。而且因为 Domo 是基于云的，所以它的工具非常敏捷灵活。 数据可视化 Qlik 具有自助可视化功能，用户可以组合、加载、可视化和探索数据。但是， Qlik没有Domo中可用的大量库。Domo有150 多个图表和 7,000 多个自定义地图，用户可以轻松访问所需的工具，以理解复杂数据。此外，Domo 用户可以使用丰富的可视化工具库轻松自定义可视化，包括自定义布局、配色方案、格式和注释，所有这些基本不需要编码经验。 自定义报告 Qlik 用户可以使用 Qlik Sense 表格在解决方案中构建详细报告，然后通过共享文件夹、电子邮件等方式进行计划派发。虽然报告具有灵活的设计和格式控制，但它没办法进行太多自定义。这阻碍了用户创建所需的报告类型，以解释复杂数据或演示如何实现特定业务目标。Domo 的 BI 和分析工具使用户可以超越静态报告。用户可以轻松地深入挖掘数据以获得更细的粒度，并根据需要自定义视角。与 Qlik 类似，用户可以在指定的时间间隔内通过电子邮件安排报告交付。 处理时间 很少有商业智能平台，包括 Qlik，可以与 Domo 的速度和功能相媲美。无论数据集有多大，Domo都能快速处理，使用户能够根据有价值的见解快速采取行动。例如，Domo 的 Adrenaline DataFlows使用户可以在几分钟内分析庞大的数据集。这是通过将相关数据分解为较小的汇总数据集来完成的，这显著加快了流程并避免了昂贵的停机时间。 数据应用程序 用户可以通过Domo创建低代码应用程序来探索、共享和分析数据。这些应用程序可以由各种技术背景的用户根据模板创建，也可以从头开始构建，并允许用户自定义各个方面，包括展示、交付和与其他应用程序集成。应用程序可以是静态的、手动更新的或通过数据推送刷新的。Qlik 能够创建应用程序，但仅限于专业用户。Qlik 的应用程序可以使私有或公开的，公共应用程序可以被其他用户查看和编辑。 嵌入式分析 Qlik 的嵌入式分析功能允许用户将分析功能集成到工作流、应用程序和门户中。此外，该平台允许用户集成多个数据集以进行进一步分析。然而，尽管该平台具有嵌入式分析功能，但在Gartner Peer Insight 报告中，Qlik 的嵌入式分析能力仍低于 Domo 。许多受访者表示，该平台的嵌入式分析难以定制，处理时间慢，学习曲线陡峭。 Domo 的嵌入式分析功能 Domo Everywhere比 Qlik 更进一步，允许用户构建完全沉浸式的数据生态系统。内部业务用户、合作伙伴和客户都可以直接将该功能集成到他们的工作流、门户和应用程序中，从而允许用户一起编辑、报告和协作处理数据。这使企业能够将静态数据转换为动态数据洞察，从而推动业务增长并增加利润。 安全 虽然 Qlik 管理员可以限制特定用户访问特定数据或仪表板，但如果不为每个用户创建单独的仪表板，他们就无法利用“need to know”的安全性。从本质上讲，Qlik在数据安全方面采取了孤注一击的方法。 与 Qlik 不同，用户可以在Domo中创建授权策略，授权用户访问数据集中的每一行数据。这意味着只有经过授权的团体和个人才能访问此信息。此外，用户可以使用可信属性来创建基于用户属性而不是个人的策略。 四、结论 寻求强大而灵活的数据分析和集成平台的企业将在 Qlik 中找到所需的所有功能。凭借详细的报告、简单的数据集成功能和可自定义的视图，用户可以轻松访问所需的业务数据。然而，随着数据集变得越来越大、越来越复杂，企业仅仅拥有一个简单的数据分析和集成工具是不够的。相反，他们需要一个多合一的业务管理套件，该套件可以进行高度定制、闪电般快速的数据处理并具备严格的安全性。 Domo 的全方位商业智能平台将停滞的、复杂的数据转化为可在整个企业共享的、可操作、可理解的洞察力 。任何人，无论其技术技能或职位如何，都可以访问数据以制定数据驱动的战略决策，从而推动业务增长。