标签: 数据价值

导语： 在这个充满波动性、不确定性、复杂性和模糊性的商业环境中， 最有力的竞争优势是信息 。随着数字化转型成为各类企业的追求，从数据中获取情报的能力将是获胜的关键。 在大多数情况下，这些问题既是技术问题，也是文化问题。 信息孤岛、不愿共享、缺乏分析技能以及业务用户难以查找和获取数据 ，这些都是阻碍企业真正以数据为中心的因素。 大量数据表明，由数据驱动的决策可以使企业更加灵活、高效和响应迅速。低成本、可大规模扩展的数据库和云端分析工具的出现，降低了获取和使用数据的障碍，但许多企业受到传统技术的束缚，无法满足日益增长的用户需求。 一、数据对企业具有重要价值 商业应用研究中心（BARC）的一项调查发现，三分之二的组织认为信息在现在或将来的决策中非常重要。然而， 58%的受访者表示，他们公司的管理决策至少有一半是基于直觉或经验的。在被BARC定性为“落后”的组织中，这一数字为70%。 据Gartner估计，87%的组织在商业智能和分析的成熟度方面水平较低。他们倾向于使用电子表格进行分析，并在没有经过统筹的独立项目中提取个人数据。根据该研究公司的说法， 这些信息孤岛限制了BI现代化 。对于大多数组织来说，问题在于传统BI工具的泛滥，再加上数据治理流程将太多的责任集中到了稀缺的数据管理人员手中。数据驱动意味着将数据以可用的格式及时地传递给需要它的人。然而，在很多组织中，仅仅是将数据转换成可用的形式就浪费了太多时间。 当今的商业环境中，数据是竞争优势的最关键来源，低效的数据处理越来越难以维持。企业可以将许多非核心竞争力的操作和基础设施外包出去。事实上，新型的纯网络企业几乎没有任何基础设施。这些公司所拥有的是围绕数据使用的文化和组织的严谨性。 数据是大多数公司各个层面做出明智决策的关键，今天，这些决策可能延伸到收银员、酒店管家和工厂车间里的工人。一家运营良好的公司在管理层制定战略，并将其转交给对应的管理者，由他们将其转化为有数据支持的流程和举措。 这些数据可以是战略性的（用于对新的倡议作出决定），战术性的（用于决定如何执行个别倡议）和操作性的（用于支持正在进行的进程）。 不幸的是，许多组织中的数据流受到了一系列技术限制，这些限制围绕查找、清理、加载和协调数据源等任务，而这些任务又被糟糕的数据治理实践放大了。用户可以自己承担的任务最终集中在技术人员身上。其结果是， 高优先级的项目得到了关注，而小项目的“长尾”则被分流到了一边。这些低优先级的请求加在一起，将会对底层业务产生重大影响。 举一个真实的例子：一家被称为数据分析领域领导者的大型零售商。像许多同行一样，该公司投入了大量的工作，为假日购物季的促销活动、定价、库存和人员配置做准备。但是，对于公司内部的一些小组来说，一年中最繁忙的时间是在圣诞节之后。这些部门主要是处理售后工作以及节假日后的商品库存，这是增加销售机会和改善客户关系的一个重要渠道。部门经理对他们无法获得客户行为数据和节后购买的历史记录感到沮丧，这些数据在预测需求方面是很有用的。但是他们的需求被认为是次要的，因为要为假期激增的订单做好准备。 而最终结果是节假日后储物箱等物资短缺，客户服务台排长队，库存计划和供应链管理中断。这种对最关键的业务问题的关注，留下了一长串未处理的项目，而这些项目合起来可能产生重大的业务影响 。 根据 杜德定律，价值=为什么/怎么做 。价值的增长要么是通过探索原因，要么是通过减少方法。在分配资源时，组织通常会过度关注分子而不是分母，认为更大的解决方案会带来更大的红利。复杂的优先级计划总是忽略了减少“如何”可以对业务产生同样大的影响。 二、商业智能（BI）技术束缚了企业决策过程 商业智能是一个成熟的市场，可以追溯到20世纪90年代，有数百种可用的产品。许多遗留系统是基于客户机-服务器架构，这种架构中数据驻留在服务器上，客户机需要进行大部分处理。这种过时的方法需要强大的服务器处理能力和大量的文件传输到客户端的PC。许多工具甚至将数据存储在本地电脑上，造成安全漏洞。而且，在智能手机和移动电话发明之前建立的系统也是如此。目前只有平板电脑努力在向人们现在最常使用的上网设备提供报告。 大多数传统的商业智能系统需要提取数据库、汇总数据集或数据仓库，这些都是存放源数据的更新副本。企业内部的数据仓库很昂贵，所以存放在其中的数据量需要严格控制。获取和清理数据所需的ETL过程也是费力的，而且很耗时，有时需要一个数据科学家花费数周的时间。不同的数据源使用不同的格式，从CSV文件到关系表等。用户需要创建自定义查询，以便从每个来源提取和清理数据 。IDC估计，一个典型的分析团队80%的时间花在数据发现、准备和保护上，只有20%花在分析上。 提取数据库在创建的时候已经过时了，因为数据不能实时获取，而且没有一个固定的模式。当用户看到他们请求的报告时，数据可能是几周前的。检索更新的数据可能需要与数据科学团队创建一个新的需求。因此， 传统工具阻碍了快速自动化决策的制定。 用于数据集成、ETL、数据仓库、提取数据库和BI前端的工具之间的不兼容，进一步复杂化数据提取。传统商业智能系统协作能力有限，对业务用户来说是一个黑箱，需要数据科学家和工程师猜测他们的业务方客户想要什么，而业务用户只需要简单的提交任务更改请求单。这种解决方案浪费了时间，使资源进一步集中在少数高度优先的任务上。 三、企业使用商业智能（BI）效率低下 许多组织用来管理商业智能数据流的工作流程是过时的和低效的 。太多的责任集中在数据专业人员的手中，而终端用户的责任太少。这是有原因的， 传统的工具使用起来很麻烦，需要复杂的模式和专业的背景知识，企业还需要对敏感信息的获取进行监管 。然而，现代软件已经简化了许多技术问题，良好的治理和访问管理实践可以解决大部分控制问题，而不会阻碍人们获得需要的数据。 数据科学家和工程师的成本和稀缺性 也造成了一个重要的瓶颈。在美国，数据科学家的平均基本工资超过11.3万美元，而IBM估计今年将有超过270万个需要数据科学技能的工作岗位发布。商业智能只是数据科学家和工程师支持的任务之一，而且往往不是他们的最高优先事项。 由于技术资源是宝贵的，公司往往不得不制定严格的程序来规范其使用， 从而造成效率低下，而组织上的孤岛又加剧了效率问题。 用户请求必须进入队列进行评估和排序。由于缺乏时间和协作工具，与技术团队的互动受到限制。工程师们可能对用户的需求知之甚少，他们只能对要使用的源数据和需解决的业务问题做出有根据的猜测。用户往往被排除在关于如何计算和显示报告的小决策之外。如果在报告交付后出现了新的数据源，用户必须提出新的请求，整个过程又要重新开始。 四、企业如何提高商业智能（BI）的价值？ 增加商业智能对组织的价值 需要在技术和人员两方面进行投资 。然而，技术投资的第一个阶段往往是撤资。组织需要先对正在使用的BI工具进行分析评估，并对那些应该被淘汰的工具做出一些艰难的决定。这种评估不仅要考虑基础设施成本，还要考虑维持该工具特有的技能组合对组织的影响。管理者也应该对人们的影响保持敏感，并让他们参与选择新的解决方案。工具越少越好，只要它们能够满足组织的大部分探索和报告需求。 在技术方面，一些最大的优势来自于平台的整合和现代化， BI工具应该向云方向发展 。传统的企业内部解决方案维护费用昂贵，而且可能带来安全风险。 大数据分析正在转向云，商业智能也在随之发展。基于云的解决方案将成本从资本预算转移到基于使用的运营费用。 云计算仪表盘让管理员能够了解工具的使用情况，而传统的内部平台则无法做到这一点。 更重要的是， 企业获得了无限规模、持续更新和访问内外部数据所带来的灵活性 。他们可以尝试使用不同种类的关系型和非关系型数据存储，还可以结合流分析和各种开发、可视化和机器学习工具。在许多情况下，这些技术可以免费试用，或按月订阅。 现代云原生应用程序也利用应用程序编程接口（API）来整合系统并实现无缝数据交换。API是应用集成的一个巨大进步。它们允许开发者以安全且可审计的方式有选择地公开服务和数据。 它们还可以创建全新的数据视图，如结合数据的仪表盘。连接器可以使数据集成变得很简单，甚至非技术性的企业用户也可以在几分钟内完成配置，尝试使用不同的连接器，而不需要做长期的购买承诺。 有四种方法可以利用这些综合技能组合来提高BI的价值： *雇用具有商业技能的工程师 。即使在最好的情况下，这也是很难做到的，在低失业率的情况下更加困难。让专业技术人员掌握适合企业需求的技能需要数年时间，即使他们有能力，但是有些工程师就是不感兴趣。 *为每个业务部门雇用专门的工程师 。这是一个更快发展业务的方法，但可能非常昂贵。这也产生了风险：失去一个精通业务的工程师会对部门造成毁灭性打击。 *提升业务人员的技能 。这种方法与雇用具有商业技能的工程师有一些相同的缺点。虽然在技术上是可行的，但经理们可能会拒绝让他们的员工脱离商业流程进行必要的培训，而要找到具有强烈技术倾向的业务人员，也是困难的。 *使用一个平台，让企业用户在技术上有更多控制权，同时让工程师更接近业务。这是成本最低且最具扩展性的方法。 评估你的技术团队现在执行的任务，哪些可以安全地转移到业务用户手中而不需要大量的技术培训。可能包括查询、格式化、可视化，这些操作不会修改底层数据。同时，工程师可以与一个或多个业务部门更紧密地联系，以从事类似的项目，加强他们对业务的理解。 五、使用自助式商业智能（BI） 自助式BI的概念已经被广泛使用，这个词的广泛使用已经淡化了它的意义，就像对Gartner等权威机构的声明的误读一样，即商业智能用户已经比数据科学家产生了更多的分析。事实上，仔细看看Gartner的研究就会发现，该公司并不主张将BI的责任从IT部门全盘移交给业务同事。 自助式BI将业务用户的专业知识和见解与数据科学家和工程师的专业知识相结合，以确定要问的正确问题，从而找到正确的数据源并准备必要的数据集。数据质量很重要，BI系统本身也必须得到维护和更新。 自助服务不应该与自给自足混为一谈。比如快餐店里的汽水机，许多商家为顾客提供了饮料自助，但这并不能让顾客完全独立。在幕后，需要工作人员确保提供足够的碳酸和糖浆，将原料调整混合以达到正确的味道，并为食客提供用餐需要的杯子、盖子和吸管。饮水机也必须得到维护、修理和清洁，以满足卫生要求。类似的，允许业务用户从BI工具中自由发布信息，并不意味着不需要专业人员确保使用了适当的数据源、清理了数据、打了补丁并更新了软件。 虽然过多的控制会令人窒息，但过多的灵活性也会导致鲁莽，需要数据科学家来帮助用户做出明智的决定。例如，相关性和因果关系很容易被混淆。用一个流行的例子来说，冰淇淋的销售和游泳死亡的比率同时上升和下降，并不意味着冰淇淋导致溺水。相反，这两种趋势有一个共同的相关性，那就是夏天。 需要数据科学家建立保护机制，防止他们的业务同事对数据理解不足做出错误的决定。 六、自助式商业智能（BI）的优点 实现资源的正确平衡，一种行之有效的方法是 建立小型团队，这些人拥有与他们业务职能相关的数据子集 。该团队负责确保使用正确的数据，保持最新的数据，并应用于正确的问题。如果有不准确的地方，团队的工作就是修复它们。 协作是必不可少的 ，组织使用的任何商业智能工具都应该具有 共享、评论和基于每个团队成员的工作的内置功能 。 BI平台应该有足够的灵活性，以应对未知的需求，并使组织的所有部门都能 建立自己的模型 ，这样技术人员就可以专注于最重要的问题。随着用户的尝试和发现新的机会，他们可以竞标技术资源来开发它们。 配置设置和用户输入应该驱动用户可以根据需要更改的算法 。在定义治理政策时，应假定人们可以在他们可以访问的数据域内自由地进行试验。 良好的治理，结合强大的安全和审计控制，可以保护敏感数据，同时给予用户更大的自由来满足好奇心。 传统的商业智能系统，特别是那些基于 客户-服务器模型的系统 ，由于难以监控PC终端上的活动，限制了组织的数据治理能力。组织的反应通常是严格限制在服务器层面上的数据访问。更好的应对措施是释放数据，并使用审计和访问控制来规范谁使用数据以及如何使用数据。 现代基于云的解决方案如 HK-Domo 可以将处理转移到一个可扩展的服务器上，并给管理员提供工具，以实现数据访问和安全性之间的平衡。他们可以看到数据如何一直在管道中流动的可视化表示，以及登录尝试、数据使用、用户活动和实时数据集的状态。 可以设置警报，以在检测到异常或数据问题时触发 。管理员可以创建授权策略，管理个人和团体对数据集中特定数据的访问。他们可以为管理员、特权用户、编辑和参与者使用预定义的安全配置文件，或创建自己的安全配置文件。企业可以选择最适合他们的安全模式，包括零信任和最小特权，与单点登录和认证相结合，以减少用户的不便。 七．结语 2017年，《经济学人》宣布：“世界上最有价值的资源不再是石油，而是数据。” 这个比喻很贴切，因为今天的企业没有信息就无法运作，就像一个世纪前的工业巨头没有石油就无法运转一样。数 据实际上比石油更有价值，但与石油不同，数据可以被重复使用，以创新的方式组合，并在组织或世界范围内共享。 创新的数据管理不仅是几乎所有市场竞争优势的主要来源，而且是重塑零售业、运输业和酒店等行业网络规模公司的命脉。限制人们利用数据潜力的传统技术和流程威胁着整个实体的健康。 云计算已经释放了人们的潜力，以之前无法想象的方式将成千上万的数据源结合起来。现在是时候重新审视商业智能，使其成为一种新的灵活且响应迅速的组织的能量来源。