标签: 数据

一、引言 随着汽车新四化“ 电动化、网联化、智能化、共享化 ”全面推进，几乎每一项新技术的诞生都离不开 汽车电子 的身影。其中， 电子控制单元 （Electronic Control Unit，ECU）作为汽车电子控制系统的核心。与 传统ECU 相比，采用 AUTOSAR （AUTomotive Open System ARchitecture，汽车开放系统架构）这种分层架构，极大降低了汽车嵌入式系统软、硬件耦合度。 图1 传统软件架构与AUTOSAR架构对比 此外，随着国内新能源汽车 相关控制器正向开发需求 的增长， AUTOSAR规范 越来越受到大家的关注，并且应用需求也越来越大。国内一些 主流整车厂 以及 零部件供应商 都开始致力于符合AUTOSAR规范的车用控制器软件开发。 二、汽车电子控制系统 汽车电子控制系统 由传感器（Sensor）、电子控制单元（Electronic Control Unit，ECU）和执行器（Actuator）组成。 图2 汽车电子控制系统基本构成 传感器 作为 信号输入装置 ，用来检测和采集各种信息，如温度、压力、转速等，可以将非电量信号转换为电信号传给电子控制单元。 ECU 也即 汽车嵌入式系统 （Automotive Embedded System，AES），ECU对传感器的信号进行处理，通过 控制算法 向执行器发出控制指令。硬件部分主要由微控制器（Microcontroller，MCU）及外围电路组成；软件部分主要包括硬件抽象层（Hardware Abstraction Layer，HAL）、嵌入式操作系统及底层软件和应用软件层。 执行器 为执行某种控制功能的装置，用于 接收来自ECU的控制指令 ，并对控制对象实施相应的操作。 三、ECU开发流程中总线通讯：ARXML 规则下的标准化协作 ECU 实际开发流程 中，从需求分析与定义到系统集成测试， 总线通讯 贯穿始终。 比如在 需求分析与定义阶段 ，开发团队首先要梳理 整车功能需求 ，明确各 ECU 需要实现的功能及彼此间的 数据交互需求 。 基于这些需求，工程师使用 ARXML （AUTOSAR Extensible Markup Language）文件 定义 ECU 间的通讯协议 ，包括选择 CAN、Flexray 还是 SOME/IP 总线，以及详细规划报文结构、信号编码等内容。 以 CAN 总线 为例，ARXML 文件中会明确 CAN 报文的 ID、数据长度、信号位置及编码方式等信息。开发人员依据这些规范进行 代码实现 ，确保各个 ECU 在 CAN 总线上准确收发数据。 在 集成测试阶段 ，ARXML 文件提供的标准化描述，能帮助测试人员快速搭建测试用例，验证 ECU 间的通讯逻辑是否符合预期。比如，通过对比 ARXML 定义的信号与实际总线上抓取的数据 ，精准定位通讯异常问题，极大提升开发效率与系统稳定性。 四、ADTF：汽车数据与时间触发框架（Automotive Data and Time-Triggered Framework） ADTF 作为一款 专业的汽车数据与时间触发框架软件 ，是一个 基于层级 和 面向服务 的系统架构。 图3 ADTF 系统架构 大家也可以看出来， ADTF 同样采用 模块化的设计 ，与 AUOSAR CP 架构层级设计有异曲同工之妙 。基于Runtime来封装底层服务，通过 插件开发 可以生成各类工具箱，完成ECU开发中各类测试任务。比如在 总线类数据的解析 与 测试领域 有着卓越表现。它具备强大的 多总线数据处理能力 ，比如adtf_car_communication_toolbox、adtf_device_toolbox。能够 无缝接入 CAN、Flexray、SOME/IP 等多种汽车总线 ，并基于 ARXML 规则 对总线数据进行解析。 五、应用案例 在 ADTF Car Communication Toolbox 中，基于 “AUTOSAR ARXML 文件对汽车总线通信数据进行解码，实现了 CAN、FlexRay 和 SOME/IP 等总线协议的解析。 图4 Decoding CAN using arxml database 图5 Decoding FlexRay using arxml database 图6 Decoding SOMEIP using arxml database 该工具包通过 集成 ARXML 解析能力 ， 使 ADTF 具备汽车总线通信的解码功能 ，适用于 车载网络开发 、 测试与分析场景 ，帮助工程师将原始总线数据转换为可理解的信号流，提升汽车电子系统的开发效率。 六、结语 在汽车电子技术飞速发展的当下， 基于 ARXML 规则的总线通讯标准化与高效解析能够加快ECU开发流程 。 ADTF 具备多总线数据解析与测试能力，深度结合 ARXML 规则，为 CAN、Flexray、SOME/IP 等总线数据处理提供测试解决方案。 无论是 ECU 开发过程中的协议验证，还是整车集成测试中的问题定位，ADTF 都能快速部署完成测试开发。

在 数据驱动 决策时代，企业面临 隐私合规 与 数据利用 的双重挑战（如PIPL、GDPR等隐私规定要求）。如何在聚焦 效率与合规平衡 ，助力汽车、零售等行业在保护敏感信息的同时，安全释放视频数据价值，破解数据处理的合规与业务增长难题？ 本文为大家分享 基于 AWS Kubernetes 的可扩展集群 方案和 基于Docker Compose的单机 方案，助力企业平衡数据安全与业务需求。 一、现实问题 人工智能技术的爆发式增长，推动汽车、制造、零售等行业进入 “数据驱动决策 ” 的新时代。企业通过 摄像头采集海量数据 用于 自动驾驶模型训练 、 生产线缺陷检测 、 门店客流分析 等场景，但随之而来的是日益严苛的隐私合规压力 —— 欧盟GDPR 、 中国PIPL 等规定明确要求，敏感数据处理需满足 匿名化脱敏存储 等硬性条件。 传统云端方案 虽然便捷，却面临 侵犯隐私数据 、 跨境传输风险 、 网络依赖及成本不可控 等问题，越来越多企业开始寻求 本地化匿名化解决方案 ，在保障合规性的同时释放视频数据价值。 二、从KBS到单机Docker的匿名化方案 1、基于 AWS Kubernetes 的弹性集群 关于“ 基于 AWS Kubernetes 的弹性集群 ”方案，下面将从 技术架构 、 模式 、 服务支持 三方面具体阐述： （1）隐私优先的技术架构 通过Terraform在 AWS 专用 VPC 私有子网内构建Kubernetes 集群，实现数据全生命周期隔离；集成 Loki、Prometheus、Grafana 监控堆栈，实时追踪资源利用率、作业吞吐量及系统健康状态，确保处理流程透明可控。这种隐私优先的架构为大规模匿名化提供了可靠的安全态势和显著的吞吐量。 （2）双模式灵活匹配 方案提供两种模式，适合不同的吞吐量需求和预算。 高效模式可以并行处理多达 100 个 15 GB 视频，在多达 150 台机器上每秒提供约 500 帧。这种方法利用了抢占式实例（Spot Instances）以提高成本效益。 另一边，高吞吐量模式在多达 400 台机器上以每秒数千个的速度并行处理多达 300 个 15 GB 的视频，依靠抢占式实例实现最大的稳定性。 （3）全流程服务支持 方案采用集群定制化部署服务，支持单集群或多集群扩展；配套REST API与redact-client CLI工具，可无缝对接企业现有数据管道，实现批量文件并行处理。 2、基于 Docker Compose 的单机部署 关于“ 基于 Docker Compose 的单机部 署”方案，下面将从 硬件要求、功能集成、启动速度 三方面具体阐述： （1）极简硬件要求 单机部署是一种更为简单、相对隔离的解决方案，只需将Docker Compose部署在带有1个或多个 NVIDIA GPU（T4/A100/2080 Ti/A10）的单台服务器中，深度优化推理速度，适配边缘计算节点或小型数据中心。 （2）全功能集成 - 管道一体化： 预处理、深度学习推理、后处理全流程封装于 Docker 容器，通过 REST API 统一管理，支持视频流或图像文件批量处理； - 可视化界面： 可选 Redact UI 前端，一键提交作业、监控进度、下载结果，降低技术门槛； - 离线可用性： 内置 Redact-License-Server，无需联网即可运行，满足医疗、政府等强隔离场景需求。 （3）分钟级快速启动 适合概念验证（POC）、小规模生产环境或临时任务，尤其适合技术资源有限的企业快速落地匿名化能力。 3、方案选择 在这两种本地部署策略之间进行选择取决于 用户的数据量 以及 满足隐私合规性的可用预算 。 如果希望每天处理 数百小时的视频 并需要 弹性可扩展性 ，那么 基于AWS的Kubernetes集群 可能是最佳方案；如果需要 更便捷的操作 或在 安全、隔离 的环境下工作， Docker Compose单机部署 也会是一个不错的选择。 三、总结 本文分享的两种匿名化解决方案可以满足隐私合规需求： 一是基于 AWS Kubernetes 的可扩展集群部署 ，通过私有 VPC 子网与 Terraform 管理，分高效模式（100 路并行、Spot实例省成本）和高吞吐量模式（300 路并行、Spot实例保稳定），配备监控栈与资源标签，支持 API 与 CLI 操作； 二是基于 Docker Compose 的单机部署 ，适配单服务器多 NVIDIA GPU，集成全流程匿名化管道，支持 REST API、可视化 UI 及离线环境，通过 CLI 与 Python 包实现文件处理。 两种方案可保障数据处理全流程符合 GDPR、PIPL 等规定，实现 本地化存储与可控处理。 Kubernetes 方案适合日均处理数百小时视频、需弹性扩展的大规模场景；Docker Compose 方案则适用于小型部署或离线环境。企业可根据 数据量、预算 及 部署环境 选择，确保在保护敏感信息的同时满足性能需求。

【边缘计算】对边缘计算的理解与思考 首先我们认为边缘计算的兴起应该是在过去三四年，之所以兴起大背景是因为实体经济的数字化转型。这波实体经济数字化以万物感知、万物互联、万物智能为特征，这三方面的特征仅仅依靠云计算是没办法特别好的解决，比如实时性、带宽、安全、隐私等等一些问题，在这样背景下，边缘计算逐渐兴起。 我们分享几个行业对于边缘计算的需求特征和大背景下浮现出来关于边缘计算的机会。先看一下工业，1.工业4.0以及智能制造大背景下，推动了工业界原来传统的架构重构：云+边缘+设备三层扁平互联架构。在这个过程中，边缘计算为什么有价值？边缘计算核心是解决了传统五层架构里面网络孤岛、数据孤岛与业务孤岛的问题，同时更好的支撑柔性制造，并且带来从技术到商业各个方面价值创新的能力。 2.OPC-UA overTSN向下渗透，边缘计算碎片化的问题在工业界尤其明显。比如工业界目前一个比较好的解决方案，能解决边缘计算碎片化的方案。OPC-UA over TSN原来更多是在PLC之间及以上的层次。去年11月份在OPC基金会下面成立FLC工作组，工作组目的是 PLC以下的层次如何利用OPC UA over TSN技术需求，研究明白，协议规范，定义清楚。 其实，工业界大背景下，施耐德这样的巨头已经围绕大的趋势，展开一些探索，我们看到施耐德已经明确了要基于云+边缘控制+产品三个层次去重构原有的架构，特意强调边缘控制层的智能化是非常核心的点，提到了边缘计算的主要形态，包括本地设备和边缘云；同时和华为开展持续深入的合作。 智慧城市，从08年IBM提出了智慧地球概念后，智慧城市的建设在全球成为了个热点；17年中国发布了数字中国战略，引爆了新一轮智慧城市的建设，边缘侧拥有最全的诉求，所以新一轮智慧城市的建设需要边缘智能、边缘协同、边缘能力的支撑；同时，5G的发展会极大推动城市的万物互联，这也将极大促进边缘计算产业发展。例如河长巡河场景下，利用边缘计算实时采集河湖动态信息，通过AI辅助进行监测数据处理，污染预警溯源；智慧路灯场景下，借助边缘计算实时监控路灯运行状态，辅助路灯开、关、亮度管理，本地化运营团队进行针对性维护，精准高效；雪亮工程场景下，边缘计算不仅能够进行边缘预处理，剔除“垃圾”信息，减少上传的视频数据，还能够使边缘设备更加“聪明”。 运营商。全球主流运营商看重边缘计算产业机会点，都在拓耕边缘计算领域，从管道经营到算力经营，完善2C业务体验，强化2B市场能力。 中国联通致力于构建一个开放的，开源的Edge-Cloud服务PaaS平台，以灵活分配计算，存储，网络和加速器资源，旨在加速边缘服务的孵化和推广。 1、发布CUBE-Edge2.0白皮书； 2、中国联通将大力发展边缘DC，启动全国范围内15个省市的规模试点； 3、主导的《IoT requirements for Edge computing》国际标准项目立项 中国移动将边缘计算上升为公司战略与5G并列。中移动将边缘计算上升为公司战略与5G并列，推动中国移动未来从管道经营（流量变现）扩展到算力经营（服务变现）” 1、成立中国移动边缘计算开放实验室； 2、发布中国移动边缘计算技术白皮书； 3、宣布Pioneer300计划。 美国电信公司AT&T将边缘计算定位其5G战略三大支柱之一，AT&T已经为移动和固定无线应用接入边缘计算，可以使用LTE或5G连接进行部署。主导发起了Akraino开源，通过开源加快边缘计算生态建设和商用部署。 全球移动通信系统协会，简称GSMA，全球移动通信系统协会（GSMA）成立于1987年，是全球移动通信领域的行业组织，目前其成员已包括220个国家的近800家移动运营商以及230多家更为广泛的移动生态系统中的企业，其中包括手机制造商、软件公司、设备供应商、互联网公司以及金融服务、医疗、媒体、交通和公共事业等领域的企业。GSMA认为边缘计算是运营商未来重要发展方向： 1、Edge Cloud如何帮助运营商Cloud VR/AR等新型业务降低部署成本，加快部署速度； 2、边缘计算如何推动当前智慧城市，智能制造中图像处理能力， GSMA动态： 1、GSMA在MWC2019发布了边缘计算白皮书：Distributed Edge Cloud: Definitions, Dynamics AndDrivers， 2、GSMA计划通过推动边缘计算典型PoC来加速边缘计算在运营商的应用。 GSMA定义的2大边缘计算形态 运营商边缘计算核心技术： 1、多形态I硬件（边缘云，一体机形态，异构数据处理云化网关等）； 2、轻量级云原生PaaS（微服务，Serveless等）； 3、安全（物理安全，平台安全，应用安全等）。 边缘计算技术方向往那些方向走？ 边缘计算需要与云计算协同，才能最大化增强实现彼此的应用价值，这个得到产业界的广泛认同，但是边云协同的价值和内涵到底是什么，涉及到那些方面的协同？这些问题在产业界一直缺乏共识。去年，ECC产业联盟试图从主要场景出发，初步梳理了边云协同的全视图，我们认为边云协同大体上会涉及三层六类协同，也就是从IaaS到PaaS到SaaS三个层次，边缘侧三个层次和云侧三个层次一定有相互协同工作，落实到具体场景中，不见得所有业务场景都会包括，我们这个六类应该是目前阶段理解边云协同的全视图。 服务协同；云端提供SaaS分布策略，那些SaaS部署在云端。那些部署在边缘（应用相互协同）。 业务管理协同；边缘提供模块化、微服务化应用，云端提供边缘应用的业务编排管理。 应用管理协同；边缘节点提供应用的部署与运行环境，并进行管理、调度；云端提供应用开发测试环境及生命周期管理 智能协同；边缘节点按照AI模型执行推理，云端开展AI集中模型训练，下发模型到边缘。 数据协同；边缘节点负责终端数据的采集，进行初步处理，并将结果上传云端，云端提供海量数据存储、分析、价值挖掘。 资源协同；边缘节点提供基础设施资源，并具备本地调度和管理能力，同时接受并执行云端资源调度管理策略（含设备、资源、网络连接） 边缘计算正从1.0走向2.0，如果说1.0更偏向概念定义，主要目的是推动产业共识；2.0则更加关心技术和能力构建，从而促进边缘计算的实践落地。边缘计算2.0核心观点包括落地形态，我们认为主要是边缘云和云化网关两种形态，当然细分来说还有很多。 边缘云主要提供近现场的综合计算能力，支撑智慧园区、平安城市、智能制造等场景，将中心云的能力拉近到边缘，是下一步云计算创新突破的增长点。 云化网关是企业/行业数据的汇聚节点，是网关设备基于云计算技术的演进，主要通过多样连接、实时处理、云化管理和人工智能等关键能力，边云协同使能行业数字化。 软件平台，一定是引入云架构、云技术，实现端到端实时、协同式智能、可信赖、可动态重置的能力。 硬件平台：以异构计算为主，需要考虑ARM+X86+GPU+NPU+FPGA异构计算能力的支持。 核心特征：边云协同和边缘智能。 从趋势看，边缘计算发展分为三阶段。 第一阶段，这个阶段时期大致是2015年-2017年，概念孵化，产业共识 产业共识：边缘计算及其价值成为产业共识 概念泛化：雾计算、边缘计算、节点计算、移动边缘计算、开放边缘计算 边界不清：OT认为20年前的工业现场PLC即是、海康威视认为智能摄像头即是、思科认为云之下终端之上。 第二阶段，当前就是在第二阶段，2018年到2020年，主要是进一步聚焦及落地探索 价值落地场景：从泛化概念，逐步聚焦到云边缘、物联网边缘价值场景。 业务本质：云计算在数据中心之外汇聚节点的延伸和演进。“边云协同、边缘智能”为核心能力。 第三阶段是2020年以后，开始规模发展 带来更丰富的应用场景：增值业务（如预测性维护）到控制系统（如vPLC） 以及更广泛的行业覆盖：从制造/运营商/能源到泛工业（如交通、企业、智慧家居等） 边缘计算已经形成产业共识，正从泛化概念走向进一步聚焦及落地探索，未来3~5年是产业发展关键期。

导语： 在这个充满波动性、不确定性、复杂性和模糊性的商业环境中， 最有力的竞争优势是信息 。随着数字化转型成为各类企业的追求，从数据中获取情报的能力将是获胜的关键。 在大多数情况下，这些问题既是技术问题，也是文化问题。 信息孤岛、不愿共享、缺乏分析技能以及业务用户难以查找和获取数据 ，这些都是阻碍企业真正以数据为中心的因素。 大量数据表明，由数据驱动的决策可以使企业更加灵活、高效和响应迅速。低成本、可大规模扩展的数据库和云端分析工具的出现，降低了获取和使用数据的障碍，但许多企业受到传统技术的束缚，无法满足日益增长的用户需求。 一、数据对企业具有重要价值 商业应用研究中心（BARC）的一项调查发现，三分之二的组织认为信息在现在或将来的决策中非常重要。然而， 58%的受访者表示，他们公司的管理决策至少有一半是基于直觉或经验的。在被BARC定性为“落后”的组织中，这一数字为70%。 据Gartner估计，87%的组织在商业智能和分析的成熟度方面水平较低。他们倾向于使用电子表格进行分析，并在没有经过统筹的独立项目中提取个人数据。根据该研究公司的说法， 这些信息孤岛限制了BI现代化 。对于大多数组织来说，问题在于传统BI工具的泛滥，再加上数据治理流程将太多的责任集中到了稀缺的数据管理人员手中。数据驱动意味着将数据以可用的格式及时地传递给需要它的人。然而，在很多组织中，仅仅是将数据转换成可用的形式就浪费了太多时间。 当今的商业环境中，数据是竞争优势的最关键来源，低效的数据处理越来越难以维持。企业可以将许多非核心竞争力的操作和基础设施外包出去。事实上，新型的纯网络企业几乎没有任何基础设施。这些公司所拥有的是围绕数据使用的文化和组织的严谨性。 数据是大多数公司各个层面做出明智决策的关键，今天，这些决策可能延伸到收银员、酒店管家和工厂车间里的工人。一家运营良好的公司在管理层制定战略，并将其转交给对应的管理者，由他们将其转化为有数据支持的流程和举措。 这些数据可以是战略性的（用于对新的倡议作出决定），战术性的（用于决定如何执行个别倡议）和操作性的（用于支持正在进行的进程）。 不幸的是，许多组织中的数据流受到了一系列技术限制，这些限制围绕查找、清理、加载和协调数据源等任务，而这些任务又被糟糕的数据治理实践放大了。用户可以自己承担的任务最终集中在技术人员身上。其结果是， 高优先级的项目得到了关注，而小项目的“长尾”则被分流到了一边。这些低优先级的请求加在一起，将会对底层业务产生重大影响。 举一个真实的例子：一家被称为数据分析领域领导者的大型零售商。像许多同行一样，该公司投入了大量的工作，为假日购物季的促销活动、定价、库存和人员配置做准备。但是，对于公司内部的一些小组来说，一年中最繁忙的时间是在圣诞节之后。这些部门主要是处理售后工作以及节假日后的商品库存，这是增加销售机会和改善客户关系的一个重要渠道。部门经理对他们无法获得客户行为数据和节后购买的历史记录感到沮丧，这些数据在预测需求方面是很有用的。但是他们的需求被认为是次要的，因为要为假期激增的订单做好准备。 而最终结果是节假日后储物箱等物资短缺，客户服务台排长队，库存计划和供应链管理中断。这种对最关键的业务问题的关注，留下了一长串未处理的项目，而这些项目合起来可能产生重大的业务影响 。 根据 杜德定律，价值=为什么/怎么做 。价值的增长要么是通过探索原因，要么是通过减少方法。在分配资源时，组织通常会过度关注分子而不是分母，认为更大的解决方案会带来更大的红利。复杂的优先级计划总是忽略了减少“如何”可以对业务产生同样大的影响。 二、商业智能（BI）技术束缚了企业决策过程 商业智能是一个成熟的市场，可以追溯到20世纪90年代，有数百种可用的产品。许多遗留系统是基于客户机-服务器架构，这种架构中数据驻留在服务器上，客户机需要进行大部分处理。这种过时的方法需要强大的服务器处理能力和大量的文件传输到客户端的PC。许多工具甚至将数据存储在本地电脑上，造成安全漏洞。而且，在智能手机和移动电话发明之前建立的系统也是如此。目前只有平板电脑努力在向人们现在最常使用的上网设备提供报告。 大多数传统的商业智能系统需要提取数据库、汇总数据集或数据仓库，这些都是存放源数据的更新副本。企业内部的数据仓库很昂贵，所以存放在其中的数据量需要严格控制。获取和清理数据所需的ETL过程也是费力的，而且很耗时，有时需要一个数据科学家花费数周的时间。不同的数据源使用不同的格式，从CSV文件到关系表等。用户需要创建自定义查询，以便从每个来源提取和清理数据 。IDC估计，一个典型的分析团队80%的时间花在数据发现、准备和保护上，只有20%花在分析上。 提取数据库在创建的时候已经过时了，因为数据不能实时获取，而且没有一个固定的模式。当用户看到他们请求的报告时，数据可能是几周前的。检索更新的数据可能需要与数据科学团队创建一个新的需求。因此， 传统工具阻碍了快速自动化决策的制定。 用于数据集成、ETL、数据仓库、提取数据库和BI前端的工具之间的不兼容，进一步复杂化数据提取。传统商业智能系统协作能力有限，对业务用户来说是一个黑箱，需要数据科学家和工程师猜测他们的业务方客户想要什么，而业务用户只需要简单的提交任务更改请求单。这种解决方案浪费了时间，使资源进一步集中在少数高度优先的任务上。 三、企业使用商业智能（BI）效率低下 许多组织用来管理商业智能数据流的工作流程是过时的和低效的 。太多的责任集中在数据专业人员的手中，而终端用户的责任太少。这是有原因的， 传统的工具使用起来很麻烦，需要复杂的模式和专业的背景知识，企业还需要对敏感信息的获取进行监管 。然而，现代软件已经简化了许多技术问题，良好的治理和访问管理实践可以解决大部分控制问题，而不会阻碍人们获得需要的数据。 数据科学家和工程师的成本和稀缺性 也造成了一个重要的瓶颈。在美国，数据科学家的平均基本工资超过11.3万美元，而IBM估计今年将有超过270万个需要数据科学技能的工作岗位发布。商业智能只是数据科学家和工程师支持的任务之一，而且往往不是他们的最高优先事项。 由于技术资源是宝贵的，公司往往不得不制定严格的程序来规范其使用， 从而造成效率低下，而组织上的孤岛又加剧了效率问题。 用户请求必须进入队列进行评估和排序。由于缺乏时间和协作工具，与技术团队的互动受到限制。工程师们可能对用户的需求知之甚少，他们只能对要使用的源数据和需解决的业务问题做出有根据的猜测。用户往往被排除在关于如何计算和显示报告的小决策之外。如果在报告交付后出现了新的数据源，用户必须提出新的请求，整个过程又要重新开始。 四、企业如何提高商业智能（BI）的价值？ 增加商业智能对组织的价值 需要在技术和人员两方面进行投资 。然而，技术投资的第一个阶段往往是撤资。组织需要先对正在使用的BI工具进行分析评估，并对那些应该被淘汰的工具做出一些艰难的决定。这种评估不仅要考虑基础设施成本，还要考虑维持该工具特有的技能组合对组织的影响。管理者也应该对人们的影响保持敏感，并让他们参与选择新的解决方案。工具越少越好，只要它们能够满足组织的大部分探索和报告需求。 在技术方面，一些最大的优势来自于平台的整合和现代化， BI工具应该向云方向发展 。传统的企业内部解决方案维护费用昂贵，而且可能带来安全风险。 大数据分析正在转向云，商业智能也在随之发展。基于云的解决方案将成本从资本预算转移到基于使用的运营费用。 云计算仪表盘让管理员能够了解工具的使用情况，而传统的内部平台则无法做到这一点。 更重要的是， 企业获得了无限规模、持续更新和访问内外部数据所带来的灵活性 。他们可以尝试使用不同种类的关系型和非关系型数据存储，还可以结合流分析和各种开发、可视化和机器学习工具。在许多情况下，这些技术可以免费试用，或按月订阅。 现代云原生应用程序也利用应用程序编程接口（API）来整合系统并实现无缝数据交换。API是应用集成的一个巨大进步。它们允许开发者以安全且可审计的方式有选择地公开服务和数据。 它们还可以创建全新的数据视图，如结合数据的仪表盘。连接器可以使数据集成变得很简单，甚至非技术性的企业用户也可以在几分钟内完成配置，尝试使用不同的连接器，而不需要做长期的购买承诺。 有四种方法可以利用这些综合技能组合来提高BI的价值： *雇用具有商业技能的工程师 。即使在最好的情况下，这也是很难做到的，在低失业率的情况下更加困难。让专业技术人员掌握适合企业需求的技能需要数年时间，即使他们有能力，但是有些工程师就是不感兴趣。 *为每个业务部门雇用专门的工程师 。这是一个更快发展业务的方法，但可能非常昂贵。这也产生了风险：失去一个精通业务的工程师会对部门造成毁灭性打击。 *提升业务人员的技能 。这种方法与雇用具有商业技能的工程师有一些相同的缺点。虽然在技术上是可行的，但经理们可能会拒绝让他们的员工脱离商业流程进行必要的培训，而要找到具有强烈技术倾向的业务人员，也是困难的。 *使用一个平台，让企业用户在技术上有更多控制权，同时让工程师更接近业务。这是成本最低且最具扩展性的方法。 评估你的技术团队现在执行的任务，哪些可以安全地转移到业务用户手中而不需要大量的技术培训。可能包括查询、格式化、可视化，这些操作不会修改底层数据。同时，工程师可以与一个或多个业务部门更紧密地联系，以从事类似的项目，加强他们对业务的理解。 五、使用自助式商业智能（BI） 自助式BI的概念已经被广泛使用，这个词的广泛使用已经淡化了它的意义，就像对Gartner等权威机构的声明的误读一样，即商业智能用户已经比数据科学家产生了更多的分析。事实上，仔细看看Gartner的研究就会发现，该公司并不主张将BI的责任从IT部门全盘移交给业务同事。 自助式BI将业务用户的专业知识和见解与数据科学家和工程师的专业知识相结合，以确定要问的正确问题，从而找到正确的数据源并准备必要的数据集。数据质量很重要，BI系统本身也必须得到维护和更新。 自助服务不应该与自给自足混为一谈。比如快餐店里的汽水机，许多商家为顾客提供了饮料自助，但这并不能让顾客完全独立。在幕后，需要工作人员确保提供足够的碳酸和糖浆，将原料调整混合以达到正确的味道，并为食客提供用餐需要的杯子、盖子和吸管。饮水机也必须得到维护、修理和清洁，以满足卫生要求。类似的，允许业务用户从BI工具中自由发布信息，并不意味着不需要专业人员确保使用了适当的数据源、清理了数据、打了补丁并更新了软件。 虽然过多的控制会令人窒息，但过多的灵活性也会导致鲁莽，需要数据科学家来帮助用户做出明智的决定。例如，相关性和因果关系很容易被混淆。用一个流行的例子来说，冰淇淋的销售和游泳死亡的比率同时上升和下降，并不意味着冰淇淋导致溺水。相反，这两种趋势有一个共同的相关性，那就是夏天。 需要数据科学家建立保护机制，防止他们的业务同事对数据理解不足做出错误的决定。 六、自助式商业智能（BI）的优点 实现资源的正确平衡，一种行之有效的方法是 建立小型团队，这些人拥有与他们业务职能相关的数据子集 。该团队负责确保使用正确的数据，保持最新的数据，并应用于正确的问题。如果有不准确的地方，团队的工作就是修复它们。 协作是必不可少的 ，组织使用的任何商业智能工具都应该具有 共享、评论和基于每个团队成员的工作的内置功能 。 BI平台应该有足够的灵活性，以应对未知的需求，并使组织的所有部门都能 建立自己的模型 ，这样技术人员就可以专注于最重要的问题。随着用户的尝试和发现新的机会，他们可以竞标技术资源来开发它们。 配置设置和用户输入应该驱动用户可以根据需要更改的算法 。在定义治理政策时，应假定人们可以在他们可以访问的数据域内自由地进行试验。 良好的治理，结合强大的安全和审计控制，可以保护敏感数据，同时给予用户更大的自由来满足好奇心。 传统的商业智能系统，特别是那些基于 客户-服务器模型的系统 ，由于难以监控PC终端上的活动，限制了组织的数据治理能力。组织的反应通常是严格限制在服务器层面上的数据访问。更好的应对措施是释放数据，并使用审计和访问控制来规范谁使用数据以及如何使用数据。 现代基于云的解决方案如 HK-Domo 可以将处理转移到一个可扩展的服务器上，并给管理员提供工具，以实现数据访问和安全性之间的平衡。他们可以看到数据如何一直在管道中流动的可视化表示，以及登录尝试、数据使用、用户活动和实时数据集的状态。 可以设置警报，以在检测到异常或数据问题时触发 。管理员可以创建授权策略，管理个人和团体对数据集中特定数据的访问。他们可以为管理员、特权用户、编辑和参与者使用预定义的安全配置文件，或创建自己的安全配置文件。企业可以选择最适合他们的安全模式，包括零信任和最小特权，与单点登录和认证相结合，以减少用户的不便。 七．结语 2017年，《经济学人》宣布：“世界上最有价值的资源不再是石油，而是数据。” 这个比喻很贴切，因为今天的企业没有信息就无法运作，就像一个世纪前的工业巨头没有石油就无法运转一样。数 据实际上比石油更有价值，但与石油不同，数据可以被重复使用，以创新的方式组合，并在组织或世界范围内共享。 创新的数据管理不仅是几乎所有市场竞争优势的主要来源，而且是重塑零售业、运输业和酒店等行业网络规模公司的命脉。限制人们利用数据潜力的传统技术和流程威胁着整个实体的健康。 云计算已经释放了人们的潜力，以之前无法想象的方式将成千上万的数据源结合起来。现在是时候重新审视商业智能，使其成为一种新的灵活且响应迅速的组织的能量来源。

　　数字化转型一词新闻频率高了，越是好奇了，到底是什么意思？也就时时关注这方面的话题了。 　　几天前，阅读了《万字解读：未来五年，数字化转型到底怎么转？朝什么方向转？》创业邦 2021-05-18 00:00:00 　　边看边想，还是有诸多不解之处。 　　如题，没说为什么转？就问到底怎么转？朝什么方向转？岂不是无的放矢？所以，就想知道为什么？也许看了全文怎么转和方向就会知道了吧？一字一句看完了，也琢磨，呵呵，还是不知为何转？感觉就是没有转，也不必转。难怪，上面网页文章题目右侧的杂志广告提要说：数字经济时代，变与不变。觉得有道理，点击打开杂志，提要全文如下，也只是说了转变，没说不转变是什么？还是不明白为什么转！ 　　今天，5月22日又见一文《数字化转型2.0来了！》，迪迪埃·博内、乔治·韦斯特曼 2021-05-19 00:00:00 　　开篇综述提到： 　　 这要求企业变身成为“数字化大师”。为此要培育两方面的能力：一是数字能力，即运用创新技术提升业务要素的能力；二是预见并以系统化的、有利可图的方式推动组织变革的领导能力。企业将这两种能力合而并用，就能将数字技术成功转化为业务优势。 　　当前技术革命大浪淘沙，物联网、人工智能、VR/AR（虚拟现实/增强现实）和5G技术等众多新技术的发展，已经给企业开辟了创造价值的崭新途径。 　　更重要的是，企业领导者现已认识到，他们需要，也有可能在真正意义上改变其企业的基本经营方式。他们必须从孤立的技术实验过渡到更具系统性的战略和执行方法。 　　随着新冠疫情促使社会活动加快转向数字化，“数字化大师”与其竞争对手之间的能力差距正越拉越大。对此，我们重新审视了构成数字能力的各项要素，以期反映新兴数字技术所带来的机遇和影响。 　　有点感觉了。数字化转型，变的是型式，如基本经营方式。不变的是实质，如经营内容，原来做什么还是做什么。实体经营变成数字经营。 　　就是通过“物联网、人工智能、VR/AR（虚拟现实/增强现实）和5G技术等众多新技术”手段，把人类的实体生存变成数字生存，体现数字经营的能力。 　　看现实，莫非就是因为物质丰富了？人口众多了？眼前的就是数字巨大了，以至于众多人口消费丰富物质而忙不过来了。于是乎就汇总人口和物质大数据，通过人工智能处理，创造现代生存价值。 　　问题又来了，什么生存价值？如果实质不变，实质就是人类可持续生存，就是要幸福生活。怎么才算是幸福？是否涉及到可居住地域条件下的可居住人口密度？比如单位平方公里的人口数量？如果是，那是否有绝对性的标准？不知道。但感觉相对性的标准应该是有的，比如满足人与自然和谐，就是一个地域的自然资源与人类消耗达成动态平衡。简单说，就在最大程度地不挖山填水，动植物不被人类灭绝的前提下，人类做到数量适应性地生存，既要会生也要会死。 　　从现状看，我们国家的人口总量算是大的了，尤其喜欢城市化密居生活之幸福感，这倒无可非议，生活方式的习惯，幸福的喜好。但客观上一个城市地域面积是有限的，而人口似乎有增无减，总有一天不就是住不下了？这许多年来可见全国上下都在建立城市，接下来就是全国有多少地域适宜建立城市？ 　　显然，实体空间不够用了，就想到了数字空间，提高单位面积人口居住数量，好比一座平房变高楼，一栋不够，就是楼群，如今城市是植楼造林，楼林郁郁葱葱，不就是生存实质不变而型式变了，转型。 　　哦……数字化转型就是为了提高地球可生存空间的入住率。 　　到底怎么转？由于地球空间必究是有限的啊！只好减人。减不了，数据还是太大。朝什么方向转？就只有寻求地球之外其他星球的生存空间，比如火星。据说我们人类也是这样来的，看来是的，量变到质变。 　　呵呵，一直好奇的“我们从哪里来？我们到那里去？”也有答案了。