tag 标签: 数据

相关帖子
相关博文
  • 热度 3
    2024-2-28 21:31
    949 次阅读|
    1 个评论
    【边缘计算】对边缘计算的理解与思考 首先我们认为边缘计算的兴起应该是在过去三四年,之所以兴起大背景是因为实体经济的数字化转型。这波实体经济数字化以万物感知、万物互联、万物智能为特征,这三方面的特征仅仅依靠云计算是没办法特别好的解决,比如实时性、带宽、安全、隐私等等一些问题,在这样背景下,边缘计算逐渐兴起。 我们分享几个行业对于边缘计算的需求特征和大背景下浮现出来关于边缘计算的机会。先看一下工业,1.工业4.0以及智能制造大背景下,推动了工业界原来传统的架构重构:云+边缘+设备三层扁平互联架构。在这个过程中,边缘计算为什么有价值?边缘计算核心是解决了传统五层架构里面网络孤岛、数据孤岛与业务孤岛的问题,同时更好的支撑柔性制造,并且带来从技术到商业各个方面价值创新的能力。 2.OPC-UA overTSN向下渗透,边缘计算碎片化的问题在工业界尤其明显。比如工业界目前一个比较好的解决方案,能解决边缘计算碎片化的方案。OPC-UA over TSN原来更多是在PLC之间及以上的层次。去年11月份在OPC基金会下面成立FLC工作组,工作组目的是 PLC以下的层次如何利用OPC UA over TSN技术需求,研究明白,协议规范,定义清楚。 其实,工业界大背景下,施耐德这样的巨头已经围绕大的趋势,展开一些探索,我们看到施耐德已经明确了要基于云+边缘控制+产品三个层次去重构原有的架构,特意强调边缘控制层的智能化是非常核心的点,提到了边缘计算的主要形态,包括本地设备和边缘云;同时和华为开展持续深入的合作。 智慧城市,从08年IBM提出了智慧地球概念后,智慧城市的建设在全球成为了个热点;17年中国发布了数字中国战略,引爆了新一轮智慧城市的建设,边缘侧拥有最全的诉求,所以新一轮智慧城市的建设需要边缘智能、边缘协同、边缘能力的支撑;同时,5G的发展会极大推动城市的万物互联,这也将极大促进边缘计算产业发展。例如河长巡河场景下,利用边缘计算实时采集河湖动态信息,通过AI辅助进行监测数据处理,污染预警溯源;智慧路灯场景下,借助边缘计算实时监控路灯运行状态,辅助路灯开、关、亮度管理,本地化运营团队进行针对性维护,精准高效;雪亮工程场景下,边缘计算不仅能够进行边缘预处理,剔除“垃圾”信息,减少上传的视频数据,还能够使边缘设备更加“聪明”。 运营商。全球主流运营商看重边缘计算产业机会点,都在拓耕边缘计算领域,从管道经营到算力经营,完善2C业务体验,强化2B市场能力。 中国联通致力于构建一个开放的,开源的Edge-Cloud服务PaaS平台,以灵活分配计算,存储,网络和加速器资源,旨在加速边缘服务的孵化和推广。 1、发布CUBE-Edge2.0白皮书; 2、中国联通将大力发展边缘DC,启动全国范围内15个省市的规模试点; 3、主导的《IoT requirements for Edge computing》国际标准项目立项 中国移动将边缘计算上升为公司战略与5G并列。中移动将边缘计算上升为公司战略与5G并列,推动中国移动未来从管道经营(流量变现)扩展到算力经营(服务变现)” 1、成立中国移动边缘计算开放实验室; 2、发布中国移动边缘计算技术白皮书; 3、宣布Pioneer300计划。 美国电信公司AT&T将边缘计算定位其5G战略三大支柱之一,AT&T已经为移动和固定无线应用接入边缘计算,可以使用LTE或5G连接进行部署。主导发起了Akraino开源,通过开源加快边缘计算生态建设和商用部署。 全球移动通信系统协会,简称GSMA,全球移动通信系统协会(GSMA)成立于1987年,是全球移动通信领域的行业组织,目前其成员已包括220个国家的近800家移动运营商以及230多家更为广泛的移动生态系统中的企业,其中包括手机制造商、软件公司、设备供应商、互联网公司以及金融服务、医疗、媒体、交通和公共事业等领域的企业。GSMA认为边缘计算是运营商未来重要发展方向: 1、Edge Cloud如何帮助运营商Cloud VR/AR等新型业务降低部署成本,加快部署速度; 2、边缘计算如何推动当前智慧城市,智能制造中图像处理能力, GSMA动态: 1、GSMA在MWC2019发布了边缘计算白皮书:Distributed Edge Cloud: Definitions, Dynamics AndDrivers, 2、GSMA计划通过推动边缘计算典型PoC来加速边缘计算在运营商的应用。 GSMA定义的2大边缘计算形态 运营商边缘计算核心技术: 1、多形态I硬件(边缘云,一体机形态,异构数据处理云化网关等); 2、轻量级云原生PaaS(微服务,Serveless等); 3、安全(物理安全,平台安全,应用安全等)。 边缘计算技术方向往那些方向走? 边缘计算需要与云计算协同,才能最大化增强实现彼此的应用价值,这个得到产业界的广泛认同,但是边云协同的价值和内涵到底是什么,涉及到那些方面的协同?这些问题在产业界一直缺乏共识。去年,ECC产业联盟试图从主要场景出发,初步梳理了边云协同的全视图,我们认为边云协同大体上会涉及三层六类协同,也就是从IaaS到PaaS到SaaS三个层次,边缘侧三个层次和云侧三个层次一定有相互协同工作,落实到具体场景中,不见得所有业务场景都会包括,我们这个六类应该是目前阶段理解边云协同的全视图。 服务协同;云端提供SaaS分布策略,那些SaaS部署在云端。那些部署在边缘(应用相互协同)。 业务管理协同;边缘提供模块化、微服务化应用,云端提供边缘应用的业务编排管理。 应用管理协同;边缘节点提供应用的部署与运行环境,并进行管理、调度;云端提供应用开发测试环境及生命周期管理 智能协同;边缘节点按照AI模型执行推理,云端开展AI集中模型训练,下发模型到边缘。 数据协同;边缘节点负责终端数据的采集,进行初步处理,并将结果上传云端,云端提供海量数据存储、分析、价值挖掘。 资源协同;边缘节点提供基础设施资源,并具备本地调度和管理能力,同时接受并执行云端资源调度管理策略(含设备、资源、网络连接) 边缘计算正从1.0走向2.0,如果说1.0更偏向概念定义,主要目的是推动产业共识;2.0则更加关心技术和能力构建,从而促进边缘计算的实践落地。边缘计算2.0核心观点包括落地形态,我们认为主要是边缘云和云化网关两种形态,当然细分来说还有很多。 边缘云主要提供近现场的综合计算能力,支撑智慧园区、平安城市、智能制造等场景,将中心云的能力拉近到边缘,是下一步云计算创新突破的增长点。 云化网关是企业/行业数据的汇聚节点,是网关设备基于云计算技术的演进,主要通过多样连接、实时处理、云化管理和人工智能等关键能力,边云协同使能行业数字化。 软件平台,一定是引入云架构、云技术,实现端到端实时、协同式智能、可信赖、可动态重置的能力。 硬件平台:以异构计算为主,需要考虑ARM+X86+GPU+NPU+FPGA异构计算能力的支持。 核心特征:边云协同和边缘智能。 从趋势看,边缘计算发展分为三阶段。 第一阶段,这个阶段时期大致是2015年-2017年,概念孵化,产业共识 产业共识:边缘计算及其价值成为产业共识 概念泛化:雾计算、边缘计算、节点计算、移动边缘计算、开放边缘计算 边界不清:OT认为20年前的工业现场PLC即是、海康威视认为智能摄像头即是、思科认为云之下终端之上。 第二阶段,当前就是在第二阶段,2018年到2020年,主要是进一步聚焦及落地探索 价值落地场景:从泛化概念,逐步聚焦到云边缘、物联网边缘价值场景。 业务本质:云计算在数据中心之外汇聚节点的延伸和演进。“边云协同、边缘智能”为核心能力。 第三阶段是2020年以后,开始规模发展 带来更丰富的应用场景:增值业务(如预测性维护)到控制系统(如vPLC) 以及更广泛的行业覆盖:从制造/运营商/能源到泛工业(如交通、企业、智慧家居等) 边缘计算已经形成产业共识,正从泛化概念走向进一步聚焦及落地探索,未来3~5年是产业发展关键期。
  • 热度 3
    2022-9-7 13:11
    951 次阅读|
    0 个评论
    导语: 在这个充满波动性、不确定性、复杂性和模糊性的商业环境中, 最有力的竞争优势是信息 。随着数字化转型成为各类企业的追求,从数据中获取情报的能力将是获胜的关键。 在大多数情况下,这些问题既是技术问题,也是文化问题。 信息孤岛、不愿共享、缺乏分析技能以及业务用户难以查找和获取数据 ,这些都是阻碍企业真正以数据为中心的因素。 大量数据表明,由数据驱动的决策可以使企业更加灵活、高效和响应迅速。低成本、可大规模扩展的数据库和云端分析工具的出现,降低了获取和使用数据的障碍,但许多企业受到传统技术的束缚,无法满足日益增长的用户需求。 一、数据对企业具有重要价值 商业应用研究中心(BARC)的一项调查发现,三分之二的组织认为信息在现在或将来的决策中非常重要。然而, 58%的受访者表示,他们公司的管理决策至少有一半是基于直觉或经验的。在被BARC定性为“落后”的组织中,这一数字为70%。 据Gartner估计,87%的组织在商业智能和分析的成熟度方面水平较低。他们倾向于使用电子表格进行分析,并在没有经过统筹的独立项目中提取个人数据。根据该研究公司的说法, 这些信息孤岛限制了BI现代化 。对于大多数组织来说,问题在于传统BI工具的泛滥,再加上数据治理流程将太多的责任集中到了稀缺的数据管理人员手中。数据驱动意味着将数据以可用的格式及时地传递给需要它的人。然而,在很多组织中,仅仅是将数据转换成可用的形式就浪费了太多时间。 当今的商业环境中,数据是竞争优势的最关键来源,低效的数据处理越来越难以维持。企业可以将许多非核心竞争力的操作和基础设施外包出去。事实上,新型的纯网络企业几乎没有任何基础设施。这些公司所拥有的是围绕数据使用的文化和组织的严谨性。 数据是大多数公司各个层面做出明智决策的关键,今天,这些决策可能延伸到收银员、酒店管家和工厂车间里的工人。一家运营良好的公司在管理层制定战略,并将其转交给对应的管理者,由他们将其转化为有数据支持的流程和举措。 这些数据可以是战略性的(用于对新的倡议作出决定),战术性的(用于决定如何执行个别倡议)和操作性的(用于支持正在进行的进程)。 不幸的是,许多组织中的数据流受到了一系列技术限制,这些限制围绕查找、清理、加载和协调数据源等任务,而这些任务又被糟糕的数据治理实践放大了。用户可以自己承担的任务最终集中在技术人员身上。其结果是, 高优先级的项目得到了关注,而小项目的“长尾”则被分流到了一边。这些低优先级的请求加在一起,将会对底层业务产生重大影响。 举一个真实的例子:一家被称为数据分析领域领导者的大型零售商。像许多同行一样,该公司投入了大量的工作,为假日购物季的促销活动、定价、库存和人员配置做准备。但是,对于公司内部的一些小组来说,一年中最繁忙的时间是在圣诞节之后。这些部门主要是处理售后工作以及节假日后的商品库存,这是增加销售机会和改善客户关系的一个重要渠道。部门经理对他们无法获得客户行为数据和节后购买的历史记录感到沮丧,这些数据在预测需求方面是很有用的。但是他们的需求被认为是次要的,因为要为假期激增的订单做好准备。 而最终结果是节假日后储物箱等物资短缺,客户服务台排长队,库存计划和供应链管理中断。这种对最关键的业务问题的关注,留下了一长串未处理的项目,而这些项目合起来可能产生重大的业务影响 。 根据 杜德定律,价值=为什么/怎么做 。价值的增长要么是通过探索原因,要么是通过减少方法。在分配资源时,组织通常会过度关注分子而不是分母,认为更大的解决方案会带来更大的红利。复杂的优先级计划总是忽略了减少“如何”可以对业务产生同样大的影响。 二、商业智能(BI)技术束缚了企业决策过程 商业智能是一个成熟的市场,可以追溯到20世纪90年代,有数百种可用的产品。许多遗留系统是基于客户机-服务器架构,这种架构中数据驻留在服务器上,客户机需要进行大部分处理。这种过时的方法需要强大的服务器处理能力和大量的文件传输到客户端的PC。许多工具甚至将数据存储在本地电脑上,造成安全漏洞。而且,在智能手机和移动电话发明之前建立的系统也是如此。目前只有平板电脑努力在向人们现在最常使用的上网设备提供报告。 大多数传统的商业智能系统需要提取数据库、汇总数据集或数据仓库,这些都是存放源数据的更新副本。企业内部的数据仓库很昂贵,所以存放在其中的数据量需要严格控制。获取和清理数据所需的ETL过程也是费力的,而且很耗时,有时需要一个数据科学家花费数周的时间。不同的数据源使用不同的格式,从CSV文件到关系表等。用户需要创建自定义查询,以便从每个来源提取和清理数据 。IDC估计,一个典型的分析团队80%的时间花在数据发现、准备和保护上,只有20%花在分析上。 提取数据库在创建的时候已经过时了,因为数据不能实时获取,而且没有一个固定的模式。当用户看到他们请求的报告时,数据可能是几周前的。检索更新的数据可能需要与数据科学团队创建一个新的需求。因此, 传统工具阻碍了快速自动化决策的制定。 用于数据集成、ETL、数据仓库、提取数据库和BI前端的工具之间的不兼容,进一步复杂化数据提取。传统商业智能系统协作能力有限,对业务用户来说是一个黑箱,需要数据科学家和工程师猜测他们的业务方客户想要什么,而业务用户只需要简单的提交任务更改请求单。这种解决方案浪费了时间,使资源进一步集中在少数高度优先的任务上。 三、企业使用商业智能(BI)效率低下 许多组织用来管理商业智能数据流的工作流程是过时的和低效的 。太多的责任集中在数据专业人员的手中,而终端用户的责任太少。这是有原因的, 传统的工具使用起来很麻烦,需要复杂的模式和专业的背景知识,企业还需要对敏感信息的获取进行监管 。然而,现代软件已经简化了许多技术问题,良好的治理和访问管理实践可以解决大部分控制问题,而不会阻碍人们获得需要的数据。 数据科学家和工程师的成本和稀缺性 也造成了一个重要的瓶颈。在美国,数据科学家的平均基本工资超过11.3万美元,而IBM估计今年将有超过270万个需要数据科学技能的工作岗位发布。商业智能只是数据科学家和工程师支持的任务之一,而且往往不是他们的最高优先事项。 由于技术资源是宝贵的,公司往往不得不制定严格的程序来规范其使用, 从而造成效率低下,而组织上的孤岛又加剧了效率问题。 用户请求必须进入队列进行评估和排序。由于缺乏时间和协作工具,与技术团队的互动受到限制。工程师们可能对用户的需求知之甚少,他们只能对要使用的源数据和需解决的业务问题做出有根据的猜测。用户往往被排除在关于如何计算和显示报告的小决策之外。如果在报告交付后出现了新的数据源,用户必须提出新的请求,整个过程又要重新开始。 四、企业如何提高商业智能(BI)的价值? 增加商业智能对组织的价值 需要在技术和人员两方面进行投资 。然而,技术投资的第一个阶段往往是撤资。组织需要先对正在使用的BI工具进行分析评估,并对那些应该被淘汰的工具做出一些艰难的决定。这种评估不仅要考虑基础设施成本,还要考虑维持该工具特有的技能组合对组织的影响。管理者也应该对人们的影响保持敏感,并让他们参与选择新的解决方案。工具越少越好,只要它们能够满足组织的大部分探索和报告需求。 在技术方面,一些最大的优势来自于平台的整合和现代化, BI工具应该向云方向发展 。传统的企业内部解决方案维护费用昂贵,而且可能带来安全风险。 大数据分析正在转向云,商业智能也在随之发展。基于云的解决方案将成本从资本预算转移到基于使用的运营费用。 云计算仪表盘让管理员能够了解工具的使用情况,而传统的内部平台则无法做到这一点。 更重要的是, 企业获得了无限规模、持续更新和访问内外部数据所带来的灵活性 。他们可以尝试使用不同种类的关系型和非关系型数据存储,还可以结合流分析和各种开发、可视化和机器学习工具。在许多情况下,这些技术可以免费试用,或按月订阅。 现代云原生应用程序也利用应用程序编程接口(API)来整合系统并实现无缝数据交换。API是应用集成的一个巨大进步。它们允许开发者以安全且可审计的方式有选择地公开服务和数据。 它们还可以创建全新的数据视图,如结合数据的仪表盘。连接器可以使数据集成变得很简单,甚至非技术性的企业用户也可以在几分钟内完成配置,尝试使用不同的连接器,而不需要做长期的购买承诺。 有四种方法可以利用这些综合技能组合来提高BI的价值: *雇用具有商业技能的工程师 。即使在最好的情况下,这也是很难做到的,在低失业率的情况下更加困难。让专业技术人员掌握适合企业需求的技能需要数年时间,即使他们有能力,但是有些工程师就是不感兴趣。 *为每个业务部门雇用专门的工程师 。这是一个更快发展业务的方法,但可能非常昂贵。这也产生了风险:失去一个精通业务的工程师会对部门造成毁灭性打击。 *提升业务人员的技能 。这种方法与雇用具有商业技能的工程师有一些相同的缺点。虽然在技术上是可行的,但经理们可能会拒绝让他们的员工脱离商业流程进行必要的培训,而要找到具有强烈技术倾向的业务人员,也是困难的。 *使用一个平台,让企业用户在技术上有更多控制权,同时让工程师更接近业务。这是成本最低且最具扩展性的方法。 评估你的技术团队现在执行的任务,哪些可以安全地转移到业务用户手中而不需要大量的技术培训。可能包括查询、格式化、可视化,这些操作不会修改底层数据。同时,工程师可以与一个或多个业务部门更紧密地联系,以从事类似的项目,加强他们对业务的理解。 五、使用自助式商业智能(BI) 自助式BI的概念已经被广泛使用,这个词的广泛使用已经淡化了它的意义,就像对Gartner等权威机构的声明的误读一样,即商业智能用户已经比数据科学家产生了更多的分析。事实上,仔细看看Gartner的研究就会发现,该公司并不主张将BI的责任从IT部门全盘移交给业务同事。 自助式BI将业务用户的专业知识和见解与数据科学家和工程师的专业知识相结合,以确定要问的正确问题,从而找到正确的数据源并准备必要的数据集。数据质量很重要,BI系统本身也必须得到维护和更新。 自助服务不应该与自给自足混为一谈。比如快餐店里的汽水机,许多商家为顾客提供了饮料自助,但这并不能让顾客完全独立。在幕后,需要工作人员确保提供足够的碳酸和糖浆,将原料调整混合以达到正确的味道,并为食客提供用餐需要的杯子、盖子和吸管。饮水机也必须得到维护、修理和清洁,以满足卫生要求。类似的,允许业务用户从BI工具中自由发布信息,并不意味着不需要专业人员确保使用了适当的数据源、清理了数据、打了补丁并更新了软件。 虽然过多的控制会令人窒息,但过多的灵活性也会导致鲁莽,需要数据科学家来帮助用户做出明智的决定。例如,相关性和因果关系很容易被混淆。用一个流行的例子来说,冰淇淋的销售和游泳死亡的比率同时上升和下降,并不意味着冰淇淋导致溺水。相反,这两种趋势有一个共同的相关性,那就是夏天。 需要数据科学家建立保护机制,防止他们的业务同事对数据理解不足做出错误的决定。 六、自助式商业智能(BI)的优点 实现资源的正确平衡,一种行之有效的方法是 建立小型团队,这些人拥有与他们业务职能相关的数据子集 。该团队负责确保使用正确的数据,保持最新的数据,并应用于正确的问题。如果有不准确的地方,团队的工作就是修复它们。 协作是必不可少的 ,组织使用的任何商业智能工具都应该具有 共享、评论和基于每个团队成员的工作的内置功能 。 BI平台应该有足够的灵活性,以应对未知的需求,并使组织的所有部门都能 建立自己的模型 ,这样技术人员就可以专注于最重要的问题。随着用户的尝试和发现新的机会,他们可以竞标技术资源来开发它们。 配置设置和用户输入应该驱动用户可以根据需要更改的算法 。在定义治理政策时,应假定人们可以在他们可以访问的数据域内自由地进行试验。 良好的治理,结合强大的安全和审计控制,可以保护敏感数据,同时给予用户更大的自由来满足好奇心。 传统的商业智能系统,特别是那些基于 客户-服务器模型的系统 ,由于难以监控PC终端上的活动,限制了组织的数据治理能力。组织的反应通常是严格限制在服务器层面上的数据访问。更好的应对措施是释放数据,并使用审计和访问控制来规范谁使用数据以及如何使用数据。 现代基于云的解决方案如 HK-Domo 可以将处理转移到一个可扩展的服务器上,并给管理员提供工具,以实现数据访问和安全性之间的平衡。他们可以看到数据如何一直在管道中流动的可视化表示,以及登录尝试、数据使用、用户活动和实时数据集的状态。 可以设置警报,以在检测到异常或数据问题时触发 。管理员可以创建授权策略,管理个人和团体对数据集中特定数据的访问。他们可以为管理员、特权用户、编辑和参与者使用预定义的安全配置文件,或创建自己的安全配置文件。企业可以选择最适合他们的安全模式,包括零信任和最小特权,与单点登录和认证相结合,以减少用户的不便。 七.结语 2017年,《经济学人》宣布:“世界上最有价值的资源不再是石油,而是数据。” 这个比喻很贴切,因为今天的企业没有信息就无法运作,就像一个世纪前的工业巨头没有石油就无法运转一样。数 据实际上比石油更有价值,但与石油不同,数据可以被重复使用,以创新的方式组合,并在组织或世界范围内共享。 创新的数据管理不仅是几乎所有市场竞争优势的主要来源,而且是重塑零售业、运输业和酒店等行业网络规模公司的命脉。限制人们利用数据潜力的传统技术和流程威胁着整个实体的健康。 云计算已经释放了人们的潜力,以之前无法想象的方式将成千上万的数据源结合起来。现在是时候重新审视商业智能,使其成为一种新的灵活且响应迅速的组织的能量来源。
  • 热度 5
    2021-5-22 21:36
    2774 次阅读|
    14 个评论
    思考:数字化转型为什么?
      数字化转型一词新闻频率高了,越是好奇了,到底是什么意思?也就时时关注这方面的话题了。   几天前,阅读了《万字解读:未来五年,数字化转型到底怎么转?朝什么方向转?》创业邦 2021-05-18 00:00:00   边看边想,还是有诸多不解之处。   如题,没说为什么转?就问到底怎么转?朝什么方向转?岂不是无的放矢?所以,就想知道为什么?也许看了全文怎么转和方向就会知道了吧?一字一句看完了,也琢磨,呵呵,还是不知为何转?感觉就是没有转,也不必转。难怪,上面网页文章题目右侧的杂志广告提要说:数字经济时代,变与不变。觉得有道理,点击打开杂志,提要全文如下,也只是说了转变,没说不转变是什么?还是不明白为什么转!   今天,5月22日又见一文《数字化转型2.0来了!》,迪迪埃·博内、乔治·韦斯特曼 2021-05-19 00:00:00   开篇综述提到:    这要求企业变身成为“数字化大师”。为此要培育两方面的能力:一是数字能力,即运用创新技术提升业务要素的能力;二是预见并以系统化的、有利可图的方式推动组织变革的领导能力。企业将这两种能力合而并用,就能将数字技术成功转化为业务优势。   当前技术革命大浪淘沙,物联网、人工智能、VR/AR(虚拟现实/增强现实)和5G技术等众多新技术的发展,已经给企业开辟了创造价值的崭新途径。   更重要的是,企业领导者现已认识到,他们需要,也有可能在真正意义上改变其企业的基本经营方式。他们必须从孤立的技术实验过渡到更具系统性的战略和执行方法。   随着新冠疫情促使社会活动加快转向数字化,“数字化大师”与其竞争对手之间的能力差距正越拉越大。对此,我们重新审视了构成数字能力的各项要素,以期反映新兴数字技术所带来的机遇和影响。   有点感觉了。数字化转型,变的是型式,如基本经营方式。不变的是实质,如经营内容,原来做什么还是做什么。实体经营变成数字经营。   就是通过“物联网、人工智能、VR/AR(虚拟现实/增强现实)和5G技术等众多新技术”手段,把人类的实体生存变成数字生存,体现数字经营的能力。   看现实,莫非就是因为物质丰富了?人口众多了?眼前的就是数字巨大了,以至于众多人口消费丰富物质而忙不过来了。于是乎就汇总人口和物质大数据,通过人工智能处理,创造现代生存价值。   问题又来了,什么生存价值?如果实质不变,实质就是人类可持续生存,就是要幸福生活。怎么才算是幸福?是否涉及到可居住地域条件下的可居住人口密度?比如单位平方公里的人口数量?如果是,那是否有绝对性的标准?不知道。但感觉相对性的标准应该是有的,比如满足人与自然和谐,就是一个地域的自然资源与人类消耗达成动态平衡。简单说,就在最大程度地不挖山填水,动植物不被人类灭绝的前提下,人类做到数量适应性地生存,既要会生也要会死。   从现状看,我们国家的人口总量算是大的了,尤其喜欢城市化密居生活之幸福感,这倒无可非议,生活方式的习惯,幸福的喜好。但客观上一个城市地域面积是有限的,而人口似乎有增无减,总有一天不就是住不下了?这许多年来可见全国上下都在建立城市,接下来就是全国有多少地域适宜建立城市?   显然,实体空间不够用了,就想到了数字空间,提高单位面积人口居住数量,好比一座平房变高楼,一栋不够,就是楼群,如今城市是植楼造林,楼林郁郁葱葱,不就是生存实质不变而型式变了,转型。   哦……数字化转型就是为了提高地球可生存空间的入住率。   到底怎么转?由于地球空间必究是有限的啊!只好减人。减不了,数据还是太大。朝什么方向转?就只有寻求地球之外其他星球的生存空间,比如火星。据说我们人类也是这样来的,看来是的,量变到质变。   呵呵,一直好奇的“我们从哪里来?我们到那里去?”也有答案了。  
  • 热度 4
    2020-1-6 14:37
    4337 次阅读|
    2 个评论
    真「SSD」不怕火炼?长时间高温老化测试见真章
    百佳泰/Blake Chu 现今 SSD 主流已从当初的 2.5 吋 SATA SSD 进化到体积只有一半不到的 M.2 NVMe SSD 。当体积越小,代表了速度将有明显地提升,延迟也会降低,而体积小的 SSD 也更能应用在更广泛的地方,如车载系统、亦或是未来 5G 架构系统的应用。 NAND Flash 为 SSD 内部担任储存数据的组件,一般来说,影响 NAND Flash 数据保存,除了抹写次数( PE/Cycle ),温度也是另一个因素;如在极端的条件下使用,在长时间与不同的温度变化也会对 NAND Flash 数据保存( Data Retention )造成影响。为何这两点会影响到 SSD 数据保存呢?我们简单概述一下 NAND Flash 基本原理。 NAND Flash 基本操作的主要三动作: 写入 、 读取 、 抹除 。 写入 : 数据在 NAND Flash 中是以电子形式( electrical charge )储存。储存电子的高低电位,取决于 Control Gate 所被施加的电压(图 1 ),当一正电压加于 Control Gate 时,传送电子通过第一个绝缘体进入 Floating Gate 内,当 Floating Gate 被注入负电子时,在位中 1 就会变成 0 ,此时为写入。 读取 : 当读取数据时,同样会在 Control Gate 施加电压,吸住 Floating Gate 里的电子,利用电流来感应 Floating Gate 里的电子数量,靠感应到的电子数量转换为二进制的 0 与 1 ,最后输出成数据,此时为读取。 抹除 : 当 Control Gate 加进负电压时,会将电子传送到 Floating Gate 外,而当负电子从 Floating Gate 移除后,位也就从 0 变回 1 ,此时为抹除。 图 1 随着读取、抹写次数上升,电子多次穿越将造成漏电情况,也就是电子无法维持在 Floating Gate ,而导致数据错误。此类型情况也会随着芯片制程提升( TLC ),导致薄膜层越薄,使电子穿越所能承受的次数变的更少。另一方面,当 SSD 处于高温下,也会影响电子的行为导致无法正确保存数据。针对上述情况, JEDEC 固态技术协会已对一般客户及企业订出了温度规范(图 2 ),可见温度对于 SSD 数据存储的影响不可小觑。 图 2 SSD 高温老化测试案例分析 由于车用乃至于工业用的 SSD ,特别注重数据保存能力以及可在高温下维持功能与性能(如延迟时间( Latency ))。百佳泰针对温度是否会对 SSD 数据保存( Data Retention )造成影响,特别挑选四个市面上常见 M.2 NVMe SSD 来进行高温老化测试,利用长时间高温加速老化,观察这些 SSD 在接近寿命终点时的情况。 在进行测试实验前,我们已将这些 SSD 维持相同的条件:已经使用过一段时间、并写入了大量的数据(写入数据内容依据 JEDEC 协会规范制定)。在确认 SSD 状态以及 SMART ( Self-Monitoring Analysis and Reporting Technology )皆正常后,将 SSD 断电放进烤箱,设置 4 种不同时间与温度进行测试。当完成指定的长时间温度测试后,再将 SSD 从烤箱取出,最终在测试仪器上执行 SSD SMART 检查以及全碟读取检查。 ( 图 3) 图 3 Phase 0: 40°C/24HR 第一阶段测试我们先用正常温度 40°C 来检视这 4 个 SSD 状态,作用于基准值并跟后续高温测试进行比较。从图 4 来看,经过 40°C/24HR 后, 4 个 SSD 在执行全碟读取检查的运行时间相差不大;但 SSD A 所需的时间较其他三个长一些。 另从全碟读取检查的指令响应时间统计百分比来看(图 5 ), SSD A 的延迟时间在 Rank B 区间较其他三颗稍多了些。 图 4 图 5 (Rank A 低于 0.5mSec ,代表延迟低,性能好;而当 Rank 高于 10mSec ,则代表延迟高,性能差。故 Rank 能集中在 AB 是相对好的 ) Phase 1: 125°C/24HR 第二阶段测试我们进入高温状态( 125°C )并连续 24 小时烘烤 SSD ,来观察 125 度高温是否对 SSD 有影响。从图 6 来看,经过 125°C/24HR 后, 4 个 SSD 在执行全碟读取检查的运行时间都因为高温而变长;而 SSD A 在这阶段的测试里所需的时间也相较于其他 3 颗明显变得更长,从结果判断得知 SSD A 会因高温而影响效率。 从全碟读取检查的指令响应时间统计百分比来看, SSD A 开始在 Rank C/D 出现些许延迟的现象; SSD B 也表现出轻微的延迟, SSD C & D 则未有明显的影响。到目前为止 4 个 SSD 尚未出现状态错误( SMART error ),或 command error 的情况发生。 图 6 Phase 2: 125°C/120HR 从 Phase 1 结果来看, 4 个 SSD 的性能尚未分出胜负。这一阶段,我们一样维持 125 度,但将时间拉长 5 倍到 120HR 观察。从图 7 来看,经过 125°C/120HR 后, 4 个 SSD 都因为长时间高温让执行全碟读取检查的运行时间拉长,尤以 SSD A 来看,所需的时间竟拉到了近 5 小时之高。 从全碟读取检查的指令响应时间统计百分比来看, SSD A 因在长时间及高温的状态下,呈现高延迟现象;相较于 Phase 1 的 Rank D 数据,竟达 12 倍之多的差距( 18.8% )。此外, SSD B 也不遑多让,延迟时间相对提升;而 SSD D 也在此时开始出现延迟的情况( Rank B )。 在这一阶段测试环节中, SSD C 全身而退,尚未出现任何影响。到目前为止 4 颗 SSD 也还未出现状态错误( SMART error ),及 command error 情况发生。 图 7 Final Phase: 150°C/168HR 从先前 3 个测项结果来看, 4 个 SSD 尚未出现状态错误( SMART error ),但已有两个 SSD 出现明显延迟,导致性能显著下降。为了测试极端状况并加速老化速度,在最后一项测试环节我们将温度提升至 150 度,时间拉长 7 倍,总共 168HR ,从中观察这 4 个 SSD 在极端条件会出现什么样的情况。 从测试结果中(图 8 )我们发现 SSD A 在烤完拿到仪器上开始执行全碟读取检查时就出现问题,除无法正常读取外, SSD 固件回报也呈现状态错误( SMART error )。而 SSD C & SSD D 则是在全碟读取检查撑了一段时间后才出现 error 无法完成读取,随后也出现 SSD 固件回报状态错误( SMART error )。在最终测试环节中,只有 SSD B 脱颖而出,能完成全碟读取检查; SSD A 、 C 、 D 在全碟读取检查过程均发生 command error 情况,只有 SSD B 未出现状态错误( SMART error )及无 command error 的情况产生。 图 8 测试总结 纵观上述测试,我们可以发现随着长时间与温度的增加,部分 SSD 在执行全碟检查时效率下降;其中 3 个 SSD 也因时间不断的拉长以及温度的提升最终导致因数据保存出现问题而产生读取错误的情况。从低延迟时间级距 Rank A 来看,随着温度与时间不断增加,造成延迟时间的情况也随之加深,并导致控制器纠错时间增加,响应时间拉长。 值得一提的是, SSD B 表现优异,除顺利通过长时间高温测试外,在全碟读取检查延迟时间也都保持在高水平之上,相对其他 3 个 SSD 可靠不少。 图 9 结语 经过长时间高温的严峻测试,大部分 SSD 已无法负荷而出现数据保存问题,然而,还是有 SSD 能通过严苛的测试环境。虽现今 M.2 NVMe SSD 会因体积及散热等问题出现资料保存错误情况,但还是可以透过原料控制,以及控制器固件调校技术,让 SSD 能在严苛的条件中执行存取任务,完整保留数据,维持数据正确性。除了本次的测试案例外,百佳泰也可依照客户需求,针对温度 / 时间进行客制化、阶梯化设置,为您的产品迅速找出极限点;并从所提供的详细测试报告中协助您改善产品弱点,提升市场竞争力!
  • 热度 28
    2014-3-11 11:39
    1727 次阅读|
    0 个评论
      通信工程中线路/接入/交换/数据/传输/基站/网优/无线测试解决方案比较多,我就不一一列举了,现在我就举例说明常用的比较多一种方案: 包括: 1、 熔接设备:    FTTH施工用超小型单芯/皮线光纤熔接机TYPE-100S    最新住友单芯/皮线光纤熔接机Z1C、光纤切割刀FC-6S 最新住友双联加热器单芯/皮线光纤熔接机TYPE-81C、施工工具箱LP-20I    住友新一代带状光纤熔接机TYPE-81M12、带状光纤切割刀FC-6M、外接蓄电池LP250 2、测试仪表:    手持式单多模光时域反射仪:AXS-110-12CD-23B  实用可增强型光时域反射仪:MAX-715B/720B/730B    便携式光时域反射仪(OTDR):FTB-1-720/730    多功能可扩展光时域反射仪(OTDR): FTB-200-7200D/7300E/7400E/7500E/7600E    光链路智能测试仪(光眼): FTB-1-720/730-iOLM 3、其他光表:    进口:红光笔FLS-241、光源FLS-300/FLS-600、光功率计FPM-300/ FPM-600          光万用表FOT-300/ FOT-600/FOT-930、光纤识别仪LFD-202/LFD-300          纤序查找器 TK-FF、 PON功率计 PPM-352C、可变衰减器 FVA-600    合资:红光笔LP-221/321、光源LP-226/326、光功率计LP-216/316、PON功率LP-218/318、      光纤识别仪LP-251/351、光缆查找仪TK100/TK200、美国艾特AT天馈线和频谱分析仪 附件:其他测试 1、光纤光缆生产检测测试:     单端PMD/CD分析仪 FTB-5700 、PMD分析仪 FTB-5500B、CD分析仪 FTB-5800、 PMD分布 测试仪 FTB-5600、光谱分析仪 FTB-5230S/5240S/5240BP 端面检测仪MAX-FIP-400B、线路/传输/数据综合分析仪FTB-700G 2、光器件研发和生产测试:FIBER SIGMA 光纤拉力测试系统    台式光源 FLS-2100/2800、宽带光源FLS-2200、ASE宽带光源 FLS-2300B、可调式 激光光源FLS-2600B 、功率计PM-1100、高速功率计PM-1600、可变衰减器 FVA-3100 3、传输和数据测试:    E1数据传输分析仪/2M误码仪LP-3120C/3130C    SDH/MSTP 测试测试仪 FTB-880/870/810/8140/8115/8120/8130    以太网测试仪 ETS-1000/1000G; FTB-860/880/8510B/8510G/700G/AXS-850 4、无线移动通信测试:城市轨道交通无线电测试仪 GT-506A    天馈线测试仪S331/2D/E、便携式无线监测接收机PR100、无线电侦测仪H500    模拟和数字(TETRA)综测仪3920、手机综合测试仪4405、干扰定位分析仪 IDA-3106 美国艾特: AT240手持式天馈线测试仪(天馈测试25M-4.4G)、AT242手持式天馈和频谱分析仪(天馈测试25M-4.4G、频谱仪 9K-3G、传输测量/跟踪信号源25M-3G)、AT260手持式天馈线测试仪(天馈测试25M-6.1G)、AT262手持式天馈和频谱分析仪(天馈测试25M-6.1G、频谱仪9K-3G、传输测量/跟踪信号源25M-3G)、AT300手持式频谱分析仪(频谱仪 9K-3G、传输测量/跟踪信号源25M-3G)、AT600LTE基站和干扰分析仪(频谱仪9K-6G、传输测量/跟踪信号源25M-6G)、AT-7S无线综合测试仪(频谱仪9K-6G、传输测量/跟踪信号源25M-6G)
相关资源
  • 所需E币: 0
    时间: 2023-9-18 10:16
    大小: 1.53KB
    SpringBoot3.0+RocketMq构建企业级数据中台,所谓数据中台,即实现数据的分层与水平解耦,沉淀公共的数据能力,笔者认为可分为三层,数据模型、数据服务与数据开发,通过数据建模实现跨域数据整合和知识沉淀,通过数据服务实现对于数据的封装和开放,快速、灵活满足上层应用的要求,通过数据开发工具满足个性化数据和应用的需要。过去三十年,企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时,需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的建成都自成一体,各自满足业务部门的需求。这种情况不仅耗费各部门大量的精力也使得各个系统难以打通管理,无法形成更强大的数据能力。SpringBoot3.0+RocketMq构建企业级数据中台,数据中台是能力共享平台。如今,很多产品应用研发初始都在强调功能性,各个功能存在或多或少的重复性。然而企业对这些产品功能的定义并不相同。当客户产生某些需求时,由于定义的不同,产品功能和功能间的数据很难打通,也无法实现能力共享。在数据中台基础上的应用开发并不强调功能性,更注重能力的共享。这种能力就像水电煤一样可以直接向外输出使用,从而满足业务部门和用户的不同需求。数据中台如何建设?SpringBoot3.0+RocketMq构建企业级数据中台,数据中台的建设包括三个阶段,分别是基础架构、技术体系和应用系统。基础架构主要由数据标准、数据质量、元数据等组成。在建设过程中,需要根据企业的实际情况进行合理布局。技术体系是数据中台的技术支撑,主要包括业务应用系统、ETL工具等。通过建立技术体系,可以提升企业在大数据处理上的效率和质量,同时也可以降低企业在大数据平台搭建过程中的成本。应用系统主要包含数据资产管理系统、数据运营管理系统、智能分析系统等。通过建立应用系统,可以有效地提高数据分析的效率。通过建立应用系统,企业可以对各种数据进行统计和分析,进而对业务起到指导作用。以上三个阶段是基础架构阶段,是建设数据中台的重要组成部分。通过基础架构阶段,企业可以更好地了解自身的业务情况以及现有的数据情况,在此基础上进行技术体系建设和应用系统建设。
  • 所需E币: 0
    时间: 2023-9-18 10:23
    大小: 1.23KB
    上传者: huangyasir1990
    SpringBoot3.0+RocketMq构建企业级数据中台,RocketMq是一个队列模型的消息中间件,具有高性能、高可靠、高实时、分布式特点;Producer、Consumer、队列都可以分布式;Producer向一些队列轮流发送消息,队列集合称为Topic,Consumer如果做广播消费,则一个consumer实例消费这个Topic对应的所有队列,如果做集群消费,则多个Consumer实例平均消费这个topic对应的队列集合;能够保证严格的消息顺序;提供丰富的消息拉取模式;高效的订阅者水平扩展能力;实时的消息订阅机制;亿级消息堆积能力;较少的依赖。SpringBoot是所有基于Spring开发项目的起点。SpringBoot集成了绝大部分目前流行的开发框架,就像Maven集成了所有的JAR包一样,SpringBoot集成了几乎所有的框架,使得开发者能快速搭建Spring项目。SpringBoot的核心设计思想是“约定优于配置”。基于这一设计原则,SpringBoot极大地简化了项目和框架的配置。比如在使用Spring开发Web项目时,我们需要配置web.xml、Spring和MyBatis等,还需要将它们集成在一起。而使用SpringBoot一切将变得极其简单,它采用了大量的默认配置来简化这些文件的配置过程,只需引入对应的Starters(启动器)。数据中台是在政企数字化转型过程中,对各业务单元业务与数据的沉淀,构建包括数据技术、数据治理、数据运营等数据建设、管理、使用体系,实现数据赋能。数据中台,是新型信息化应用框架体系中的核心。
  • 所需E币: 0
    时间: 2023-7-14 02:06
    大小: 28KB
    上传者: cheng055
    9011,9012,9013,9014,8050,8550三极管的主要参数数据 
  • 所需E币: 1
    时间: 2023-7-10 15:26
    大小: 8.72MB
    上传者: 张红川
    DAY8-STM32数据搬运工DMA.rar
  • 所需E币: 1
    时间: 2023-7-10 15:41
    大小: 726.04KB
    上传者: 张红川
    04数据类型-1.pdf
  • 所需E币: 1
    时间: 2023-7-10 15:12
    大小: 4.8MB
    上传者: 张红川
    2、数据类型、常量、变量及运算符.rar
  • 所需E币: 1
    时间: 2023-6-1 11:16
    大小: 2.69MB
    华中科大硕士论文:基于QGIS的数据仿真系统及关键技术研究_曹丙章
  • 所需E币: 1
    时间: 2023-6-1 10:53
    大小: 51.1MB
    统计学习导论:基于R应用-(数据科学与工程技术丛书)-[美]GarethJames-DanielaWitten-TrevorHastie-RobertTibshirani
  • 所需E币: 5
    时间: 2023-5-22 11:19
    大小: 22.79KB
    上传者: 木头1233
    基于单片机串口发送数据点阵屏滚动显示仿真设计
  • 所需E币: 1
    时间: 2023-5-6 12:10
    大小: 219.64MB
    Python数据抓取技术与实战-潘庆和-赵星驰
  • 所需E币: 2
    时间: 2023-5-4 13:53
    大小: 898.69KB
    上传者: 木头1233
    基于AT89C51单片机串口发送数据到2片8×8点阵屏滚动显示Proteus仿真及程序
  • 所需E币: 1
    时间: 2023-4-27 09:36
    大小: 40.73MB
    数据科学导论:Python语言实现(原书第2版)-(数据科学与工程技术丛书)-[意]AlbertoBoschetti&LucaMassaron(azw3格式,附阅读器安装程序)
  • 所需E币: 2
    时间: 2023-4-26 11:16
    大小: 235.26MB
    SAS技术内幕:从程序员到数据科学家-巫银良
  • 所需E币: 1
    时间: 2023-4-24 10:19
    大小: 307.19KB
    上传者: 张红川
    基于单片机的监测数据无线传输装置设计与实现.pdf
  • 所需E币: 1
    时间: 2023-4-19 10:40
    大小: 36.42MB
    预测分析:R语言实现-(数据科学与工程技术丛书)-[希]RuiMiguelForte(epub格式,附阅读器安装程序)
  • 所需E币: 1
    时间: 2023-4-24 16:22
    大小: 69.68MB
    基于R语言的自动数据收集:网络抓取和文本挖掘实用指南-(数据科学与工程技术丛书)-[德]Munzert,S.(epub格式,附阅读器安装程序)
  • 所需E币: 5
    时间: 2023-4-14 13:29
    大小: 587.91KB
    上传者: george123012
    力科示波器原厂资料,示波器自动化测试
  • 所需E币: 1
    时间: 2023-4-13 15:15
    大小: 45.89MB
    数据科学与工程技术丛书-实时分析:流数据的分析与可视化技术-[美]ByronEllis(mobi格式,附阅读器安装程序)
  • 所需E币: 1
    时间: 2023-4-6 13:44
    大小: 370.33KB
    上传者: 张红川
    avr单片机与pc机打印口高速双向数据通信接口.pdf
  • 所需E币: 1
    时间: 2023-4-10 11:43
    大小: 97.61MB
    大数据之路-阿里巴巴大数据实践(阿里巴巴数据技术及产品部)