原创 未来的存储系统如何设计?

2013-7-1 16:57 2253 21 21 分类: 工程师职场

随着云计算的发展,越来越多的厂商看到了这一领域的机会。致力于引领大数据连接、传送以及存储,并提供创新半导体解决方案的PMC公司,在第五届中国云计算大会上宣布已转变为存储公司,2012年,存储业务收益已经占公司总收益的65%

PMC公司总裁兼首席执行官Greg Lang在发表下一代存储系统设计演讲时提到,多年来PMC坚持在存储、光网络和移动网络这三大业务领域进行投入,他们致力于提供创新的半导体解决方案,推动网络向大数据时代升级。大数据无疑会给网络、存储等基础设施带来大量机会,为此,PMC已经做好了充分的准备。在存储领域,PMC2009年率先提供6Gb/s 的芯片而引领业界转型,除此之外,在12Gb/s SAS方面也推出了高性能的控制器和扩展器解决方案。日前,其Adaptec by PMC系列推出业界首款半高24端口PCIe Gen3 RAID控制器,它可显著降低功耗并提高性能,可为超大规模数据中心提升三倍存储连接能力。Greg Lang表示,PMC1998年进军中国市场,并始终将其视为全球市场的重中之重。PMC亲历了中国网络市场的飞速发展,并对大数据时代的存储领域持有十足的信心。

 

greg lang,pmc公司总裁兼首席执行官.jpg

PMC公司总裁兼首席执行官Greg Lang

基于交换矩阵的分离I/O构架——应对大型数据中心的挑战

PMC公司研发副总裁廖恒博士在介绍基于交换矩阵的分离I/O构架时提到,大数据时代,一个业务会涉及到很大的数据量,这其中包括各种数据类型,有些是结构化的,有些是非结构化的。这些数据类型的访问频率和带宽都是不一样的,它们有不同的热度,有的是热数据,有的是冷数据,它们以非常复杂的形态混杂在一起的。大型数据中心正面临着两个复杂的挑战:第一个挑战来源于带有热度的数据,每个数据中心业务都需要大量混杂着不同热度的数据类型,第二个挑战则来自资源池化,云计算和Web数据中心业务要求计算中心的CPU、内存、存储和网络资源能作为一个全局的资源池进行动态、灵活的调配和绑定

 

廖恒,pmc公司研发副总裁,分享基于交换矩阵的分离io构架(fdio).jpg

PMC公司研发副总裁廖恒博士

针对这些挑战,出现了以下几方面的技术创新:第一种是分离I/O构架,第二种是软件定义的数据中心,第三种则基于交互矩阵的分离I/O的机群构架,它结合了DIOSDDC的概念,并在硬件构架上加以全局优化。

基于分离I./O构架和软件定义网络的趋势,PMC引入了基于交换矩阵的分离I/O构架(FDIO这一概念,它可以采用低成本、高带宽、低延迟、低功耗,并适合机架内的传输距离的技术实现机架内的融合。

 

1.jpg

PMC 从硬件芯片级出发,提供驱动、适配层、云操作系统的集成方案,并对Hadoop等应用平台进行了优化。

 

2.jpg

FDIO的软件协议栈来看,存储和网络层对应用软件透明,并和L1/L2网络协议无关。

 

3.jpg

最后,廖恒还分享了FDIO机架的参考设计。

 

4.jpg

存储系统的发展、挑战与变革

PMC公司资深产品拓展工程师张冬,就存储系统的发展、挑战与变革这一话题进行了分享。他在存储领域有多年的从业经验,同时还是《大话存储1&2》系列图书的作者。

 

张冬,pmc公司资深产品拓展工程师,分享存储系统的发展、挑战与变革.jpg

PMC公司资深产品拓展工程师张冬

张冬在演讲中提到,传统企业IT、互联网和大数据、云计算和数据中心,是三个完全不同的领域。存储系统在这三个领域中面临着前所未有的挑战,传统存储系统遵循ACID的设计理念,以单一的集**享方式和高集成度向大量主机提供存储空间。但是随着上层业务的不断发展,存储系统正面临巨大挑战,包括:不得不走分布式路线,资源部署不够灵活和弹性,不具智能,无法针对多变的应用场景提供灵活的智能感知。另外,当前互联网后台的各种应用系统,更是对存储系统提出了更多的要求,传统商用存储系统逐渐无力支撑。实时的一致性不再是必须的,持续存在的性能瓶颈、冷数据场景、弹性以及QoS,存储系统面对如此多的变数,将如何应对?云计算和数据中心看待存储系统的视角又是不同的,这三个领域的多变需求势必会影响着存储系统的发展和变革。

基于上述问题,张冬分享了他之前所做的一些产品设计经验和思路,包括用摆积木的方式部署和变更资源、存储可视化、智能的应用对象感知、QoS联动,可控的存储气象图等。

张冬提到,传统IT架构之下,主机永远是围绕存储的,存储是重心。有一套存储就有一堆主机围着它读写数据。但随着应用越来越多样,再加上后端资源不断的供给,存储这种单兵作战的模式不再适应,必须统一调度。这就是云计算对存储的影响。

传统存储体系对固态介质的利用无非考虑两个事情,一个是位置,一个是角色,如果只是简单地将固态硬盘与机械硬盘同等对待,那么,传统的存储体系根本无法发挥固态存储的性能,因为它没有为固态存储做优化,可能只有30%-40%的性能发挥出来。此时,如果在I/O层面做一些优化,就可能把性能发挥到80%

对于固态介质自身来讲,最重要的是先把容量、寿命、成本做好。其次是不能只盯着高性能三个字,还要盯着大容量、低性能这个档次,再关注超大容量、超低性能这个档次。由于空间方面的优势,固态存储的容量密度远高于机械盘,不管是服务器的DAS模式,还是机柜级的DAS模式。用比较轻量的数据管理软件将不同档次的介质融为一体,形成独立的存储系统,是一种与传统存储竞争的方式。

 

 

 

PARTNER CONTENT

文章评论0条评论)

登录后参与讨论
EE直播间
更多
我要评论
0
21
关闭 站长推荐上一条 /3 下一条