原创 存储那点事:企业级大存储器综述 下

基于DMX直连矩阵的EMC DMX存储器体系架构

可以说企业级存储市场，2000年以前EMC公司是处于绝对垄断地位，后面几年慢慢地被两家后起之秀（IBM公司和日立公司）抢了不少份额，可以说当时EMC在存储器体系架构方面拘泥于MOSAIC 2000架构一直无法实现突破。厚积薄发，在2003年2月EMC终于推出了一种划时代的创新产品Symmetrix DMX系列，开始了在企业级存储市场的有力反击。

下图是EMC Symmetrix DMX的体系架构图：

EMC Symmetrix DMX的体系架构

我们来分析一下EMC DMX的设计思路，企业级存储器的设计说到底还是要解决多个部件高速互连的问题，总线设计已经证明行不通了，交叉开关crossbar的思路被H系抢了先，有没有更加先进的思路呢，俗话说：如果你不能拥有它（实话说这crossbar技术蛮有技术壁垒的），那么最好的方法这就抛弃它换个思路突破，这就是EMC DMX系列推出来后的突出亮点。

DMX存储器的核心交换部分干脆就抛弃了原来的缓存高速交换机和缓存总线的设计思想，干脆采用了一种各部件直连的体系结构，把主机前端接口和后端磁盘接口直接接到缓存上以避免了总线和交换机的延迟（当然其实在缓存上还是有其他转接部件存在以连接前端存储卡和后端存储卡的，但不管怎么样直连DMX听起来也不输给所谓crossbar无阻塞交换架构，总算打平了）。

根据EMC公司官法资料介绍，Symmetrix DMX系列存储器的直连矩阵架构采用了其专利、有革命性意义的全新Direct Matrix Architecture（直连矩阵架构），为可扩展性、灵活性、可用性设置了新轨道。从体系架构设计思路来讲还是有一定道理的。

从2003年第一代Symmetrix DMX存储器推出后，EMC的高端存储器一直坚持此种体系架构，包括DMX/DMX2系列（包括DMX 800、DMX1000、DMX1000P、DMX2000、DMX2000P和DMX3000），DMX3系列（包括DMX-3 950和DMX3），和DMX4系列（包括DMX-4 950和DMX4），直到2009年EMC又与时俱进地推出了基于Scale out设计思想的Symmetix V-MAX系列存储器。

下图是DMX/DMX-2发布的产品分类

DMX/DMX-2发布的产品分类

紧接着在上一代的基础上EMC发布了DMX3系列，分为DMX3-950和DMX 3两个型号，仍然采用缓存部分DMX直连通道架构

EMC发布DMX3系列

而EMC也马不停蹄在2007年发布了Symmetirx DMX4系列，分为DMX4 950和DMX4两个型号，磁盘后端接口采用了4Gb/sec的后端光纤通道，其中DMX4最大可以支持到512GB缓存，其缓存直连带宽高达128GB。另外DMX4有一个很大的亮点是2008年初EMC宣布成为业界第一个将在高级储存产品上提供固态硬盘（solid-state drives, SSD）的存储器厂商，客户可选择以73GB和146GB二种容量的固态硬盘（当然现在有了更多SDD磁盘类型的选择），取代部分磁盘阵列中的传统硬盘，以加快反应速度，EMC把基于SDD的磁盘称作tier 0，SDD改变了传统存储器的很多游戏规则（当然紧接着其他公司也立马推出了SDD产品），SDD在随机cache不命中的IO环境中（多用于OLTP数据库交易系统）的表现是非常突出的。

Symmetirx DMX4系列

当然在2009年EMC又突破性地推出了Symmetrix v-max企业级存储器，它将突破现有的scale-up架构，而转向了scale out架构，此方面会在其他章节中描述，在本节中就不多叙述了。

逐鹿中原，百花齐放

到底是H系公司的crossbar架构好，还是EMC公司的直连式架构好，有人说交换机灵活扩展，也有人说直连式架构高效快速，还有人说其实IBM基于Seascape架构的企业级存储器拥有Power芯片的核动力才是真正的最高性能存储器…其实这是在企业级存储市场在产品选型时经常被提到的问题，也需要广大系统管理员和用户自己好好考虑。但有一点是肯定的，高速低延迟的背板或直连技术是做企业级大存储器的关键之一。

我一直强调，其实存储器本质上也是一种计算机，所以其他高级服务器器也会碰到同样的问题，比如HP新一代的Superdome刀片开始用上了Infiniband交换机连接多个刀片处理器，而最近很火的一个机器就是Oracle新发布的Exadata Ver 2.0，据说是速度惊人，说白了其关键核心是独家采用了最先进的Infiniband交换设备——40 Gb/sec fault-tolerant unified server and storage network，整个数据库机内部配置了3个36-port QDR Sun Datacenter InfiniBand Switches，也就是通过他把很多个小服务器串接起来高效工作。具体配置见下图。

Oracle Exadata Ver 2.0具体配置

统一大缓存存储器的其他产品

除了EMC/HDS以外（HP属于OEM日立的存储设备），还有一家就是富士通的高端存储器了。

富士通Eternus 6000的体系架构图

富士通的存储器也分为两个档次，基于模块化集群架构的Eternus 4000系列（上一代是Eternus3000系列），还有就是企业级的Eternus 8000系列（上一代是Etnernus 6000系列）。上图是富士通Eternus 6000的体系架构图，其基本思想是以高速RT（Router）做为核心交换部件，把控制器CM（即control module，控制器。所有的前端端口均配置在各个CM上，CM本身可以扩展）、前端主机接口卡（CA）和后端磁盘接口卡（DA）连接起来。其整体设计思想与H系公司和EMC公司存储器基本上类似，无非是用高速Router代替了crossbar交换机和DMX直连矩阵。

值得一提的是富士通在控制器上率先使用了高速Intel通用处理器用来提高处理速度，这一点走在H系和EMC公司前面（H系公司的存储器一直采用MIPS芯片，而EMC直到2009年最新的V-MAX发布前一直是采用的powerpc芯片）。

一个完整的富士通6000、8000的连接示意图如下所示：

富士通6000、8000的连接示意图

还有一家NEC公司生产的高端存储器也是采用类似体系架构设计，但在国内成功案例较少，笔者在本文中也就不多做介绍了。

大家也许会奇怪，为什么没有提到IBM，其实在我看来在行业里赫赫有名的IBM Shark系列（现在又叫DS8000系列）虽然也是性能强大，但其核心设计思路是基于Seascape体系架构不断完善和发展，IBM DS8000整个存储器的动力引擎是来自于IBM引以为豪的Power芯片（最新的8700采用了PCI-E快速交换技术），其实IBM公司这种把存储和主机优势结合在一起设计思想也是业界一个发展趋势，也是笔者一直强调的“存储器也是计算机”理论的最佳实践之一，但是由于其体系架构不属于此章节分类（统一大缓存多处理器架构，scale up的存储器），因此就不在此章节介绍了。