原创 存储那点事:企业级大存储器综述 中

统一大缓存多处理器存储Scale-up架构产品的发展历史

设计这种体系架构的存储厂商的鼻祖当推EMC公司，可以说是EMC这家公司创造了存储器这一个独立的行业（在此之前存储器都是服务器的附属产品）。EMC把所有的高端存储器都称为Symmetrix系列存储阵列（和前文中提到的对称式体系架构“Symmetric”拼写很相似，各位看官不要弄混哦）

我们先来回顾一下EMC Symmetrix系列存储器的发展历史

1990 – Symmetrix 4200 – ICDA (Integrated Cached Disk Array) Technology, Total Capacity 24GB

1991 – Symmetrix 4200 – 4Mb DRAM, 5.25 HDAs, Mirroring RAID 1

1992 – Symmetrix 4400 - - Dynamic Sparing, RMP Call Home

1993 – Symmetrix 4800 – 16MB DRAM, 1 GB Global Memory,Non-disruptive microcode, Hypervolume Extension.

1994 – Symmetrix 5500-3 – SRDF

1995 – Symmetrix 3.0 Open Symmetrix- FWD SCSI- attach, 3.5’’ HDAs, RAID Protection, SRDF Host Component, Symmetrix Manager

1996 – Symmetrix ESP – Mix CKD/FBA

1997 – Symmetrix 4.0 – TimeFinder, DataReach, InfoMover, Celerra, FDRSOS, Fibre Channel, PowerPath, UltraSCSI, DMSP

1998 – Symmetrix 4.8 – FC-AL/FC-SW, Symmetrix Optimizer

1999 – Symmetrix 5.0 – 333 MHz PPC, 181 GB disks, QoS Controls

2000- Symmetrix 5.5 – 2 GB fibre Channel, 400 MHz PPC

2000-2001 – Symmetrix DMX – Direct Matrix, 500 MHz PPC, 2 GB FC, Back-End Parity RAID

2001 – 2002 – Symmetrix DMX – 2G FICON, Giga Ethernet SRDF, iSCSI, SRDF/A, TimeFinder/Snap

2003- Symmetrix DMX-2 – 1 Ghz PPC, RAID 5 Data Protection, 32 GB Memory Directors

2003-2004- Symmetrix DMX-2- SRDF Mode Change, Concurrent SRDF, SRDF/Star, TimeFinder/Clone, Open Replicator

2005 – Symmetrix DMX-3 – 8 Processors/Directors, 1.3 GHz PPC, Low Cost FC Disks, Incremental Scalable, Upto 2400 disks, Open Migrator/LM

2005-2006 – Symmetrix DMX-3 – Dynamic Cache Partitioning, Symmetrix Priority Controls, Virtual LUN Technology, Symmetrix Service Credential, Tamper Proof Audit Logs, Secure Data Eraser, RAID 6 Protections.

2007-2008 Symmetrix DMX-4 – 4GB/s Point to point Backend, FC & SATA Intermix, RSA enVision Intergration, Flash Drives, Virtual Provisioning Cascaded SRDF

可以看到在EMC发布直连式矩阵DMX系列阵列之前，其Symmetrix系列都是基于总线互连的SMP架构设计的，我们看看其早期几款经典产品的结构图和相关数据

1999年：Symmetrix 4.8架构Symmetrix 3630, 3830, 3930，配备两条系统高速总线，系统总线带宽：2×360＝720MB/sec。

Symmetrix 4.8架构Symmetrix 3630, 3830, 3930

2001-2年：Symmetrix 5.0 5.5架构，具体产品对应的存储器产品是Symmetrix 8430/8730 和8230/8530/8830系统总线带宽：4×400＝1600MB/sec

可以看到每一代产品的升级都包含几个部分，更多的前端主机通道卡和后端卡、更新的协议支持（前端主机接口从SCSI发展到FC，从ESCON到FICON mainframe接口，后端磁盘从SCSI到ultra SCSI）、更宽的接口卡带宽、更快的处理芯片、更多的缓存容量支持、更多的磁盘数量支持，还有关键的一点是更宽和更多条的互连总线带宽的支持更多连接在上面的部件的协同工作，这是技术突破的关键难点，不管是基于SMP架构的存储器还是服务器，都是沿着同样的发展思路来提升整体性能的。。

这个体系架构是当时EMC的一个灵魂设计师Moshe Yanai同学设计的，此种架构叫MOSAIC 2000体系架构。这样设计的存储器在EMC公司坚持了很多年，据说是因为EMC每生产一台Symmetrix存储器，都需要付给这个Moshe Yanai同学一笔不菲的专利费，而Moshe Yanai同学在EMC也很有影响力，因此这笔费用一直付到EMC 2003年推出下一代的DMX阵列才结束。后来Moshe Yanai离开了EMC，创立了一家以色列小存储公司做下一代存储器，直到前几年这家小公司被IBM收购，这也就是IBM XIV存储器的起源。有此可见，这位Moshe Yanai大哥确实算是存储行业的超级传奇人物了。

Symmetrix 5.0 5.5架构

EMC公司Symmetrix存储器这种基于多处理器，SCALE UP扩展思路的大存储器的设计思路一时间风靡全球，EMC公司也成为了当时Nasdaq的四骑士之一（另外三个骑士是CISCO,ORACLE和SUN，当然去年Oracle把SUN收购了，只剩下3个骑士了），其市值曾经超过过IBM，真是厉害啊。HP公司早期也曾经OEM EMC的Symmetrix系列磁盘阵列作为整体解决方案提供给用户。

应当说Symmetrix的成功也就奠定了EMC在企业级存储器行业老大的地位，可是EMC因此也不满足于只做一个存储器设备的制造商，而是希望直接面对客户（此前EMC很多高端设备都是通过OEM给HP卖出去的），当然从HP的角度想，肯定不乐意EMC直接冲到客户那边卖设备而更希望把EMC当作一个设备制造商，一家拼命想出头，另外一家死命压着不让对方出头，矛盾不可避免地产生了，而且越来越激化。

终于在1999年前后IT界也发生了一个爆炸性的新闻，惠普中断和EMC的协议，改从日立公司OEM企业级存储器7700E（日立在电器也很有名，但是在IT也只算是个新手，估计当时也很想进入企业存储器市场，估计HP说什么苛刻条件也就都答应了，起码态度上比EMC要好很多，这样两家一拍即合）。

因为当时日立的企业级存储器7700E系列最大支持256块磁盘，因此当时命名SurestoreE XP256(这个命名很有意思，以至于在很长一段时间要知道XP最大支持多少块磁盘，只要记住XP后面的数字就可以了，比如XP 512代表该存储器最大支持512块磁盘，而XP1024代表该存储器最大支持1024块磁盘)。

这样我们就谈到了企业级存储市场的另外一个玩家，日立公司。我们知道美国公司擅长创造，日本公司擅长模仿（日本当年就有很多做IBM兼容机的公司，如日立、富士通等）。可以说，日立公司起家时是借鉴了EMC MOSAIC2000的设计思路，推出了lightning 7700E闪电系列存储器。下图是其体系架构，我们可以看到该存储器的设计思路和EMC早期的Symmetrix系列如出一辙。

lightning 7700E闪电系列存储器体系架构

从上述的技术发展路线，我们可以看到，总线的条数和每条的数目成为了存储器发展的关键因素（磁盘和内存模块都是通用的，前端主机接口卡和后端磁盘接口卡也是大家定好的标准）。然而总线的设计也有自身的瓶颈：总线其本质是多条并行刻蚀在电路版上的铜电路,一般64位系统总线约有200-300条铜电路，如下图所示：

64位系统总线约有200-300条铜电路

可以说存储器内部各个部件通过总线技术互连发展到一定的时间和规模，碰到了以下具体矛盾：

1. 所有设备都接到一条共享的数据/控制总线，

2. 只有一对设备能够同时使用一条总线

3. 提高总线的带宽只能够减少使用总线的时间, 但:

a) 每一设备的性能都要提高

b) 线与线间更容易互相干扰

c) 传送延误会做成数据不同步

d) 系统需要严格环境才能够稳定运行

4. 增加总线数目极困难:

a) 电路的数目

b) 总线的管理

总线性能提升这个问题当然不是说只有存储器才碰到，高端的网络设备、服务器设备都碰到了类似的问题（本质上它们都是台计算机，都有互连互通的瓶颈问题）。我们都知道，日本公司不仅仅擅长模仿，也擅长在模仿的基础上创新（参考日本公司在汽车行业对美国公司的竞争；日本公司在造纸行业对中国公司的竞争的历史）。在企业级存储行业的体系架构发展过程中，日立公司和HP公司携手，首先在scale up存储器的体系架构方面迈出了变化第一步。

基于Crossbar架构的存储器体系架构

上节我们说过，在技术工艺方面力拼总线条数和每条总线速度的战役在H系和E系间激烈地进行了一段时间，可是大家都碰到了总线速度难以继续提升的问题。服务器经历过这个演进过程，存储也经历过。

HP的superdome服务器的crossbar背板给日立公司以启迪，XP系列的存储器当然也可以借鉴服务器的设计思路，由总线背板架构转变成crossbar架构。于是H系于2000年11月28日发布了继7700和7700E以后新一代的存储器Freedom Storage Lightning 9900系列（包括9910和9960两个型号）。

H系的这款产品对于以前基于总线架构设计的存储器来讲应当说有突破性的变化，主要表现于以下几点

1. 核心交换部分以crossbar缓存交换机为中心连接主机前端接口、后端磁盘接口和缓存等各个部件，这里的缓存交换机即前文中说指的交叉开关；在9900系列中缺省配置两个，最大配置四个缓存交换机；

2. 率先提出了控制缓存的概念，把存储器的缓存区分成数据缓存（负责缓存常用数据IO）和控制缓存（负责装载存储器操作系统，又称系统微码）两个部分，做到控制信息和数据信息分开存放，有专门的控制缓存交换机；

3. 针对数据缓存和控制缓存设计配置专门的信号通道，即数据缓存通道和控制缓存通道（下图中红色部分表示控制缓存通道，蓝色表示数据缓存通道）；

4. 9900系列抛弃了以前的SCSI接口磁盘，而是采用了光纤通道接口的磁盘（1Gb的FC-AL环路），这样每条链路通信速度更快，同时每条后端链路也可以支持更多的磁盘；

5. 尽管整个9900由多个部件组成，但是从整体上面分成两个区域（图中用蓝色虚线表示）左边区域和右边区域构成一个cluster提供高可靠性；

HDS 9900系列存储器体系架构见下图：

HDS 9900系列存储器体系架构

我们把上述体系架构成为Hi-Star架构，多年来，H系一直坚持了这种体系架构不变，从9900系列（包括9960、9910），9900V系列（包括9970V、9980V），USP系列（包括USP、NSC55）和USP V系列（包括USP VM和USP V）从体系架构上来讲皆变化不大。每一代的升级从本质上来讲是进一步提升了控制缓存和数据缓存交换机的带宽，提升前端主机通道接口的速度和数量，提升后端磁盘通道接口的数量和速度，以及提高数据缓存和控制缓存的容量。

第一代基于Histar交换架构H系存储器9900系列存储器，包括9960和9910两个型号。其中9960最大支持512块磁盘，HP管叫XP512；而9910最大支持48块磁盘，HP那边叫XP48；

第一代基于Histar交换架构H系存储器9900系列存储器

第三代基于Histar交换架构H系企业级存储器

上图是第二代基于Histar交换架构H系存储器9900V系列存储器，可以看到缓存交换机系统带宽从6.4GB/sec升级到了15.9GB/sec，包括9970V和9980V两个型号。其中9970最大支持128块磁盘，HP管叫XP128；而9980V最大支持1024块磁盘，HP那边叫XP1024；

而下图介绍了第三代基于Histar交换架构H系企业级存储器，这次不叫闪电系列了，改名叫USP（Universal Storage Platform）系列了。可以看到存储器缓存交换机系统带宽从15.9GB/sec升级到了81GB/sec，包括USP和NSC55两个型号。其中NSC55最大支持240块磁盘，HP管叫XP10000；而USP最大支持1152块磁盘，HP那边叫XP12000。可能有看官会问，怎么一下子从512、1024跳到12000去了，难不成这个东东能够支持12000块磁盘？

这其实是一共HP公司一个相当高明的比喻手法，因为从这一代开始这个存储器可以支持通过虚拟化存储的技术外接第三方存储器，所以总体支持的磁盘数量跨越了单台存储机箱的限制而大大增加了（就像飞流直下三千尺难不成李白同学还亲自量过那个瀑布有三千尺的落差？）

第四代基于Hi-star交换架构的企业级存储器

到了2007年，H系又再次更新到第四代基于Hi-star交换架构的企业级存储器，这次仍然是两款存储器产品USP V和USP VM系列（这一代的主要特点是增加了对于精细化预分配的支持，因此名字里面加了一个V）。可以看到存储器缓存交换机系统带宽从81GB/sec升级到了106GB/sec，HP这边管它们叫XP24000和XP20000。

下图是H系公司企业级存储更新发布的总览。

H系公司企业级存储更新发布的总览

补充说明：前阵子笔者主持一个云存储用户大会，据中国惠普一个存储高层领导透露，HP公司将要将存储器整合重新命名。比如所有存储阵列都叫HP Storageworks P系列，那么原来的HP XP系列将属于P9000系列，HP EVA好像是属于P6000系列，HP MSA2000将属于P2000系列，而前几年收购的Lefthand公司的产品是属于P4000系列，不知道有没有给新收购的H3C的IX3000和IX1000系列留下位置？莫非就叫P1000和P3000系列？而所有的磁带库都叫A系列，所有的NAS叫X系列，因此大家在采购各家存储厂商的产品的时候请注意一下其最新的命名规则。