标签: SNIA PTS

在 Server SSD效能评估利器 – SNIA PTS篇 中，针对SNIA PTS整个效能验证计划的架构以及验证流程提供详细的说明。让读者们能够对于SNIA PTS架构有初步的理解。本篇将以 SNIA PTS实际应用展示 为各位深入解析。 对于一般使用者，或是OEM厂商而言，该如何评估选择一颗效能可靠且稳定的SSD是令人头痛的事，这时若透过SNIA PTS，便能够详细分析出该颗SSD的效能特性、稳定程度、及延迟反应时间表现等。至于这些一般用来评断SSD好坏的主流指标，就能透过SNIA PTS执行结果得知。在执行完成后，我们便可透过测试结果了解该颗SSD详细数据，利用这些数据便可评估该颗SSD是否合适。虽然SNIA PTS测试步骤复杂，但藉由我们引进的SNIA PTS专业测试设备，便可快速掌握该颗SSD的效能信息。 接着，我们透过实测数据带各位了解该颗SSD的效能数据及其弱点。这次我们选定一颗市面上主流品牌的Gen 4 NVMe SSD，对其进行SNIA PTS基本的三大测项：SNIA IOPS、SNIA TP(throughput)、SNIA LAT(latency)。 透过这三大测项，来深入了解该颗SSD的效能表现。 1.SNIA IOPS SNIA IOPS测试评估随机读取写入性能，涵盖了大多数使用者感兴趣且常应用到的各种读/写 (R/W)和block size组合。在PTS稳态(Steady State)条件下，使用7种Read/Write混合（范围从100％读取到100％写入）和8种block size（范围从0.5 KB到1024 KB）。 测试完成后，透过SNIA结果报告中提供的表格/3D图表，用户可以快速获取各种组合的性能数据。由于测试结果表格较多，挑选几项来探讨该SSD IOPS表现。 从IOPS mix matrix表格中看出，这颗SSD在各种block size下的表现稳定，小档4KB表现不俗。 而这个表格主要是用来计算进入稳态(Steady State)斜率表格，可以看到这颗在进入稳态的这5个测试回合，效能表现稳定，红线的IOPS以及黑线的平均值几乎没有太大的变化。虽然是在第2~6测试回合才进入稳态，不过就其数据来看算是不错的表现。 最后，我们来看所有Read/Write组合的3D表格。透过此3D可以清楚看到，各种block size以及Read/Write比率的效能表现；从效能趋势来看，这颗SSD表现平稳，在4KB的地方，尤其是4KB write，效能比起其他block size还来的优异。 2.SNIA TP SNIA TP吞吐量测试，以PTS稳态(Steady State)条件下，使用100％读取和100％写入方式，进行大的block size循序I/O量测。SNIA TP测量结果如同前一个SNIA IOPS，透过结果报告中数据表格和2D图表中得到量测数据。由于测试结果表格较多，这边一样挑选几个重点表格来探讨该SSD TP表现。 从上面表格来看，这颗SSD throughput吞吐量表现较不稳定，上下起伏大，到了SNIA设置的最大25测试回合还是无法进到稳态，这颗SSD在1024KB下的写入吞吐稳定表现欠佳。 而这个表格主要是用来计算进入稳态(Steady State)斜率表格，可以看到斜率部分已经明显超过定义值上下10%区间，呈现一个无法收敛在稳定区间的型态。而从图表中的slope线条也能看出已明显超过平均值上下10%区间。 而128KB写入部分，从上图一样可以发现到吞吐量表现如同1024KB一样不稳定，上下起伏大，到了SNIA设置的最大25测试回合还是无法进到稳定状态。 3.SNIA LAT SNIA LAT延迟测量测试，一样在稳定状态(Steady State)条件下，进行的随机I/O量测，使用指定的block size和Read/Write组合，撷取平均和最大延迟时间。延迟测量结果同样可以透过SNIA报告中数据表格和2D图表中得到量测数据。在此挑选几个重点表格来探讨该SSD LAT表现。 首先我们来看平均延迟的部分，可以看出虽然在8KB block size的部分第5个测试回合有稍微拉高，不过整体看起来还算表现稳定，并没有延迟时间忽高忽低的情形发生。 接着来看到最大延迟时间的部分，我们可以发现到在512Bytes的部分，在第4、5测试回合之中有拉高的情形发生，而在4KB与8KB部分表现相对稳定。 最后，信赖区间表的部分，信赖区间表显示在特定时间阈值下出现的所有延迟时间的百分比，例如：在哪个时间值下会发生99.99%的IO。较高百分比表示更多的IO能够在较快的时间内完成，这被认为是较好的结果。同时，这意味着该SSD能够更迅速地处理IO操作，提高了性能和效率，这是测试性能优越性的一个重要指标。 本篇就SNIA PTS其中的IOPS、TP、LAT部分，藉由实际的测试结果来解析该颗SSD效能，虽然该颗SSD在IOPS表现稳定，不过在TP，也就是吞吐量测试的过程中，发现其吞吐量并不是特别稳定，不论是在128KB，或者是在1024KB中，都可以发现其吞吐量明显上下跳动，使用者在实际应用存取过程，尤其是写入的部分，在长时间使用下会明显感受到效能不稳定，虽然在一般使用者来说并不会有太大感觉，不过若是在高压读写环境，如服务器的应用中，如此不稳定的吞吐量便会严重影响服务器效能，不可不慎。

服务器产业掀热潮，效能成关键指标 随着云端相关技术的成熟，业界对于服务器架设的需求也逐年提升。除了需求数量提升，相对应的服务器效能需求也随之增加。若服务器的效能没有达到一定水平，使用者便会明显感受到一定程度的不顺畅。举例来说：一般用户在使用在线服务，如网络订票或者浏览影音等，若服务器因负载过大而效能较差的话，使用者便会感受到不顺畅的网络体验，甚至无法顺利完成服务。 评估一台服务器的效能，主要有几个效能指针组件：中央处理器、内存、储存装置、网络卡等。 影响服务器效能的关键：除了中央处理器、内存之外，储存装置也占了非常重要的部份，例如操作系统运行、资料读写存取，若储存装置速度慢，便会整体拖累服务器运转效能。 为了提升服务器处理资料的效能，现今主流服务器已普遍搭载SSD，服务器厂商对于SSD如何挑选，除了价格以外，SSD本身的效能便是另一个重点。SSD效能评测，一般常见的IOmeter、FIO、CrystalDiskMark，可以快速的了解该SSD效能水平，但对于服务器环境下，长时间高频率使用性质，这类评测工具往往只能了解到表面，无法更深入了解SSD在服务器环境下实际表现为何。 针对SSD效能评估，SNIA( Storage Networking Industry Association) 提供了完整效能评估指引。顾名思义，该协会为提供网络相关制造行业所需的技术规范为主，协会制订的相关规范广泛，其中关于SSD效能评估相关规范为” Solid State Storage (SSS)Performance Test Specification (PTS) ”，这项测试规范可以让制造商与客户，在评估挑选SSD储存装置效能时有所依据。虽然本规范中定义的测试规范可以应用于基于任何技术制造(RAM，NAND等)之SSD装置，但本规范尤其在预处理(Preconditioning)和稳定状态方面(Steady State)的重点是面向NAND相关产品。 现今主流的NAND-base SSD存取资料方式，是基于NAND-base的SSD控制器将逻辑地址(LBA)映像到NAND媒体上的物理实体NAND层地址(PBA)，并透过算法管理，以实现最佳的NAND性能以及其寿命。SSD通过独立于主机的SSD控制器来管理这种LBA-to-PBA映射。这些运作的总和被称为闪存管理(flash management)。下图显示了SSD效能变化趋势，对于SNIA PTS测试概念至关重要。一般情况下，刚从包装盒中拿出来的全新SSD(FOB)，在经历短暂的高性能期后，会随着时间增加读写量后，效能下降进入转换阶段(Transition)，最后效能逐渐稳定，转入稳定状态(Steady State)的表现。SNIA PTS目标在确保效能测量在稳定状态区域进行，以代表设备在一般正常工作期间的效能。下图也能理解到，虽然不同SSD效能表现不同，但整体趋势可以看出FOB效能最好，随着时间持续存取，SSD会进入一个效能较低，但稳定(Steady State)的状态。 接着，来了解SNIA PTS五项重点测试概念： 1.稳定状态(Steady State) SNIA PTS效能测试的重点在于 稳定状态 下的效能测试。为何需要搜集稳定状态下的效能数据，协会这边提到两个主因: Ⅰ.确保不会将SSD的初始性能(FOB或Purged)视为“典型数据结果”，因为这对SSD来说为暂时效能表现，不能反映SSD在其多数运行时间下的性能表现情形。 Ⅱ.让测试执行者能够观察其趋势，如，围绕在平均值附近的波动在某种意义上是“稳定”的，但背后可能有其他原因(NAND质量，快取等等)导致其波动较大。 2.清除(Purge) 为了确保每次测试结果的一致性，在每次预处理和测试开始前，必须对SSD进行清除操作，以抹除SSD上所有信息，让SSD回到FOB状态。若被测物SSD不支持任何清除方法，则必须在报告中记载未执行清除动作。 3.预处理(Pre-conditioning) 预处理的目的在于促进测试过程收敛达到稳定状态，SNIA PTS定义了两种类型的预处理条件: Ⅰ.无测试脚本预处理(Workload Independent Pre-conditioning) Ⅱ.测试脚本相依预处理(Workload Dependent Pre-conditioning) 简单来说，无测试脚本预处理使用独立于测试脚本以外的方式进行预处理，而测试脚本相依预处理则是使用测试脚本。虽然基于测试脚本的预处理不是测试流程中的独立步骤（它发生在每个测试的核心测试循环中），但它对于获得有效的稳定状态结果至关重要。 4.可运作范围(Active Range) 在不同测试条件下，SNIA PTS定义了不同的LBA寻址空间，如下图所示，可以看到左边为全部100% LBA，右边为75% LBA空间。 5.PTS测试流程 SNIA PTS测试流程相同(IOPS、Throughput和Latency)，至于其他特定测试流程规范已列于该章节中，这边先不作讨论，测试流程如下: ⑴Purge the device: 清除SSD上面所有资料。 ⑵Run Workload Independent Pre-conditioning: 执行无测试脚本预处理(Workload Independent Pre-conditioning )的动作。一般使用128K SEQ Write 对SSD进行两倍容量写入。 ⑶Run Test (includes Workload Based Pre-conditioning): 测试本体，按照测试脚本中指定的设置测试参数(OIO/Thread、Thread Count、Data Pattern等)，设置完成后，执行测试循环，直到达到Steady State或最多25次循环。根据测试的要求，累积/记录每次循环中间执行过程数据。 ⑷Post process & plot the Rounds data: 测试结果处理与绘制循环资料。这边会有两种情况: a.在25次循环内成功完成测试，假设第X次完成测试，表示该SSD已进入稳定状态，向前推5次(X-4)的这段区间即为量测区间。 b.在25次循环中未能进入稳定状态，则可以选择再次回到步骤3重新执行循环，或者直接用第25次当作稳定状趟。 本篇就SNIA PTS测试概念以及流程带读者导览其中重点内容，从中也可清楚了解到SNIA PTS测试对于server SSD benchmark的重要性，有别于一般测试软件，SNIA PTS更是透过一定时间读写压力，让SSD效能真实呈现。若要评估一颗SSD效能好坏，除了测出该SSD最大效能外，稳定状态下的效能表现我想更具指标意义。