标签: ssd

AI 训练的新瓶颈不是 GPU，而是数据供应 在 AI 模型规模急速膨胀的当下，企业往往将焦点锁定在 GPU 的运算能力，随着 GPU 运算能力不断地向上提升，全新的挑战也开始一一浮现。一旦数据无法实时送达，储存系统无法实时「喂饱」GPU，昂贵的 GPU 算力资源便只能闲置空转。根据研究显示，在大型 AI 训练中，I/O 等待时间可能就占据了 30% 以上的总训练时间，直接拖慢模型收敛速度不说，更成为降低投资报酬率的隐形杀手。 然而，传统的储存效能验证多半着重于 IOPS、吞吐量等单点指标，难以反映真实 AI 训练的数据行为。当储存系统无法跟上数据需求时，纵使GPU 再强大，却也只能被迫闲置，造成训练时间拉长、成本上升、效能不稳定等诸多风险。 MLPerf Storage：AI储存效能测试新标竿 为了有效克服这个难题，由MLCommons所制定的国际标准测试 「MLPerf Storage」 便应运而生，专门评估 AI 训练过程中的储存系统效能，企业方可透过统一规范进行不同储存方案的效能比较。 MLPerf Storage与MLPerf Training、MLPerf Inference同属于MLCommons基准检验家族，MLPerf Storage 专注于仿真真实 AI 训练的数据存取模式，而非单纯的 IOPS 或吞吐量检测。并采用虚拟加速器（Virtual Accelerators）来仿真 GPU 的数据请求模式，取代实体 GPU，藉此将评估焦点锁定在储存系统本身的效能表现，以避免受到 GPU 计算能力差异的干扰，精确揭示 I/O 与数据传输环节的潜在瓶颈。 图片出处：MLCommons 主要工作负载 测试指标 Training Throughput (samples/sec)：每秒可处理的训练样本数，直接影响模型收敛速度。 Training I/O Throughput (MB/sec)：数据传输速率，反映储存系统能否「喂饱」GPU。 Accelerator Utilization (AU%)：GPU 忙碌比例，越高代表投资效益越佳。 【实测案例】SSD产品在不同AI训练场景下的效能差异分析 在MLPerf Storage 验证环境中，我们针对企业级 SSD 进行了多项工作负载评估，并涵盖 ResNet50、3D U-Net与 CosmoFlow 等AI 训练场景，藉此真实反映不同数据型态（小图像、中型科学数据、大型医学影像）对储存系统的需求。本次实测主要透过模拟 NVIDIA A100 / H100 GPU 的数据存取行为，因此不需要实际 GPU，即可 重现真实 AI 训练的 I/O 模式 。 下图是使用 U-Net3D 这个模型，运行4,000个 Dataset sample 下的 Storage Training I/O Throughput (MB/sec) 比较结果。从图中我们可以看到，B 型号 SSD 的 I/O Throughput 表现明显优于 A 型号，不仅能更快速地供应训练数据，进而缩短整体训练时间。足于证明了储存效能对 AI 训练效率的直接影响。 引入MLCommons制定的MLPerf Storage国际标准，透过虚拟加速器（Virtual Accelerators）精准仿真 GPU 的数据请求模式，完整重现AI训练过程中的I/O行为。让产品开发初期即可掌握储存系统在真实训练负载下的表现，而非依赖传统检测的理想化数据。

除了效能数据，SSD效能稳定度也同等重要 在SSD( 固态硬盘)已经普及化的现在，相信只要曾经使用过SSD系统的用户，都能体会到SSD有别于传统HDD的高速读写效能。目前一般SSD厂商大多使用固定且制式化的效能测试方式来宣称其效能卓越。 虽然效能数据的高低对于用户来说绝对有其重要性，但对于高频率的用户来说，SSD的效能稳定度往往是另一个更值得观察的重要指标。毕竟在一般用户的使用情况下，又或者是在服务器中的运作情形，都不会是只有固定的连续/随机读取，往往还会有不同数据大小以及host端发出的不同序列深度，而这些都会大大地影响SSD的效能表现。换句话说，固定制式的效能测试结果虽然可以带来单纯的效能数据比较，但对于要在复杂且多样化的使用环境下进行效能评估，我们并无法直接地从该测试结果得出结论；更别说在现今需求激增的影音创作及游戏竞技需求的使用者情境中了。 用户情境实例分享：SSD在真实用户情境下的实际负载表现 首先，我们必须要先知道该特定环境的实际读写情形分布为何，我们可以透过IO trace的方式，针对特定的应用情境，实际从旁侧录其工作情形，并将其实际负载过程内容透过数据分析及解析其读写分布。经由这套效能分析程序，我们便可针对不同使用环境下的SSD实际读写情况进行分析。一般大众较常见的使用情境通常会有 在线影音剪辑与编辑、执行电脑游戏、文书处理办公、IT人员编辑程序、工作站大型影像编辑处理以及学生日常使用 等等，接下来我们将透过两个时下最为热门的使用者情境，与大家进行实际案例的分享。 A.在线影音创作者：SSD Random Write(随机写入)需求高 为了达到定期更新内容的目标，在线影音及内容创作者随时会需要大量地剪辑及输出影音，这也使得他们对SSD的部份存取次数相对来得较为频繁。从下列的统整图表中即可得知，写入比例占了大多数，高达近80%左右。 接着我们来探究一下占比最高的 Random Write(随机写入) 的部份细部占比数据，可以发现到主要分布在4KB ~ 128KB block size之间，其占比约60%，而另一个分布128KB ~ 1024KB的则约占30%，光这两部份合计就约占90%。因此我们可以得知，影音创作者的使用需求大多着重在写入行为部份，尤其是在中间偏小的随机写入区块部份。 B.电竞玩家：SSD随机读取 (Random Read) 不可少 在家庭电脑中，有一部份的重度使用者会使用电脑来专门执行电脑游戏，也就是我们俗称的「电竞玩家」族群，这部份的玩家大多会追求更高速的数据读取，更实时的反应。藉由实际侧录玩家执行电玩游戏行为之后，我们可以透过数据来观察实际读写情况是否如同我们对电竞玩家的想象。 从下方的数据图表中我们可以发现，读取行为的比例为最大宗，将近有七成左右都是在进行读取数据。其中Random Read(随机读取)就高达半数左右(48.92%)。接着我们来分析Random Read(随机读取) 的细部占比，可以看到随机读取的区块大小分布较广，其中占比较高的部份是128KB ~ 1024KB以及4KB ~ 128KB block size之间。从以上数据可以得知，对于执行电脑游戏的应用情境来说，SSD会需要更频繁地进行读取动作。读取区块大小则大致分布在4KB ~ 1024KB中间。 从以上两个实际案例可以得知，若只是利用单一制式化的效能测试，并不能真实地呈现实际应用下的效能指标，同时也将容易产生与实际应用场景效能呈现落差的盲点。虽然一般用户可能在体感上感受不到太大的差异，但对于需要进行较频繁的数据存取，或者是存取数据容量较大的用户来说，这些细微的效能落差就足以让使用者感受到SSD的实际效能与厂商所标榜的效能数值不一致。

除了效能数据，SSD效能稳定度也同等重要 在SSD( 固态硬盘)已经普及化的现在，相信只要曾经使用过SSD系统的用户，都能体会到SSD有别于传统HDD的高速读写效能。目前一般SSD厂商大多使用固定且制式化的效能测试方式来宣称其效能卓越。 虽然效能数据的高低对于用户来说绝对有其重要性，但对于高频率的用户来说，SSD的效能稳定度往往是另一个更值得观察的重要指标。毕竟在一般用户的使用情况下，又或者是在服务器中的运作情形，都不会是只有固定的连续/随机读取，往往还会有不同数据大小以及host端发出的不同序列深度，而这些都会大大地影响SSD的效能表现。换句话说，固定制式的效能测试结果虽然可以带来单纯的效能数据比较，但对于要在复杂且多样化的使用环境下进行效能评估，我们并无法直接地从该测试结果得出结论；更别说在现今需求激增的影音创作及游戏竞技需求的使用者情境中了。 用户情境实例分享：SSD在真实用户情境下的实际负载表现 首先，我们必须要先知道该特定环境的实际读写情形分布为何，我们可以透过IO trace的方式，针对特定的应用情境，实际从旁侧录其工作情形，并将其实际负载过程内容透过数据分析及解析其读写分布。经由这套效能分析程序，我们便可针对不同使用环境下的SSD实际读写情况进行分析。一般大众较常见的使用情境通常会有 在线影音剪辑与编辑、执行电脑游戏、文书处理办公、IT人员编辑程序、工作站大型影像编辑处理以及学生日常使用 等等，接下来我们将透过两个时下最为热门的使用者情境，与大家进行实际案例的分享。 A.在线影音创作者：SSD Random Write(随机写入)需求高 为了达到定期更新内容的目标，在线影音及内容创作者随时会需要大量地剪辑及输出影音，这也使得他们对SSD的部份存取次数相对来得较为频繁。从下列的统整图表中即可得知，写入比例占了大多数，高达近80%左右。 接着我们来探究一下占比最高的 Random Write(随机写入) 的部份细部占比数据，可以发现到主要分布在4KB ~ 128KB block size之间，其占比约60%，而另一个分布128KB ~ 1024KB的则约占30%，光这两部份合计就约占90%。因此我们可以得知，影音创作者的使用需求大多着重在写入行为部份，尤其是在中间偏小的随机写入区块部份。 B.电竞玩家：SSD随机读取 () 不可少 在家庭电脑中，有一部份的重度使用者会使用电脑来专门执行电脑游戏，也就是我们俗称的「电竞玩家」族群，这部份的玩家大多会追求更高速的数据读取，更实时的反应。藉由实际侧录玩家执行电玩游戏行为之后，我们可以透过数据来观察实际读写情况是否如同我们对电竞玩家的想象。 从下方的数据图表中我们可以发现，读取行为的比例为最大宗，将近有七成左右都是在进行读取数据。其中Random Read(随机读取)就高达半数左右(48.92%)。接着我们来分析Random Read(随机读取) 的细部占比，可以看到随机读取的区块大小分布较广，其中占比较高的部份是128KB ~ 1024KB以及4KB ~ 128KB block size之间。从以上数据可以得知，对于执行电脑游戏的应用情境来说，SSD会需要更频繁地进行读取动作。读取区块大小则大致分布在4KB ~ 1024KB中间。 从以上两个实际案例可以得知，若只是利用单一制式化的效能测试，并不能真实地呈现实际应用下的效能指标，同时也将容易产生与实际应用场景效能呈现落差的盲点。虽然一般用户可能在体感上感受不到太大的差异，但对于需要进行较频繁的数据存取，或者是存取数据容量较大的用户来说，这些细微的效能落差就足以让使用者感受到SSD的实际效能与厂商所标榜的效能数值不一致。

SSD优势 与机械硬盘（Hard Disk Driver, HDD）相比，基于Flash的SSD具有更快的数据随机访问速度、更快的传输速率和更低的功耗优势，已经被广泛应用于各种计算领域和存储系统。SSD最初遵循为HDD设计的现有主机接口协议，例如串行高级技术附件（Serial Advanced Technology Attachment, SATA）和串行附加SCSI（SAS）协议，随着SSD的不断发展，这些接口协议已成为关键的性能瓶颈。为了解决这一问题，存储供应商制定了一种新的接口规范，即NVMe协议。 NVMe协议必要性 NVMe协议是专为PCIe接口的SSD而设计的，旨在充分利用SSD内部的并行性实现可扩展性、高吞吐量和低延迟的目标。相较于SATA协议，NVMe协议具有以下几点优势：管理更高效、功能性更强、I/O效率更高、读写延迟和功耗更低。由于NVMe SSD与HDD和SATA/SAS SSD相比具有卓越的性能优势，云平台和数据中心已经开始为大量I/O密集型应用程序提供NVMe SSD。随着NVMe协议的不断完善，推出了NVMe-oF（NVMe over Fabrics）协议。NVMe-oF协议进一步扩展了NVMe协议在网络传输中的应用，该协议定义了使用多种通用的传输层协议来进行数据的传输，包括FC、InfiniBand、RoCE V2、iWARP和TCP。随着协议的不断完善，越来越多的系统和应用采用NVMe存储接口的SSD，这种技术将成为未来存储领域的主流。 NVMe研究进展 目前，一些国内外学者将NVMe SSD应用于嵌入式存储设备。例如Opsero公司的Jeff Johnson在Zynq上挂载NVMe SSD，借助Linux系统中的NVMe驱动程序实现了对NVMe SSD的控制，并在Zynq-7z030芯片上进行了测试，写速度为84.7 MB/s。西安电子科技大学的王琳琳基于Zynq完成了NVMe SSD的读写控制，通过在的PS端运行Linux系统，在PL端通过PCIe硬核IP连接NVMe SSD，实现了135 MB/s的写入速度和143 MB/s的读取速度。 将NVMe SSD应用于嵌入式存储设备相较于SATA SSD可以有效的提高系统的传输性能，但在嵌入式操作系统中，通过NVMe驱动程序来控制NVMe SSD，其性能与嵌入式CPU的主频以及软件协议栈的执行流程密切相关。NVMe Host端的命令需要经过文件系统层、块设备层、驱动层等多个层次的处理，同时NVMe协议栈中的队列设计、乱序执行、完成信息检查等流程也十分复杂，加之嵌入式处理器主频较低，使得其响应速度较慢，无法充分发挥NVMe SSD的速度优势。若想要在嵌入式系统中充分发挥NVMe协议的高速读写性能，一方面可以通过优化软件执行流程，来提高传输性能，但嵌入式处理器的性能较低，性能提升空间有限。另一方面可以通过硬件逻辑的方式来实现软件驱动程序。相较于软件的顺序执行，硬件电路可以通过并行执行来大幅度提高系统性能，这种方式更能充分发挥出NVMe协议高度并行的特点。

引言 在当今信息化和数字化的时代，数据存储的需求不断攀升，企业对高性能、高可靠性的存储解决方案的渴望也愈加明显。KCD81RUG1T92固态硬盘（SSD）作为企业级存储产品的佼佼者，以其卓越的性能和丰富的功能，正在重新定义企业数据存储的标准。本文将深入探讨KCD81RUG1T92的技术特点、性能优势及其在实际应用中的表现。 1. 技术规格 KCD81RUG1T92是一款基于最新NAND闪存技术的企业级SSD，采用PCIe 4.0接口，提供极高的数据传输速率和出色的随机读写性能。其主要技术规格如下： 接口类型 ：PCIe 4.0 存储容量 ：可选2TB、4TB、8TB、16TB 读取速度 ：最高可达7000 MB/s 写入速度 ：最高可达3500 MB/s 耐用性 ：MTTF（平均无故障时间）超过250万小时 功耗 ：待机功耗低于5W，工作功耗在6W-8W之间 这种高性能的设计使得KCD81RUG1T92非常适合需要快速数据处理和高并发访问的应用场景，如云计算、大数据分析和虚拟化环境等。 2. 性能优势 2.1 速度与效率 KCD81RUG1T92的PCIe 4.0接口使其在数据传输速度上超越了许多传统的SATA SSD。与上一代PCIe 3.0产品相比，其读取速度提高了约两倍，这对于处理大型数据库和高吞吐量的任务尤为重要。同时，快速的写入速度保证了数据在高并发情况下的快速存取，减少了数据瓶颈。 2.2 可靠性与耐用性 企业级SSD在使用寿命和可靠性方面有着更高的要求。KCD81RUG1T92采用了先进的耐用性设计，其MTTF超过250万小时，确保长时间稳定运行。无论是在数据中心还是在关键任务环境中，用户都可以信赖这款SSD的稳定性。 2.3 安全性 数据安全是企业存储的核心关注点。其具备自我监控、分析和报告（SMART）功能，使得用户能够实时监控SSD的健康状态，及时发现潜在问题，从而避免数据丢失。 3. 应用场景 KCD81RUG1T92的设计旨在满足各种企业级应用的需求，包括但不限于： 云计算 ：由于其高吞吐量和低延迟，KCD81RUG1T92非常适合用于云服务平台，支持大规模数据存储和处理。 虚拟化 ：在虚拟化环境中，该SSD能够提供快速的虚拟机启动时间和优异的随机I/O性能，提升整体效率。 大数据分析 ：对于需要处理大量数据的企业来说，KCD81RUG1T92能够加速数据读取和写入，提高数据分析的速度和效率。 数据库存储 ：在数据库应用中，该SSD的高性能特性能够确保快速查询和事务处理，适合高负载的业务场景。 4. 总结 KCD81RUG1T92 SSD作为一款企业级存储解决方案，以其卓越的性能、可靠性和安全性，满足了现代企业对高效数据存储的需求。无论是在云计算、大数据分析还是虚拟化等领域，KCD81RUG1T92都展现出强大的竞争力。未来，随着数据存储需求的持续增长，KCD81RUG1T92必将在企业级市场中发挥越来越重要的作用。选择KCD81RUG1T92，企业将获得一款值得信赖的存储伙伴，为业务发展提供强有力的支持。