标签: NVMe

SSD优势 与机械硬盘（Hard Disk Driver, HDD）相比，基于Flash的SSD具有更快的数据随机访问速度、更快的传输速率和更低的功耗优势，已经被广泛应用于各种计算领域和存储系统。SSD最初遵循为HDD设计的现有主机接口协议，例如串行高级技术附件（Serial Advanced Technology Attachment, SATA）和串行附加SCSI（SAS）协议，随着SSD的不断发展，这些接口协议已成为关键的性能瓶颈。为了解决这一问题，存储供应商制定了一种新的接口规范，即NVMe协议。 NVMe协议必要性 NVMe协议是专为PCIe接口的SSD而设计的，旨在充分利用SSD内部的并行性实现可扩展性、高吞吐量和低延迟的目标。相较于SATA协议，NVMe协议具有以下几点优势：管理更高效、功能性更强、I/O效率更高、读写延迟和功耗更低。由于NVMe SSD与HDD和SATA/SAS SSD相比具有卓越的性能优势，云平台和数据中心已经开始为大量I/O密集型应用程序提供NVMe SSD。随着NVMe协议的不断完善，推出了NVMe-oF（NVMe over Fabrics）协议。NVMe-oF协议进一步扩展了NVMe协议在网络传输中的应用，该协议定义了使用多种通用的传输层协议来进行数据的传输，包括FC、InfiniBand、RoCE V2、iWARP和TCP。随着协议的不断完善，越来越多的系统和应用采用NVMe存储接口的SSD，这种技术将成为未来存储领域的主流。 NVMe研究进展 目前，一些国内外学者将NVMe SSD应用于嵌入式存储设备。例如Opsero公司的Jeff Johnson在Zynq上挂载NVMe SSD，借助Linux系统中的NVMe驱动程序实现了对NVMe SSD的控制，并在Zynq-7z030芯片上进行了测试，写速度为84.7 MB/s。西安电子科技大学的王琳琳基于Zynq完成了NVMe SSD的读写控制，通过在的PS端运行Linux系统，在PL端通过PCIe硬核IP连接NVMe SSD，实现了135 MB/s的写入速度和143 MB/s的读取速度。 将NVMe SSD应用于嵌入式存储设备相较于SATA SSD可以有效的提高系统的传输性能，但在嵌入式操作系统中，通过NVMe驱动程序来控制NVMe SSD，其性能与嵌入式CPU的主频以及软件协议栈的执行流程密切相关。NVMe Host端的命令需要经过文件系统层、块设备层、驱动层等多个层次的处理，同时NVMe协议栈中的队列设计、乱序执行、完成信息检查等流程也十分复杂，加之嵌入式处理器主频较低，使得其响应速度较慢，无法充分发挥NVMe SSD的速度优势。若想要在嵌入式系统中充分发挥NVMe协议的高速读写性能，一方面可以通过优化软件执行流程，来提高传输性能，但嵌入式处理器的性能较低，性能提升空间有限。另一方面可以通过硬件逻辑的方式来实现软件驱动程序。相较于软件的顺序执行，硬件电路可以通过并行执行来大幅度提高系统性能，这种方式更能充分发挥出NVMe协议高度并行的特点。

NVMe IP放弃XDMA原因 选用XDMA做NVMe IP的关键传输模块，可以加速IP的设计，但是XDMA对于开发者来说，还是不方便，原因是它就象一个黑匣子，调试也非一番周折，尤其是后面PCIe4.0升级。 因此决定直接采用PCIe设计，虽然要费一番周折，但是目前看，还是值得的，uvm验证也更清晰。 PCIe 请求模块设计 请求模块的具体任务是将系统的请求转换成为axis接口形式的TLP或配置管理接口信号。这些请求主要包含初始化配置请求和门铃写请求。初始化配置请求由初始化模块发起，当配置请求的总线号为0时，请求通过Cfg_mgmt接口发送给PCIE集成块；当配置请求的总线号不为0时，请求以PCIe配置请求TLP的格式从axis_rq接口发送到PCIE集成块，然后由硬核驱动数据链路层和物理层通过PCIe接口发送给下游设备，下游设备的反馈通过axis_rc接口以Cpl或CplD的形式传回。门铃写请求由NVMe控制模块发起，请求以PCIe存储器写请求TLP的格式从axis_rq接口交由PCIE集成块发送。 由于发起请求的模块存在多个，并且在时间顺序上初始化模块先占用请求，NVMe控制模块后占用请求，不会出现请求的竞争，因此设置一条内部请求总线用于发起请求和接收响应，该请求总线也作为请求模块的上游接口。请求模块的请求总线接口说明如表1所示。无论是配置请求还是门铃写请求，请求的数据长度都只有一个双字，因此设置读写数据位宽均为32比特。 表1 请求总线接口 在接收到请求总线接口的请求事务后，当请求类型的值为0时，表示通过PCIE集成块的配置管理接口发送请求，由于请求接口的接口和时序与配置管理接口基本一致，因此此时直接将请求接口信号驱动到配置管理接口完成请求的发送，请求读数据和响应也通过选通器连接到配置管理接口。当请求类型值不为0时，则需要将请求转换为TLP以axis接口形式发送，这一过程通过请求状态机实现，请求状态机的状态转移图如图2所示。 图2 PCIe请求状态转移图 各状态说明如下： IDLE：空闲状态，复位后的初始状态。当请求写有效或请求读有效，且请求类型值不为0时，如果请求写有效跳转到WR_HEAD状态，如果请求读有效或读写同时有效跳转到RD_HEAD状态，否则保持IDLE状态。实际的上层设计中读写请求不会同时发生，这里的状态跳转条件增加了读优先设计，从而避免异常情况的出现。 WR_HEAD：请求写TLP头发送状态。该状态下根据请求类型、请求地址组装写请求的TLP报文头部，并将报文头部通过axis_rq接口发送。当axis_rq接口握手时跳转到WR_DATA状态。 WR_DATA：请求写TLP数据发送状态。该状态下将请求写的数据通过axis_rq接口发送，当axis_rq接口握手时跳转到DONE状态。 RD_HEAD：请求读TLP头发送状态。该状态下组装读请求TLP报头通过axis_rq接口发送，当接口握手时跳转到RD_DATA状态。 RD_DATA：请求读CplD接收状态。该状态下监测axis_rc接口信号，当出现数据传输有效时，启动握手并接受数据，然后跳转到DONE状态。 DONE：请求完成状态。该状态下使能req_ack请求响应信号，如果是读请求同时将RD_DATA状态下接收的数据发送到req_rdata请求读数据接口。一个时钟周期后回到IDLE状态。

NVMe IP放弃XDMA原因 选用XDMA做NVMe IP的关键传输模块，可以加速IP的设计，但是XDMA对于开发者来说，还是不方便，原因是它就象一个黑匣子，调试也非一番周折，尤其是后面PCIe4.0升级。因此决定直接采用PCIe设计，虽然要费一番周折，但是目前看，还是值得的，uvm验证也更清晰。 视频demo见B站：搜用户名： 专注与守望 或链接： https://space.bilibili.com/585132944/upload/video PCIe 加速模块设计 PCIe 加速模块负责处理PCIe事务层，并将其与NVMe功能和AXI接口直接绑定。如图1所示，PCIe加速模块按照请求发起方分为请求模块和应答模块。请求模块负责将内部请求事务转换为配置管理接口信号或axis请求方请求接口信号（axis_rq），以及解析 axis 请求方完成接口信号（axis_rc）；应答模块负责接收axis完成方请求接口信号（axis_cq），将请求内容转换为AXI4接口信号或其它内部信号 做进一步处理，同时将应答事务通过axis完成方完成接口axis_cc）发送给PCIE集成块. 图1 PCIe加速模块结构和连接关系图 PCIe 加速模块不仅承担了TLP与其它接口信号的转换功能，也是降低传输延迟增加吞吐量的核心部件。接下来分别对请求模块和应答模块的结构设计进行具体分析。 PCIe 请求模块设计 请求模块的具体任务是将系统的请求转换成为axis接口形式的TLP或配置管理接口信号。这些请求主要包含初始化配置请求和门铃写请求。初始化配置请求由初始化模块发起，当配置请求的总线号为0时，请求通过Cfg_mgmt接口发送给PCIE集成块；当配置请求的总线号不为0时，请求以PCIe配置请求TLP的格式从axis_rq接口发送到PCIE集成块，然后由硬核驱动数据链路层和物理层通过PCIe接口发送给下游设备，下游设备的反馈通过axis_rc接口以Cpl或CplD的形式传回。门铃写请求由NVMe控制模块发起，请求以PCIe存储器写请求TLP的格式从axis_rq接口交由PCIE集成块发送。 由于发起请求的模块存在多个，并且在时间顺序上初始化模块先占用请求，NVMe控制模块后占用请求，不会出现请求的竞争，因此设置一条内部请求总线用于发起请求和接收响应，该请求总线也作为请求模块的上游接口。请求模块的请求总线接口说明如表1所示。无论是配置请求还是门铃写请求，请求的数据长度都只有一个双字，因此设置读写数据位宽均为32比特。 表1请求总线接口 在接收到请求总线接口的请求事务后，当请求类型的值为0时，表示通过PCIE集成块的配置管理接口发送请求，由于请求接口的接口和时序与配置管理接口基本一致，因此此时直接将请求接口信号驱动到配置管理接口完成请求的发送，请求读数据和响应也通过选通器连接到配置管理接口。当请求类型值不为0时，则需要将请求转换为TLP以axis接口形式发送，这一过程通过请求状态机实现，请求状态机的状态转移图如图2所示。 图2 PCIe请求状态转移图 各状态说明如下： IDLE：空闲状态，复位后的初始状态。当请求写有效或请求读有效，且请求类型值不为0时，如果请求写有效跳转到WR_HEAD状态，如果请求读有效或读写同时有效跳转到RD_HEAD状态，否则保持IDLE状态。实际的上层设计中读写请求不会同时发生，这里的状态跳转条件增加了读优先设计，从而避免异常情况的出现。 WR_HEAD：请求写TLP头发送状态。该状态下根据请求类型、请求地址组装写请求的TLP报文头部，并将报文头部通过axis_rq接口发送。当axis_rq接口握手时跳转到WR_DATA状态。 WR_DATA：请求写TLP数据发送状态。该状态下将请求写的数据通过axis_rq接口发送，当axis_rq接口握手时跳转到DONE状态。 RD_HEAD：请求读TLP头发送状态。该状态下组装读请求TLP报头通过axis_rq接口发送，当接口握手时跳转到RD_DATA状态。 RD_DATA：请求读CplD接收状态。该状态下监测axis_rc接口信号，当出现数据传输有效时，启动握手并接受数据，然后跳转到DONE状态。 DONE：请求完成状态。该状态下使能req_ack请求响应信号，如果是读请求同时将RD_DATA状态下接收的数据发送到req_rdata请求读数据接口。一个时钟周期后回到IDLE状态。

扩展 AWS 上功能丰富、经济高效的块存储方案的可用性 全球首家可为任何云环境提供软件定义 NVMe® 数据平台的领先企业 Lightbits® 日前 宣布： Lightbits 云数据平台现已可在 Amazon Web Services （ AWS ）上预先使用。当与亚马逊存储优化的弹性计算云（ Amazon Storage Optimized Elastic Compute Cloud ， Amazon EC2 ）实例一起使用时，这些实例利用内置 AI 加速器的英特尔 ® 至强可扩展处理器或 AWS Graviton 处理器， Lightbits 可提供企业级的弹性块存储方案，与其他基于云的块存储解决方案相比，该方案易于使用并能提供更高的成本效益。 Lightbits 方案可为那些想要在 AWS 上合理调整其块存储方案，同时提高性能和运行 IO 密集型数据库和分析应用程序的企业组织提供了巨大的价值。 Lightbits 提供了云原生和冗余 NVMe/TCP 存储 ， 具有企业级的、丰富的数据服务、弹性、高性能和可扩展性的无与伦比的组合，简化了数据库和分析应用程序的基础设施管理和运行。通过 AWS Marketplace 或基于 AMI 的设置、自动升级和自动修复功能， Lightbits 存储方案非常易于使用和安装。而且它还具有压缩、精简配置和自动扩展功能，可实现最大的容量规划效率 —— 无需再担心空间不足或合理分配容量或性能。此外， Lightbits 满足了 VMware 和 Openstack 工作负载不断增长的需求，同时也为 Kubernetes 提供了完整的云原生持久性存储集成方案。对于采用混合型云技术实现的 IT 机构而言， Lightbits 提供了一个统一的存储命名空间，无论数据是存储在本地还是在 AWS 上。 Lightbits 首席技术推介官 Amir Michael 表示：“通过 AWS 上的 Lightbits 云数据平台，我们可以为客户提供所需的云原生、软件定义和支持 NVMe 的解决方案，以提高他们的运行效率和性能。 AWS 上的 Lightbits 方案提供了无可比拟的可扩展性、丰富的企业功能和性能，同时显著降低了资本支出（ CAPEX ）和运营成本（ OPEX ）。 客户可以部署要求最苛刻的应用程序，而不必担心 IOPS 或存储容量不够用。” 与公有云上其他受欢迎的块存储解决方案相比， Lightbits 集群方案将显著提高成本效益和性能。 Lightbits 方案在效率、经济性和性能方面都具有优势。客户只需为他们所使用的东西付费，而不必为他们所提供的东西付费。 Lightbits 凭借超过 1.5M/ 卷 IOPS 、快照和克隆、以及高速恢复功能来满足应用需求，并且不需要按使用量收费。 英特尔数据中心和人工智能业务创新事业部副总裁兼总经理 Niv Zilberman 说道：“英特尔处理器为部署在 AWS 上的许多云计算服务奠定了基础。使用在由英特尔至强可扩展处理器支持的 Amazon Storage Optimized EC2 实例上的 Lightbits 方案，可为 IT 企业提供一个更快、更安全、更具成本效益的云存储平台，以加速创新。企业 IT 部门需要能够在组合、多云环境中运行的解决方案，因此我们很高兴与 Lightbits 合作，将他们的解决方案组合扩展到 AWS Marketplace 。” 供货 Lightbts 方案现已可在 AWS Marketplace 上进行 免费试用 和预览，如需更多信息，请联系 info@lightbitslabs.com 。 其他资源： ● 介绍 AWS 上的 Lightbits ● AWS 上的 Lightbits 概览 ● 如何将 Lightbits 集群方案部署到 AWS Marketplace 关于 Lightbits Labs Lightbits Labs® （ Lightbits ）的使命是为任何云环境提供简单、可扩展且经济高效的高性能块存储。 Lightbits 提供了一个云数据平台，可为现代数据中心提供效率、简易性和敏捷性。作为 NVMe® over TCP （ NVMe/TCP ）协议的发明者， Lightbits 开发的软件定义存储方案易于大规模部署，且可以提供与本地闪存相当的性能，从而能加速裸金属、虚拟或容器化环境中云原生应用，并引领数据中心的数字化转型。 Lightbits 、 Lightbits Labs 和 Lightbits SuperSSD 是 Lightbits Labs, Ltd. 的注册商标。 NVMe® 和 NVMe®/TCP 文字标志是 NVM Express 组织在美国和其他国家 / 地区注册或未注册的服务商标。版权所有。未经授权，严禁使用。 英特尔、英特尔标志和其他英特尔标识是英特尔公司或其子公司的商标。 Amazon Web Services 、 AWS 和 AWS 标志都是 Amazon Web Services 或其子公司的商标。 所有其他商标和版权均为其各自所有者的财产。

新的投资证明Lightbits作为软件定义存储领域的领先平台，可以为云原生数据中心发展提供充足动力 全球率先提供适用于任何云环境的软件定义NVMe®数据平台的领先企业Lightbits®今日宣布，公司已成功筹集 4200 万美元成长资本。新投资者Atreides Management领投本轮融资，其他投资者包括摩根大通(J.P. Morgan)、Valor Equity Partners、Eyal Ofer的O.G. Tech、盈科拓展集团(PCG)创始人兼主席李泽楷(Richard Li)，以及现有的投资者等。加上本次融资，Lightbits公司自 2016 年成立以来已筹集到超过 1 亿美元的资金。 Atreides Management的管理合伙人兼首席投资官 Gavin Baker 表示：“在当今数据驱动的市场中，企业和 数据中心 客户越来越注重实现卓越的性能、可扩展性和经济效益。Lightbits已经在解耦合存储解决方案领域建立了自己的明确领导地位——已准备好利用其云原生数据平台来满足加快的客户需求。我们很高兴能在Lightbits公司发展的关键阶段与其团队进行合作。” 随着公司投资于创新和扩展，新的投资将用于推动Lightbits云数据平台的发展。Lightbits由 NVMe/TCP 标准的发明者创立，为世界带来了适用于任何云环境(私有云、公有云和边缘云)的解耦合、可组合式块存储方案。Lightbits的方案可与现有操作系统、网络和任何硬件配合使用，从而为基于裸金属、VMware、Kubernetes或OpenStack环境的混合多云实现简化存储。原生NVMe/TCP 架构，加上创新的智能闪存管理(Intelligent Flash Management)，可以解决当今数据中心普遍存在的复杂性和高成本问题。 “过去两年发生的前所未有的事件，以及供应链紧张造成的影响，让众多机构对其数据基础设施产生了不同的想法，从而迅速加快了云解决方案的采用。云服务提供商(CSP)和拥有私有云的信息技术(IT)机构面临着巨大的压力，他们要实现盈利且跟上不断增长的业务需求，同时要提供快速、弹性、安全的服务。”Lightbits Labs 联合创始人兼主席 Avigdor Willenz说道。“Lightbits发明了NVMe/TCP，并引领定义了一种简单、灵活、高效的云原生存储架构。提供这些好处可以显著提高我们企业客户的竞争优势。本次投资和我们持续的成长是对我们的战略、杰出团队及使命的充分肯定，将推动我们通过提供易于使用、可扩展、高效的软件定义存储来持续引领云原生 数据中心 的转型。” Lightbits 消除了存储的复杂性，这与其他NVM Express over Fabrics(NVMe-oF)实现方式不同，它们需要光纤通道或者基于RoCE 协议的远程直接数据存取(RDMA)，以及专门的网卡和驱动程序。Lightbits存储解决方案简单、灵活且易于在无处不在的TCP/IP网络上大规模部署，同时存储节点上无需特殊的硬件、网卡(NIC)、驱动程序或管理程序。如今，许多财富1000强机构都在使用Lightbits存储方案，其中包括几家世界上最大的金融服务公司、电子商务提供商、Webscaler和云服务提供商，这将帮助他们响应日益增长的对快速、弹性、安全云服务的业务需求，从而最大限度地提升盈利能力并提高利润。 “超过 90% 的公司有数字化转型需求，这正在推动另一项需求产生，即需要存储系统具备更高的敏捷性、性能和容量，反过来，这又会推动云服务和基于NVMe的固态存储在企业中广泛部署。”IDC基础设施系统、平台和技术事业部研究副总裁Eric Burgener表示。“诸如Lightbits这样的软件定义、解耦合企业存储解决方案为那些需要为自己的客户提供敏捷、高性能存储服务的云服务提供商奠定了很好的基础，而Lightbits拥有市场上最成熟的 NVMe over TCP实现方案这一事实，也会进一步帮助云服务提供商将自己的‘具有成本效益的性能’故事演绎得更加精彩。” Lightbits最近获得了多项行业大奖，包括年度数据存储创新奖、BIG创新奖、存储技术开拓者奖、50大初创公司以及Coldago Research 2022年度GEM名单。这些成绩凸显了Lightbits公司在行业中的发展势头，Lightbits可以提供无与伦比的云存储方案以及对企业具有价值的功能和服务，从而为IT机构提供强大的平台来支持高性能数据库和分析工作负载。