原创 挑战存储“不可能之三角”:用自研技术引领存储性能突破

2024-4-16 17:22 195 2 2 分类: 机器人/ AI

科技云报道原创。


存储,是数字化时代的“粮仓”。它承载着企业的海量数据,是企业数字化转型的基础。


然而,随着非结构化数据在生产业务中的广泛应用,各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价比和高扩展性,却未被赋予高性能的标签。


可以说,分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。

分布式存储的主要优势在于其出色的对象存储能力,但在文件存储的性能表现上,大小文件有所差异。


对于大文件的处理,由于技术壁垒较低,并且许多业界厂商已经针对此进行了深入研发和优化,因此大文件的处理效果相对较好。


然而,分布式存储对于小文件的处理却受限于其开源的Ceph架构,需要处理大量小文件时,元数据管理、存储空间和IO性能等能力跟不上,性能表现并不理想。


至于高性价比,这要求在低成本的同时提供更高的性能和更大的容量。以往业界认为,高性能一定伴随着高成本,但实际上这是对高性能和高成本之间关系的误解。


只有找不到合理有效的优化手段或解决方案时,才可能需要通过增加硬件投入来提高性能。


那么,如何解决分布式存储的“不可能之三角”?


这是一个值得深思的问题,也是一个不小的挑战。现在,在存储赛道上,有一个“老道的新手”用自研技术,成功走到了大容量、高性能、高性价的交集里。


做分布式存储易做好分布式存储难


数字化浪潮汹涌向前,与之同行的是,存储行业也要不断地创新求变。


2018年前后,视频、音频等非结构化数据开始爆炸式增长,特别是在政府、医疗、媒体等领域存在大量的视频数据存储需求,对存储海量数据、存储系统的扩展性提出了新的要求,以集中式架构为主SAN、NAS传统存储瓶颈开始凸显。


存储市场需求的变化,也催化了新技术的爆发。这个时期,分布式存储技术开始在各大厂商之间冒头。


分布式存储将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,从而实现了存储容量的扩展、性能的提升和成本的降低。


2020年,被视为分布式存储爆发元年。根据IDC发布的《中国存储市场季度追踪报告》,2020年中国分布式存储市场规模达到了37.2亿美元,同比增长68.2%。


其中,企业级分布式存储市场规模达到了33.8亿美元,同比增长69.2%。


尽管分布式存储已逐步进入生产领域,但市场的变化,仍在催生新的需求。


最初,市场的焦点主要在于“存下来”,即如何存储日益增长的数据,例如政府的智慧城市项目和医疗影像的长期存储。


对于这类“第二存储、备份归档”等边缘数据场景,分布式存储的低成本、高扩展性能够很好地满足。


随着时间的推进,对存储“高性能”的要求也日益提升,以满足例如医院的PACS阅片场景,实景三维场景,企业EDA场景等应用的需求。


这些应用不仅需要存储海量数据,还要求快速处理和分析这些数据。显然,市场上普遍存在的“大容量但低性能”的分布式存储已跟不上市场的需求。


近年来,随着AI训练、芯片等高精尖产业的快速发展,对存储系统的“综合性能”提出了更高的要求。


这些应用需要的不仅是海量的存储容量,更要能够处理混合负载,即高速的数据处理能力和对不同类型文件的支持。


事实上,在处理“混合负载”这一点上,目前分布式存储产品普遍性能满足不好。


混合负载的特点在于,既包括大文件(比如几百兆甚至几个G的视频文件),也包括很多小文件(比如只有几KB甚至更小的文本文件),当数据量达到一定规模,小文件的处理性能就成为性能瓶颈。


不难发现,分布式存储在一定程度上能够解决传统存储在性能、扩展性方面的问题,但想要实现高性能的目标,依然非常困难。可以说,做分布式存储容易,但做高性能的分布式存储难。


分布式存储想要解决“大容量、高性能、高性价比”的“不可能三角”难题,目前能够完全作答的厂商并不多。


入局存储赛道十年的深信服,正是其中的佼佼者。


坚持自研技术深信服挑战存储“不可能之三角”


2013年,深信服作为国内最早钻研虚拟化技术的云计算厂商之一,凭借虚拟化技术的优势,开始摸索着切入存储赛道,那时深信服内部称之为“虚拟存储”,顾名思义,扮演的角色是深信服桌面云和超融合存储底座支撑。


彼时,经过超融合、桌面云的用户“检验”之后的“虚拟存储”,也日渐成熟。


随着各行各业数据不断增长,深信服看到了用户在小文件场景面临的困扰。2017年开始,深信服决定独立发展存储,加大投入,打造用户真正需要的存储底座。


在与传统存储厂商的竞争中,深信服抢占了先机:一方面,深信服精准把控了市场需求变化;另一方面,通过自研核心高性能架构,实现了弯道超车。


带着对用户需求的深刻洞察,从2020年开始,深信服EDS存储将目光锁定在了主存储领域,专为“高性能大容量文件存储”而生——能支持混合IO负载,兼具大小文件能力,瞄向高精尖场景。


2023年,深信服发布了EDS分布式存储501高性能版本,这在存储业界也意味着分布式存储能堪当大任,承载核心生产业务。


在深信服看来,存储“不可能之三角”的破题秘籍在于,充分发挥硬件存储介质性能和提升软件数据管理及处理能力,从而取得“高性能+大容量+高性价比”的平衡。


高性能和大容量一步到位


存储设备的性能通常由其读写速度和承载数据量的能力来衡量,特别是在处理大量小文件时,读写速度和系统的稳定性尤为重要。


读写性能提升上,深信服EDS存储设计的读写模式充分适应了SSD与HDD混合闪存介质的特性,以此充分激发硬件性能。同时,通过增加NVMe SSD即可实现容量的横向扩展、性能的线性提升。


同样大小的内存空间,深信服EDS存储基于多活的元数据能力,可以充分发挥各节点的磁盘性能,让元数据访问效率提升 10 倍以上,可缓存的元数据规模是Ceph系产品的7倍,在 AI 训练等场景下可以保持 90% 以上的元数据命中率。


不仅如此,深信服EDS存储在IO整合、数据缓存与协议增强等核心技术方向上也构建了自己的核心能力,来提升海量小文件和大文件高吞吐场景的性能。

通过小文件的聚合和动态IO整合,深信服EDS存储实现了性能层空间的最小化,并且在持续写入文件的过程中,保障性能层不会被击穿,始终保有充足的空间进行数值的排序与整合,通过这样的动态整合来解决容量使用超过80%后导致的垃圾回收挤占而性能下降的问题。


对于延迟敏感型业务,深信服EDS存储采用自适应三级缓存技术,缩短数据路径将数据时延降至us级。


在协议增强上,相比于标准文件共享协议协议,深信服EDS存储提升了2-3倍,进一步降低协议对性能的额外开销,缩短时延和提升性能。

深信服EDS存储性能和容量线性同步扩展

基于分布式存储架构的天然优势,当用户需要更大的存储空间或者处理能力时,只需要添加更多的节点即可,无需改变已有的硬件或软件结构,也无须面临替换存储阵列硬件的昂贵投入,获得性能和容量的真正“自由”。


打破常规:以更低成本驱动高性能和大容量


传统阵列存储如果要同时满足大容量、高性能的需求,往往需要投入很高成本,高昂的磁盘阵列扩容扩展的费用也让很多企业不堪重负。


而在深信服看来,同时获得高性能和大容量可以用更经济的方式,也不需要过度依赖昂贵、高端的硬件配置。


一方面,深信服EDS存储实现了冷热数据自动分层,热数据存储在NVMe 或SATA固态盘构建的高性能层,冷数据存储在机械盘构建的大容量层,这样能帮助用户节省存储的硬件成本。


另一方面,基于深舟数据管理平台、EDSData Explorer等软件,实现数据的高效压缩和管理,64GB内存可以承载亿级以上规模小文件的高速读写,帮助用户合理规划存储的投入成本。

深信服EDS存储自研架构

通过硬件+软件的组合式创新,深信服EDS分布式存储在高性能、大容量、高性价比等方面都取得了显著的提升,能够满足容量大且大小文件混合负载的应用场景,很好地解决了存储“不可能之三角”。


对存储而言,性能优化可谓是一场没有终点的马拉松,持续在通用硬件上激发出更高、更稳定的存储性能,通过软件实现更快的数据接入、数据管理,用户便可以用更低的成本投入获得可支撑核心业务运行的存储产品。


自研分布式存储系统的深信服,技术栈更加先进,加上软硬件结合与适配,在性能、可靠性等方面出类拔萃,胜任高精尖领域的各种存储需求。


一款产品好不好用客户反馈是真正的试金石


一款好的存储产品,不仅是实验室里的高性能,更是用户生产环境的实际需求的高性能。


上海某专科医院的影像数据每年以15%的速度增长,深信服EDS存储不仅满足其扩容需求,而且还能轻松应对就诊高峰期的高并发阅片,阅片端每秒可加载1000张CT影像。


这意味着,医生可以在更短的时间内完成阅片,提高工作效率,为患者提供更优质的医疗服务。


除了实实在在为医院、医疗助力之外,深信服EDS存储也应用在AI、芯片、测绘、媒体等多场景。


在芯片设计场景 ,深信服EDS存储可以支撑更大规模的EDA仿真任务,激活100%活跃算力。这意味着,芯片设计企业可以更快地完成EDA仿真,缩短产品研发周期。


在测绘场景 ,EDS 501高性能版本每天可以处理70000张航片。


在航片导入场景 ,相比于其他厂商大文件吞吐能力提升2倍多;三维建模场景的小文件效率可接近于本地NVMe SSD,CASS3D在线打开海量小文件组成的三维成果数据耗时相比于某阵列NAS缩短8倍多。


结语


在高精尖领域的成功,深信服证明了EDS具有强大的市场适应性,这也为其在其他行业的发展奠定了良好的基础。深信服之所以在这些场景中表现出强劲的性能,这得益于EDS的“业务优先”理念。


深信服EDS存储从不“唯数据论”,不盲目追求性能数据上的提升,而是落到真实的业务场景,针对业务特征进行性能优化,为实际业务运行带去更好的体验。


同时,深信服EDS也不鼓吹“大而全”,而是聚焦在高性能文件存储这一领域精益求精,力争领导者。


深信服作为存储领域“老道的新手”,在高性能存储之路上,追求的不仅是将自身在云技术栈十多年积累的存储技术用于EDS存储,更重要的是深入到每个用户的实际应用场景中,以生产业务的高性能需求为导向,真正实现用户需求和技术优势的最佳结合。


【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

作者: 科技云报到, 来源:面包板社区

链接: https://mbb.eet-china.com/blog/uid-me-4076771.html

版权声明:本文为博主原创,未经本人允许,禁止转载!

文章评论0条评论)

登录后参与讨论
EE直播间
更多
我要评论
0
2
关闭 站长推荐上一条 /6 下一条