1、HBM概念

HBM是基于2.5/3D封装技术的新型存储器，满足高带宽、高速度等需求。HBM（High Bandwidth Memory）指高带宽存储器，是一款新型的CPU/GPU内存芯片，基于2.5D/3D封装技术将DRAM Die垂直堆叠，具备高带宽、高速度等特点。DRAM Die之间通过TSV（硅通孔）的方式连接，逻辑控制单元对DRAM进行控制，GPU和DRAM之间通过u Bump和Interposer（起互联功能的硅片）连通。目前最先进的HBM为第五代HBM3以及第六代HBM3E，封装的DRAM Die层数达到12层。

图片.png

2、HBM应用市场

HBM目前最主要搭配AI的GPU使用，训练型AI服务器是最主要的增量市场。根据SK海力士，受益于HPC、AI、CPU等应用，HPC市场复合增长率达到40%左右，由于随着数据量呈指数级增长，以及AI/ML训练等高级工作负载的快速增长，预计AI服务器将是几年内HBM最大的下游市场。

3、发展历程

历经多次迭代，性能多维提升。HBM拥有多达1024个数据引脚，显著提升数据传输能力。自2014年首款硅通孔HBM产品问世至今，HBM技术已经发展至第四代，HBM3带宽、堆叠高度、容量、I/O速率等较初代均有多倍提升。

HBM：2013年10月，JEDEC发布了第一个HBM标准JESD235A；2014年SK Hynix和AMD宣布联合开发TSV HBM产品；2015年6月，SK Hynix推出HBM1，采用4×2 Gbit 29nm工艺DRAM堆叠，该芯片被用于AMD GPU等产品。

HBM2：2018年11月，JEDEC发布了JESD235B标准，即HBM2技术，支持最多12层TSV堆叠；2018年Samsung率先推出Aquabolt（HBM2），数据带宽3.7GB/s。SK Hynix紧随其后推出HBM2产品，采用伪通道模式优化内存访问并降低延迟，提高有效带宽。

HBM2E：2020年1月，JEDEC更新发布HBM技术标准JESD235C，并于2021年2月更新为JESD235D，即HBM2E；2019年，三星推出Flashbolt（HBM2E），堆叠8个16 Gbit DRAM芯片。SK Hynix在2020年7月推出了HBM2E产品，是当时业界速度最快的DRAM解决方案。目前HBM2e是HBM市场的主流产品。

HBM3：2022年1月，JEDEC发布了HBM3高带宽内存标准JESD238，拓展至实际支持32个通道，并引入片上纠错（ECC）技术；SK Hynix在2021年10月开发出全球首款HBM3，容量为HBM2E的1.5x，运行带宽为HBM2E的2x。

图片.png

HBM3E：8月21日，SK海力士宣布，公司开发出面向AI的超高性能DRAM新产品HBM3E，并开始向客户提供样品进行性能验证。据介绍，SK海力士将从明年上半年开始投入HBM3E量产。此次产品在速度方面，最高每秒可以处理1.15TB（太字节）的数据，其相当于在1秒内可处理230部全高清级电影。

4、HBM的优缺点

（1）对比GDDR，HBM的优势

GPU的主流存储方案有GDDR和HBM两种。但图形芯片性能的日益增长，使其对高带宽的需求也不断增加。随着芯片制程及技术工艺达到极限，GDDR满足高带宽需求的能力开始减弱，且单位时间传输带宽功耗也显著增加，预计将逐步成为阻碍图形芯片性能的重要因素。

显存的重要性能指标有3个：显存频率（800MHz、1,200MHz、1,600MHz、2,200MHz）、显存位宽（32位、64位、128位、256位、512位、1,024位）、显存带宽（显存带宽=显存频率×显存额位宽/8bit）。通过TSV堆栈的方式，HBM能达到更高的I/O数量，使得显存位宽达到1,024位，几乎是GDDR的32x，HBM具有显存带宽显著提升，此外还具有更低功耗、更小外形等优势。显存带宽显著提升解决了过去AI计算“内存墙”的问题，HBM逐步提高在中高端数据中心GPU中的渗透比率。

图片.png

（2）相较于其他种类的内存缺点

HBM相较于其他种类的内存也并非没有缺点，成本偏高、频率偏低使得其基本上目前只应用于中高端数据中心GPU及少数ASIC：

1）缺乏灵活性，HBM与主芯片通常封装在一起，不存在扩容可能。DDR产品形态稳定、标准化程度高，HBM封装的低灵活性对OEM厂商成本带来困难。虽然消费者市场对拓展性要求不搞（如Intel Lakefield、Apple M1），但目前HBM的成本使之望而却步。

2）HBM容量偏小，一些高阶的服务器DIMM达到96个，采用128GB RDIMM最多能达到12TB，HBM8层die也不过32GB，再结合成本考虑，更加无法满足数据中心要求。

3）访问延迟高，HBM的频率低于DDR/GDDR（由TSV封装决定，并行线路多时频率过高会有散热问题），CPU处理的任务具有较大的不可预测性，对延迟的敏感程度较高，而在GPU则对此并不敏感。


来源：投研锋向