自AI需求崛起后,记忆体大厂开始大幅占据科技新闻版面,并跟一组关键字紧密连动──HBM。
HBM是高频宽记忆体,全球调研机构TrendForce指出,HBM市场仍处于高成长阶段,随著AI Server持续布建,在GPU算力与记忆体容量都将升级下,HBM成为其中不可或缺的一环,带动HBM规格容量上升,如NVIDIA Blackwell平台将采用192GB HBM3e记忆体、AMD的MI325更是提升到288GB以上。由于HBM生产难度高、良率仍有显著改善空间,推高整体生产成本,平均售价约是DRAM产品的三至五倍,待HBM3e量产,加上产能扩张,营收贡献将逐季上扬。
作为HBM重要供应商,美国记忆体巨头美光(Micron Technology)公布2024会计年度第4季(截至2024年8月29日)财报,由于AI推动记忆体市场需求,美光财报与本季财测均超出华尔街预期,股价在盘后交易中飙升逾 14%。
不只美光,韩国HBM龙头SK海力士一样表现惊人,市值自2023年开始一路狂飙,4月1日突破千亿美元大关。
从各方面来看,HBM让记忆体厂迎来全新一波的成长动能,美国记忆体巨头美光(Micron)更表示,HBM产能开出后便被订购一空。到底什么是HBM,为什么在AI时代成为众人追捧的关键?
HBM是什么?跟传统DRAM有什么不同?
简单来说,越强的AI处理器,需要越强的记忆体。
美光副总裁暨运算与网路事业部运算产品事业群总经瓦伊迪亚纳坦(Praveen Vaidyanathan)指出,晶片性能表现与记忆体的频宽和容量成正相关,随著大语言模型(LLM)参数量增加,也需要更高频宽记忆体,AI处理器才能顺利运行。
HBM相较传统DRAM为「高频宽」记忆体。高频宽就好比是高速公路,道路越宽可承受的车流量就越大,等于记忆体能运送的资料量就越多;再加上HBM可简单理解为好几DRAM透过先进封装堆叠起来,传输快速以外储存空间也扩大。
《SemiAnalysis》指出,光GPT-4就含1.8兆个参数,想应用AI,就必须搭配像HBM这样容量更大、存取更快速的记忆体,让参数可以轻易被传输与储存。不过HBM与一般DRAM之间并不存在取代关系,而是因为应用需求的不同,衍生出的技术。
HBM(高频宽记忆体,High Bandwidth Memory) 3D图解
高频宽记忆体(HBM,High Bandwidth Memory),是将DRAM透过先进封装技术堆叠而成,与GPU整合于同一块晶片上,更有利于就近存取、传输资料。主要作法为利用硅穿孔(TSV)技术,在晶片钻出小洞,再填充如铜这样的导电物质,连接金属球以达通电效果。
HBM技术难在哪?
「把DRAM叠起来」听来简单,但实际上存在不少技术难度。瓦伊迪亚纳坦指出3项关系著良率的技术难点:
首先,是厚度。
HBM厚度仅能为人类头发的一半,意味著每一层DRAM的厚度都必须控制,研磨必须相当精细。瓦伊迪亚纳坦指出:「一旦堆叠层数越多,DRAM就必须做的更薄。」在这样的状况下,企业必须拥有更先进的DRAM制程才可能达成。
其次,是晶圆堆叠的精准度。
HBM的封装是将每一片DRAM晶圆叠齐后再做切割,切割下来的晶粒就是HBM。不过,制造商为让堆叠更薄,会在硅晶圆上穿孔并以金属物质填满,用以通电,藉此取代传统封装的导线架。这样的打洞技术则称为「硅穿孔(TSV, Through Silicon Via)。」
倘若是堆叠4层的HBM,从晶圆堆叠切割前开始,就必须精准对齐硅穿孔(TSV),「切的时候也不能移位,否则不能导电。」瓦伊迪亚纳坦说。由于硅穿孔仅略大于细菌尺寸,需要非常精细的工艺才能做到。
第三,就是堆叠后的散热问题。
HBM之所以被发明,来自于晶片商希望能将记忆体和处理器,包含CPU和GPU,全都包在一颗IC中。如此一来,记忆体与处理器的距离变得比之前近很多,散热问题更需要被解决。综合三点来看,封装技术的重要性更甚以往。
HBM的应用有哪些?除了AI伺服器,还有哪些也会用到HBM?
由于技术难度高,HBM成本也相对高昂。早在2013年HBM就已经诞生,当时超微(AMD)找上海力士共同研发第一代HBM,却因价格太贵而鲜少被晶片业者采用,直至今日才因为AI应用而崛起。
晶片业者分析,虽然越先进的HBM价格越高,但只要效能够好、够省电,厂商当然愿重本采用。
目前来看,AI伺服器会是HBM最重要的市场,美光以及海力士的HBM3e已通过辉达的验证,市场更盛传辉达已支付数亿美元的预付款以确保供应。瓦伊迪亚纳坦指出:「AI伺服器所需要的记忆体量,是传统伺服器的5~6倍。」
除此之外,未来自驾车市场也是HBM重要的应用场景。Mordor Intelligence在10月出版的一份报告中表示,自驾车与ADAS(自动驾驶辅助系统)正在推升HBM的需求。从这个情况看来,AI伺服器+车用的HBM市场需求,可能将长达10年。
zz:
https://www.bnext.com.tw/story/17/what-is-hbm?
文章评论(0条评论)
登录后参与讨论