作者:中国信息通信研究院数据研究中心 张彦坤 中国信息通信研究院技术与标准研究所 陈敏
生成式人工智能和大模型技术的快速发展,拉开了全球大算力时代的序幕,科技巨头纷纷重金布局AI算力基建,促使AI处理器需求呈“井喷”态势。其中,HBM(高带宽存储器)作为核心器件,需求热度持续上升。全球HBM市场目前已形成SK海力士、三星电子和美光三足鼎立的态势。三大存储原厂积极布局HBM技术研发,推动产能扩张计划,在2024年陆续推出第五代HBM3E产品。纵观HBM全产业链,我国本土企业参与者寥寥无几。因此,我国HBM技术面临自主可控与市场竞争双重压力,亟待加快步伐,奋起直追。
HBM市场概况
随着人工智能尤其是生成式人工智能和大模型技术的快速发展,全球算力需求迎来爆发式增长。众多云计算厂商、大模型厂商纷纷加大AI算力基础设施建设的投资,因此AI处理器需求急速攀升,而作为其中关键器件之一的HBM需求也不断增长。
HBM属于图形DDR(双倍速率同步动态随机存储器)内存的一种,具有高带宽、高容量、低延时与低功耗等优势。它将多个DDR芯片堆叠在一起,再与GPU封装合成,通过增加带宽、扩展内存容量组成DDR组合阵列,以实现“让更大的模型、更多的参数留在离核心计算更近的地方”,从而减少内存和存储解决方案所带来的延迟。在AI大模型训练推理过程中,HBM可加快数据处理速度,因此更适用于ChatGPT等高性能计算场景。
从技术迭代上看,自2014年全球首款硅通孔HBM产品问世以来,已经从HBM、HBM2、HBM2E,发展至第四代HBM3和第五代HBM3E。数据显示,2023年HBM市场主流产品为HBM2E,NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。为顺应AI加速器芯片需求演进,存储器厂商陆续在2024年推出新产品HBM3E,预计HBM3与HBM3E将成为今年市场主流产品。至于更高规格的HBM4,集邦咨询预计其有望于2026年推出。
随着AI等相关应用需求的激增,HBM市场规模也在大幅增长。据多家咨询机构预测,全球HBM市场将迎来快速发展期。数据显示,全球HBM营收规模到2025年将达到49.76亿美元,较2023年增长148.2%。预计从2024年到2029年,全球HBM市场规模将从25.2亿美元左右激增至79.5亿美元,预测期内复合年增长率高达25.86%。未来,全球HBM内存市场将继续扩大,产能及市场份额也将持续提升。
三大存储巨头的竞争格局和技术路线
目前全球HBM市场高度集中,主要由SK海力士、三星电子和美光三家存储大厂主导,2022年其在HBM市场的占有率分别为50%、约40%和约10%。数据显示,2023年SK 海力士市场占有率达53%,而三星电子、美光市场占有率分别为38%及9%。
技术路线及业绩表现
从存储大厂HBM布局路线来看,SK海力士作为HBM技术的先行者,早在2014年就与AMD合作开发了全球首款HBM。随后SK海力士又陆续成功研发出HBM迭代产品,分别在2016年、2019年、2021年以及2023年发布HBM2、HBM2E、HBM3和HBM3E产品。随着以ChatGPT为代表的生成式AI的持续火爆,AI服务器出货量的增长带动HBM需求大涨。在HBM和DDR5的支撑下,SK海力士在2023年第四季度率先迎来盈利。SK海力士2024年第一季度财报显示,DRAM业务收入占比61%,公司凭借HBM等面向AI的存储器,营业利润环比实现734%增长。SK海力士表示将继续顺应AI存储器需求增长的趋势,加大于HBM3E产品供应。
三星电子针对HBM技术的研发虽晚于SK海力士,但直接从HBM2起步,于2016年推出HBM2产品,2020年2月推出HBM2E产品,2021年2月推出了HBM-PIM(存算一体),实现了内存半导体和AI处理器合二为一,其HBM3也于2023年量产。2024年2月底三星电子发布首款36GB HBM3E 12H DRAM,这是三星电子迄今为止容量最大的HBM产品。目前,三星电子已开始向用户提供HBM3E 12H样品,预计于今年下半年大规模量产。三星电子在今年一季报发布后还设定新目标,计划年底实现HBM芯片产量3倍以上增长。
美光科技于2016年推出首款HBM2方案,随后选择跳过第四代HBM3,直接布局第五代HBM3E。2023年9月美光推出HBM3E,并于2024年2月26日宣布批量生产。随着HBM3E产品开始量产并供货于NVIDIA H200,美光有望在未来的GPU市场上取得更高占有率。财报显示,美光2024财年第二财季(截至2月底)已实现DRAM营收42亿美元,占总营收的71%。此外,美光2024财年资本支出预计在75亿美元至80亿美元间,高于去年资本支出和此前规划,主要是为了支持HBM3E的产量增长。
产能扩张计划
随着NVIDIA、AMD等厂商不断推出高性能GPU产品,三大存储原厂也在积极规划相对应规格的HBM量产。SK海力士公司今年4月正式宣布,为应对全球范围内快速增长的AI需求,公司计划投资19万亿韩元(约1000亿元人民币),扩大包括HBM在内的下一代DRAM的产能。SK海力士已通过董事会决议,将位于韩国忠清北道清州市的M15X晶圆厂定为新的DRAM生产基地。SK海力士将投资约5.3万亿韩元用于厂房建设,并于4月底启动建设工程。
为扩大HBM产能,三星电子已于2023年底收购Samsung Display(三星显示)韩国天安厂区内部分建筑及设备,用于HBM生产。三星电子计划在天安厂建立一条新封装线,用于大规模生产HBM,该公司已花费105亿韩元购买以上建筑和设备等,预计还将追加投资7000亿~1万亿韩元。
美光科技已于2023年11月初正式启用位于中国台湾的台中四厂。台中四厂将整合先进探测与封装测试功能,量产HBM3E及其他产品,从而满足人工智能、数据中心、边缘计算及云端各类应用日益增长的需求。该工厂已于2024年初开始大规模量产HBM3E。
下一步技术布局
围绕搭载于NVIDIA下一代AI芯片中的HBM3E,三大存储厂商展开了激烈竞争。美光、SK海力士和三星电子先后在2023年7月底、8月中旬以及10月初,向NVIDIA提供了8层垂直堆叠的HBM3E(24GB)样品。其中美光和SK海力士的HBM3E在今年初已通过NVIDIA的验证,并获得了订单;NVIDIA在3月中旬GTC大会上确认三星电子HBM 产品正处于验证阶段。
在角逐HBM3E的同时,三大存储原厂已开始布局下一代存储产品HBM4。SK海力士已宣布研发HBM4,并与台积电就HBM4研发和下一代封装技术合作签署谅解备忘录,计划从2026年开始批量生产HBM第六代产HBM4。据悉,SK海力士将采用台积电的先进逻辑工艺来提高HBM4的性能,针对搭载于HBM封装内最底层的基础裸片进行优化。三星电子自2024年以来已成立两个全新HBM团队,并将HBM工作小组转为芯片部门下常设办公单位。三星电子HBM团队计划于2025年推出HBM4,2026年实现量产。美光作为HBM市场后起之秀也在积极布局HBM4,计划在2026年至2027年间,推出容量在36GB到48GB、12/16层垂直堆叠的HBM4产品,并于2028年推出带宽增加至2TB/s以上的HBM4E。
我国厂商参与HBM产业链情况
在“算力”需求催生“存力”的机遇下,我国厂商国产AI处理器水平稳步提升,对配套自主HBM供应链的需求也越发迫切。纵观整个HBM产业链,研发、制造涉及复杂的工艺和技术难题,包括晶圆级封装、测试技术、设计兼容性等,能入局的国内企业屈指可数。
目前,我国长电科技、通富微电和盛合晶微等一线封装厂商拥有支持HBM生产的技术(如TSV硅通孔)和设备。在其余供应链上,芯片设计企业国芯科技已与合作伙伴基于先进工艺开展流片,并与上下游合作厂家积极开展包括HBM技术在内的高端芯片封装合作。紫光国微的HBM作为特种集成电路产品,目前还处于研发阶段。香农芯创作为SK海力士分销商之一具有HBM代理资质,未来将根据下游用户需求,在原厂供应有保障的前提下提供相应产品销售服务。上游材料企业飞凯材料生产的MUF(环氧塑封料)是HBM存储芯片制造技术所需材料之一,其中液体封装材料LMC已经量产并形成少量销售,颗粒填充封装料GMC尚处于研发送样阶段。兴森科技的FC-BGA封装基板可用于HBM存储的封装,但目前尚未进入海外HBM龙头产业链。
由此可见,我国仅有为数不多的厂商打入全球HBM供应链体系,且主要集中在上游材料环节,HBM产业链仍被海外厂商主导。
我国HBM发展建议
AI大模型的兴起催生了海量算力需求,未来在AI模型逐渐复杂化的趋势下,服务器的数据计算和存储需求将持续增长,算力的多寡也将成为制约一个国家AI发展的重要因素。国产AI算力当前面临先进制程产能、CoWoS封装与HBM三大瓶颈,HBM更是国产AI算力的重中之重。
当前HBM技术主要被美韩厂商把持,国产HBM正处于“0到1”的突破期。在我国高端GPU受限的情况下,无论从自主可控还是市场竞争角度,国产AI处理器的突破迫在眉睫,HBM的同步突围更需加快布局。建议从国家层面加强顶层设计,加大关键技术研发力度,协同产业链上下游共同实现HBM等核心技术突破,以早日实现高性能AI处理器的国产化。