（一）第五代HBM3E被疯抢

半导体业内人士7月3日报道称，继英伟达之后，全球各大科技巨头已陆续向SK海力士索取第五代高带宽内存HBM3E样品。该名单包括 AMD、微软和亚马逊。实际上，SK海力士预计到2024年上半年才能实现量产。

HBM（High Bandwidth Memory，高带宽内存），是由 AMD 和 SK海力士发起的基于3D堆栈工艺的高性能 DRAM，是一款新型的CPU/GPU 内存芯片，它是将很多个DDR芯片堆叠在一起后和GPU封装在一起，实现大容量、高带宽的DDR组合阵列。从技术角度看，HBM使DRAM从传统2D转变为立体3D，充分利用空间、缩小面积，契合半导体行业小型化、集成化的发展趋势。

HBM借助硅通孔技术TSV实现多个 DRAM 之间的垂直连通堆叠，达到缩减体积、降低能耗的目的：

HBM突破了内存容量与带宽瓶颈，可以为 GPU 提供更快的并行数据处理速度，打破“内存墙”对算力提升的桎梏，被视为 GPU 存储单元理想解决方案，将在 AI发展中持续收益。通过增加带宽，扩展内存容量，让更大的模型，更多的参数留在离核心计算更近的地方，从而减少内存和存储解决方案带来的延迟。

大模型、人工智能、机器学习、高性能计算、数据中心等应用市场兴起，推动着高带宽内存HBM更新迭代。自2014年首款硅通孔HBM产品问世至今，HBM技术已经发展至第五代，分别是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）和最新的HBM3E（第五代）。

HBM芯片容量从1GB升级至24GB，带宽从128GB/s提升至1075GB/s，数据传输速率也从1Gbps提高至8.4Gbps。在高性能服务器领域，HBM已经成为了高端GPU的标配。

比如，Nvidia 的 H100 采用 CoWoS-S 上的7-die封装。中间是H100 GPU ASIC，其芯片尺寸为814mm2 ，周围是 6 个内存堆栈HBM。不同 SKU 之间的 HBM 配置有所不同，但 H100 SXM 版本使用 HBM3，每个堆栈为 16GB，总内存为 80GB。H100 NVL 将具有两个封装，每个封装上有 6 个活跃的 HBM 堆栈。

（二）HBM市场三分天下

目前，HBM市场只有3家企业，全球55%的HBM出货来自SK海力士（SK Hynix），35%来自三星电子（Samsung），美光科技（Micron Technology）占10%。

SK海力士约40%的营业利润来自HBM。如，英伟达高性能GPU A100和H100的显存模块并没有采用常用的DDR/GDDR内存，而是SK海力士的HBM3内存；全球排名第一的服务器CPU公司英特尔在全新的第四代至强可扩展处理器当中也推出了配备SK海力士HBM的产品。

三星于2022年实现HBM3量产，其单芯片接口宽度可达1024 bit，接口传输速率可达6.4 Gbps，单芯片接口带宽达819 GB/s。三星HBM3正式向英伟达和AMD供货，HBM3在三星电子整体DRAM销售额中所占比重或将从今年的6%扩大至明年的18%。在三星公布的路线图上，2024年预计将实现接口速度高达7.2 Gbps、堆叠总带宽提升到5 TB/s以上的HBM3p。

三星DRAM内存路线图：

美光科技相比明显较落后，于2020年7月才宣布大规模量产HBM2E，HBM3仍在持续研发之中。之前，美光科技在混合存储立方体 (HMC) 技术上投入更多资金，这是与 HBM 竞争的技术。然而，HMC周围的生态系统是封闭的，导致围绕HMC的IP很难开发。直到 2018 年，美光才开始从 HMC 转向HBM。这就是美光落后的原因。不过，在最近的财报电话会议中，美光对其 HBM 路线图做出了非常乐观的预期：他们相信，他们将在 2024 年凭借 HBM3E 从落后者变为领先者；HBM3E 预计将在2024 年第三季度/第四季度开始为英伟达的下一代 GPU 发货。

（三）HBM逆势增长

过去几年，受智能手机、PC等消费电子市场疲软影响，包括 NAND 和 DRAM 在内的内存市场都遭受重创，自 21 年第三季度以来，DRAM 价格已下跌 57%，而同期 NAND 价格已下跌 55%。DRAM行业在2023年第1季度经历了自2012年以来的首次运营亏损，利润率从 2022 年第 4 季度的 9% 降至 23 年第 1 季度的-16%，因为23 年第 1 季度的出货量比预期低了13%。供应商在23 年第一季度继续增加库存，目前库存超过 13 周。

内存（DRAM和NAND）价格同比增长率走势图及预测：

而且，一般来说像HBM3这样的显存由于需求量不是很大，因此价格不会出现大波动，当然供应量也不高，毕竟制造成本高昂，产能也有限，基本上是供需平衡，然而今年由于ChatGPT的火爆，导致NVIDIA的GPU供不应求，使得HBM3显存出现了严重短缺的情况，由此导致三星以及海力士作为HBM3显存的供应报价飙升了5倍。

据市场调研公司预测，未来4年AI服务器出货量年化增速高达61%，2026年预计达90万台。

由于AI服务器需要配置更多DRAM、HBM等大容量存储以应对日益复杂的AI大模型所带来的海量数据。数据显示，普通服务器DRAM容量约为500~600GB，而AI服务器DRAM容量可达1.2~1.7TB；数据处理量和传输速率的大幅提升对带宽提出更高的要求，HBM成为AI服务器标配，单台AI服务器HBM用量达到320~640GB。目前HBM占DRAM约2%-3%，预计三年后将翻倍。

集邦咨询预测，从今年到2025年，HBM市场预计将以年均45%或以上的速度增长，与人工智能市场的增长同步。而据semiconductor-digest预测，到 2031年，全球高带宽存储器HBM市场预计将从 2022 年的 2.93亿美元增长到34.34亿美元，在2023-2031年的预测期内复合年增长率为31.3%。