从AI服务器谈HBM、HBM2、HBM3、HBM3e技术
HBM即高带宽存储,由多层DRAM Die垂直堆叠,每层Die通过TSV穿透硅通孔技术实现与逻辑Die连接,使得8层、12层Die封装于小体积空间中,从而实现小尺寸于高带宽、高传输速度的兼容,成为高性能AI服务器GPU显存的主流解决方案。
目前迭代至HBM3的扩展版本HBM3E,提供高达8Gbps的传输速度和16GB内存,由SK海力士率先发布,将于2024年量。
HBM主要应用场景为AI服务器,最新一代HBM3e搭载于英伟达2023年发布的H200。根据Trendforce数据,2022年AI服务器出货量86万台,预计2026年AI服务器出货量将超过200万台,年复合增速29%。
AI服务器出货量增长催化HBM需求爆发,且伴随服务器平均HBM容量增加,经测算,预期25年市场规模约150亿美元,增速超过50%。
HBM供给厂商主要聚集在SK海力士、三星、美光三大存储原厂,根据Trendforce数据,2023年SK海力士市占率预计为53%,三星市占率38%、美光市占率9%。HBM在工艺上的变化主要在CoWoS和TSV。
算力竞赛,开启AI芯片、光模块和光芯片需求 AI算力租赁行业深度研究(2023) 大模型算力:AI服务器行业(2023) 计算设备算力报告(2023年) UCIe封装与异构算力集成 算力技术未来发展路径概述(2023) AI算力研究框架:时势造英雄,谋定而后动(2023) 算力网络:在网计算(NACA)技术 一文理解“高广深”先进算力网络 联邦学习算力加速方案(2023) 中国AI服务器算力市场规模及空间测算(2023) 多样性算力:新一代超异构计算架构 大模型AI算力剧增,谁来扛国产GPU大旗? 超级芯片GH200发布,AI算力是H100两倍 中国绿色算力发展研究报告(2023年) 详解:算力网络基础知识(2023) AIGC算力全景与趋势报告(2023) AI科普报告(2023):算法、算力、数据和应用 国内外AI芯片、算力综合对比 华为算力编年史(2023) AI算力研究框架(2023) 大模型训练,英伟达Turing、Ampere和Hopper算力分析 AI大语言模型原理、演进及算力测算 大算力模型,HBM、Chiplet和CPO等技术打破技术瓶颈 走进芯时代:AI算力GPU行业深度报告
HBM1最早于2014年由AMD与SK海力士共同推出,作为GDDR竞品,为4层die堆叠,提供128GB/s带宽,4GB内存,显著优于同期GDDR5。
HBM因其高带宽、低功耗、小体积等特性,广泛应用于AI服务器场景中。HBM的应用主要集中在高性能服务器,最早落地于2016年的NVP100GPU(HBM2)中,后于2017年应用在V100(HBM2)、于2020年应用在A100(HBM2)、于2022年应用在H100(HBM2e/HBM3),最新一代HBM3e搭载于英伟达2023年发布的H200,为服务器提供更快速度及更高容量。
HBM供给厂商主要聚集在SK海力士、三星、美光三大厂,SK海力士领跑。三大存储原厂主要承担DRAMDie的生产及堆叠,展开技术升级竞赛,其中SK海力士与AMD合作发布全球首款HBM,23年率先供应新一代HBM3E,先发奠定市场地位,主要供应英伟达,三星供应其他云端厂商,根据TrendForce数据,2022年SK海力士市占率50%、三星市占率40%、美光市占率10%左右,2023年SK海力士市占率预计为53%,三星市占率38%、美光市占率9%。
HBM在封装工艺上的变化主要在CoWoS和TSV。
1)CoWoS:是将DRAMDie一同放在硅中介层上,通过过ChiponWafer(CoW)的封装制程连接至底层基板上,即将芯片通过ChiponWafer(CoW)的封装制程连接至硅晶圆,再把CoW芯片与基板连接,整合成CoWoS。当前,HBM与GPU集成的主流解决方案为台积电的CoWoS,通过缩短互连长度实现更高速的数据传输,已广泛应用于A100、GH200等算力芯片中。
2)TSV:TSV硅通孔是实现容量和带宽扩展的核心,通过在整个硅晶圆厚度上打孔,在芯片正面和背面之间形成数千个垂直互连。在HBM中多层DRAMdie堆叠,通过硅通孔和焊接凸点连接,且只有最底部的die能向外连接到存储控制器,其余管芯则通过内部TSV实现互连。
GPU分析:全球竞争格局与未来发展 2023年GPU显卡技术词条报告 英伟达GPU龙头稳固,国内逐步追赶(详解) GPU/CPU领域散热工艺的发展与路径演绎 探析ARM第五代GPU架构 新型GPU云桌面发展白皮书 十大国产GPU产品及规格概述 GPU平台生态:英伟达CUDA和AMD ROCm对比分析 GPU竞争壁垒:微架构和平台生态 GPU微架构、性能指标、场景、生态链及竞争格局(2023) 大模型训练,绕不开GPU和英伟达 Nvidia/AMD竞争:GPU架构创新和新兴领域前瞻探索 走进芯时代:AI算力GPU行业深度报告 独立GPU市场,AMD份额大跌? CPU渲染和GPU渲染优劣分析 NVIDIA Hopper GPU:芯片三围、架构、成本和性能分析 国内GPU厂商及细分行业前景(2023) ChatGPT对GPU算力的需求测算与分析 AMD RDNA2 GPU架构详解 GPU研究框架(2023)
更新提醒:“存储系统基础知识全解(终极版)”和“服务器基础知识全解(终极版)”已经更新发布,还没有获取的读者,请在点击“原文链接”在微店留言获取(PDF阅读版本)。
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)”和“存储系统基础知识全解(终极版)”pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价439元)。
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
微信扫码关注该文公众号作者