Bendi新闻
>
从AI服务器谈HBM、HBM2、HBM3、HBM3e技术

从AI服务器谈HBM、HBM2、HBM3、HBM3e技术

9月前

HBM即高带宽存储,由多层DRAM Die垂直堆叠,每层Die通过TSV穿透硅通孔技术实现与逻辑Die连接,使得8层、12层Die封装于小体积空间中,从而实现小尺寸于高带宽、高传输速度的兼容,成为高性能AI服务器GPU显存的主流解决方案。

目前迭代至HBM3的扩展版本HBM3E,提供高达8Gbps的传输速度和16GB内存,由SK海力士率先发布,将于2024年量。

HBM主要应用场景为AI服务器,最新一代HBM3e搭载于英伟达2023年发布的H200。根据Trendforce数据,2022年AI服务器出货量86万台,预计2026年AI服务器出货量将超过200万台,年复合增速29%。

AI服务器出货量增长催化HBM需求爆发,且伴随服务器平均HBM容量增加,经测算,预期25年市场规模约150亿美元,增速超过50%。

HBM供给厂商主要聚集在SK海力士、三星、美光三大存储原厂,根据Trendforce数据,2023年SK海力士市占率预计为53%,三星市占率38%、美光市占率9%。HBM在工艺上的变化主要在CoWoS和TSV。

相关阅读:

HBM1最早于2014年由AMD与SK海力士共同推出,作为GDDR竞品,为4层die堆叠,提供128GB/s带宽,4GB内存,显著优于同期GDDR5。

HBM2于2016年发布,2018年正式推出,为4层DRAMdie,现在多为8层die,提供256GB/s带宽,2.4Gbps传输速度,和8GB内存;HBM2E于2018年发布,于2020年正式提出,在传输速度和内存等方面均有较大提升,提供3.6Gbps传输速度,和16GB内存。HBM3于2020年发布,2022年正式推出,堆叠层数及管理通道数均有增加,提供6.4Gbps传输速度,传输速度最高可达819GB/s,和16GB内存HBM3E由SK海力士发布HBM3的增强版,提供高达8Gbps的传输速度,24GB容量,计划于2024年大规模量产。

HBM因其高带宽、低功耗、小体积等特性,广泛应用于AI服务器场景中。HBM的应用主要集中在高性能服务器,最早落地于2016年的NVP100GPU(HBM2)中,后于2017年应用在V100(HBM2)、于2020年应用在A100(HBM2)、于2022年应用在H100(HBM2e/HBM3),最新一代HBM3e搭载于英伟达2023年发布的H200,为服务器提供更快速度及更高容量。

HBM供给厂商主要聚集在SK海力士、三星、美光三大厂,SK海力士领跑。三大存储原厂主要承担DRAMDie的生产及堆叠,展开技术升级竞赛,其中SK海力士与AMD合作发布全球首款HBM,23年率先供应新一代HBM3E,先发奠定市场地位,主要供应英伟达,三星供应其他云端厂商,根据TrendForce数据,2022年SK海力士市占率50%、三星市占率40%、美光市占率10%左右,2023年SK海力士市占率预计为53%,三星市占率38%、美光市占率9%。

HBM在封装工艺上的变化主要在CoWoS和TSV。

1)CoWoS:是将DRAMDie一同放在硅中介层上,通过过ChiponWafer(CoW)的封装制程连接至底层基板上,即将芯片通过ChiponWafer(CoW)的封装制程连接至硅晶圆,再把CoW芯片与基板连接,整合成CoWoS。当前,HBM与GPU集成的主流解决方案为台积电的CoWoS,通过缩短互连长度实现更高速的数据传输,已广泛应用于A100、GH200等算力芯片中。

2)TSV:TSV硅通孔是实现容量和带宽扩展的核心,通过在整个硅晶圆厚度上打孔,在芯片正面和背面之间形成数千个垂直互连。在HBM中多层DRAMdie堆叠,通过硅通孔和焊接凸点连接,且只有最底部的die能向外连接到存储控制器,其余管芯则通过内部TSV实现互连。

GPU技术篇

更新提醒:“存储系统基础知识全解(终极版)”和“服务器基础知识全解(终极版)”已经更新发布,还没有获取的读者,请在点击“原文链接”在微店留言获取PDF阅读版本)。



转载申明:转载本号文章请注明作者来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。

推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)和“存储系统基础知识全解(终极版)pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价439元)。


温馨提示:

扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情


微信扫码关注该文公众号作者

来源:架构师技术联盟

相关新闻

前端最新趋势:JS正在向服务器端转移、开发者最爱Vue技术栈、Bun越来越受关注服务器变革:PCB层数、材质等技术升级豆包大模型家族发布、火山方舟升级,火山引擎如何打造全栈AI技术服务?新加坡高规格出海团:生物医药、AI与信息技术、制造业(5月底)一文掌握微服务技术:概念、架构与实现时代认知分享(十)从蓝图、人口、AI、社会主义到未来社会公交罢工再升级!3天全大温没有公交、天车服务!从这天开始......未来五年AI如何改变各学科?从LLM到AI蛋白设计、医疗保健......在美国除了AI,还有哪些技术领域申请签证、绿卡可享受便利政策?五月全球“AI大爆炸”:卷技术、拼落地、比价格CVPR上新 | 从新视角合成、视频编解码器、人体姿态估计,到文本布局分析,微软亚洲研究院精选论文从游戏巨头、加密矿霸到AI军火商,一文读懂英伟达发家史 |亮马桥小纪严选华为、阿里、OPPO、喜马拉雅领衔专家深度解析 AI Agent 技术与应用|AICon东风岚图 AI 技术人才培养三步走:认知构建、技术提升、场景实战 | 极客时间企业版突发!全球性技术瘫痪!美加澳银行、医院、机场服务全中断,公共设施再受重创!芯片“末日”将至?芯来科技专场来啦!三节课主讲RISC-V车规级CPU内核开发、AI专用CPU设计及IP 2.0模式|智猩猩RISC-V技术公开课中国生成式AI大会再揭晓15位嘉宾!大模型及应用技术大咖、算力专家和青年学者都来了从“百模”到“千体”:大模型智能体的竞争格局、商业模式和技术挑战AI出图更快、更美、更懂你心意,高美感文生图模型修炼了哪些技术秘籍?硅谷视野+中国实践,汇聚全球顶尖技术的 AI 科技盛会,更有生成式 AI 黑科技上手体验、蔚来试驾等你来!| AICon阿里云服务领域Agent智能体:从概念到落地的思考、设计与实践贾跃亭谈小米造车:对标、抄袭和浅层次的创新无法带来根本性的技术变革;中国黄金将对北京富力广场店受害者进行垫付丨邦早报攻克静态CT技术、打造国产供应链,这家中国企业换道超车瞄准百亿级CT市场中国将对航空航天领域的技术、软件和设备实施出口管制措施
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。