Bendi新闻
>
2024年服务器行业深度报告

2024年服务器行业深度报告

8月前

本文来自“服务器行业深度报告:AI和“东数西算”双轮驱动,服务器再起航”。

更多内容参考“服务器基础知识全解(终极版)”,“存储系统基础知识全解(终极版)”。

海外自2022年OpenAi发布的ChatGPT将大型语言生成模型和Al推向新高度以来,全球各大科技巨头纷纷拥抱AIGC。大模型通常包含数亿级的参数,需要消耗大量算力。服务器作为算力的发动机,算力需求的增长将迎来Al服务器及服务器需求的快速增长。

Al服务器产业链包括芯片CPU、GPU,内存DRAM和内存接口及HBM,本地存储SSD,NIC、PCle插槽、散热和等。服务器CPU架构包括X86、ARM、MIPS和RISC-V等。

Al芯片是Al服务器算力的核心,专门用于处理人工智能应用中的大量计算任务,Al芯片按架构可分为GPU、FPGA、ASIC和NPU等。HBM作为内存产品的一种,已经成为高端GPU标配,可以理解为与CPU或SoC对应的内存层级,将原本在PCB板上的DDR和GPU芯片同时集成到SiP封装中,使内存更加靠近GPU,使用HBM可以将DRAM和处理器(CPU,GPU以及其他ASIC)之间的通信带宽大大提升,从而缓解这些处理器的内存墙问题。

服务器本地存储的选择方案则包括HDD和SSD,SSD的主要硬件组件包括NAND Flash、主控芯片和DRAM,核心软件为企业级SSD的固件,数据中心级SSD已不再是一个硬盘,而是一个具备处理、缓存、计算、安全保护的小型系统,SSD渗透率有望逐渐提升。

从服务器和Al服务器构成看,芯片和存储都是核心,决定着Al服务器的算力和宽带大小。传统的通用型服务器中,售价10424美金的2xIntel Sapphire Rapids Server,CPU的成本占比约17.7%,内存和硬盘占比超过50%。而Al服务器,售价为268495美金的Nvidia DGXH100中,CPU占比仅1.9%,GPU占比高达72.6%。内存价值量提升,但占比下降至4.2%左右。

相关阅读:




相关阅读:


更新提醒:“存储系统基础知识全解(终极版)”和“服务器基础知识全解(终极版)”已经更新发布,还没有获取的读者,请在点击“原文链接”在微店留言获取PDF阅读版本)。



转载申明:转载本号文章请注明作者来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。

推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)和“存储系统基础知识全解(终极版)pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价439元)。


温馨提示:

扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情


微信扫码关注该文公众号作者

来源:架构师技术联盟
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。