Bendi新闻
>
GPU用得太多了,数据中心碰到大麻烦

GPU用得太多了,数据中心碰到大麻烦

9月前

👆如果您希望可以时常见面,欢迎标星🌟收藏哦~


来源:内容由半导体行业观察(ID:icbank)编译自hpcwire,谢谢。


GenAI GPU Squeeze的直接影响是降低可用性(无论是直接购买还是云访问)、增加成本并推动需求激增。


过去几年来,一个次要问题一直在发展。即使您的组织使用 GPU 保护了多个机架,您将如何为它们供电以及将它们放置在哪里?


例如,许多大学此前已在其校园数据中心放置了新设备。许多数据中心现在已经“耗尽”,没有更多的空间或电力。当前“GPU 机架”的估计范围为每个机架 50 至 100 KW(千瓦)(之前“CPU 机架”的估计为每个机架 10-17 KW)。如果你想共置 4 个 GPU 机架,那么能够提供 400 千瓦电力的数据中心可能很难找到。


这同样适用于提供 HPC 托管服务的小型公司。他们发现当前的数据中心已经耗尽,必须寻找空间和电力。这些公司是非超大规模企业,无法支撑整个数据中心园区。


JLL公司最近发布的一份报告《Data Centers 2024 Global Outlook》分享了一些有趣的趋势。该报告探讨了数据中心需要如何设计、运营和采购,以满足全球经济不断变化的需求,特别是 GPU 密集型 GenAI 集群所需的功率增加。


人工智能推动的增长预计将持续到不久的将来。预计消费者和企业在未来五年内生成的数据量将是过去十年创建的所有数据的两倍。


除了GPU计算需求外,GenAI的需求不断增长,数据中心存储容量预计将从2023年的10.1 ZB增长到2027年的21.0 ZB,五年复合增长率为18.5%。存储容量的增加将产生对更多数据中心的需求,而生成人工智能的更大能源需求(每个园区 300 至 500 多兆瓦)也将需要更节能的设计和位置。对更多电力的需求将要求数据中心运营商提高效率并与地方政府合作寻找可持续能源来支持数据中心的需求。


报告称,人工智能专用数据中心看起来与传统设施不同,可能需要运营商根据处理的数据类型或 GenAI 开发阶段来规划、设计和分配电力资源。在散热方面,GPU 的大幅增加将超过当前标准。在典型的数据中心中,空气冷却通常占数据中心平均用电量的大约 40%。用户,特别是超大规模企业和运营商,正在从传统的空气冷却方法转向液体冷却和后门热交换器。案例研究表明,液体冷却可显著降低功耗,高达 90%,同时提高性能并允许更密集的系统,从而增加机架功耗。


超大规模企业一直处于采用人工智能和高性能计算 (HPC) 的最前沿,对高密度基础设施的需求最大。目前,他们的大型设施的平均密度预计为每机架 36kW,随着液体冷却密度和 GPU 硬件的增加,IDC 预计未来几年复合年增长率将达到 7.8%,到 2027 年每机架密度将接近 50kW。


来源:仲量联行 数据中心2024全球展望


在采访 JLL 美国数据中心市场董事总经理 Andy Cvengros 时, HPCwire 了解到数据中心部署面临的许多问题。


他建议的第一个也是最重要的问题是规划。例如,Cvengros 提到,随着电网的有效利用和变压器的交付时间超过 三年,运营商将需要进行创新。 


GPU 的挤压正在数据中心层面上进行,其中 4-5 个机架的小型托管部署将很难找到数据中心,因为超大规模企业正在请求整个数据中心园区。


Cvengros 表示,所有主要都市区基本上都已经闲置,而内华达州里诺或俄亥俄州哥伦布等次要地区现在是新数据中心建设的黄金地段。预计需求将持续下去,新的数据中心预计需要 3.5 年才能建成。他重申,“计划是关键。”


他建议与一家专门为小型 HPC GPU 集群托管提供高性能系统的公司合作(即完全耗尽电力和空间的大学)。根据他的经验,数据中心提供商必须积极跟踪全球机会的使用情况和可用性,以提供任何近期托管功能。


数据中心挑战是一个全球性问题


仲量联行报告还列出了全球范围内为解决用电量增加问题所需的关键变革。


  • 在欧洲,三分之一的电网基础设施已有 40 多年的历史,到 2030 年估计需要 5840 亿欧元的投资才能实现欧盟的绿色目标。

  • 在美国,要实现升级电网并为电力供应提供更多可再生能源的能源转型目标,估计需要 2 万亿美元。

  • 数据中心的快速增长也给许多国家有限的能源带来了压力。例如,在新加坡,政府颁布了暂停令,暂时停止某些地区的建设,以仔细审查新的数据中心提案并确保符合该国的可持续发展目标。


全球 GenAI 能源“要求”为数据中心行业带来了机遇和挑战。GenAI 需要的电力规模是前所未有的。为 HPC 找到 GPU 只是问题的一半;在哪里插入它们可能会成为一个更大的挑战。



点这里👆加关注,锁定更多原创内容

END


*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。


今天是《半导体行业观察》为您分享的第3664期内容,欢迎关注。


推荐阅读


EUV光刻机重磅报告,美国发布

碳化硅“狂飙”:追赶、内卷、替代

芯片巨头,都想“干掉”工程师!

苹果,玩转先进封装

GPU的历史性时刻!

大陆集团,开发7nm芯片

张忠谋最新采访:中国会找到反击方法

EUV光刻的新“救星”

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID:icbank


喜欢我们的内容就点“在看”分享给小伙伴哦

微信扫码关注该文公众号作者

来源:半导体行业观察

相关新闻

空间站下不来上不去,滞留太空的美国宇航员麻烦大了特斯拉摊上大麻烦了炸了!加航空乘怒斥乘客!只为一张毯子…航班直接停飞!麻烦大了日本面临大麻烦了:北海道和琉球独立问题,有可能被中国端上餐桌40岁华男开车回纽约遭警方截停!车里竟藏有25万美元现金!这回麻烦大了!麻烦大了 华裔医学教授涉骗领经费1600万全美TOP 5机器学习博士:痛心,实验室H100数量为0!同实验室博士用GPU得靠抢消失13天的姜萍,这回麻烦大了…消失11天的姜萍,这回麻烦大了……姜萍爆火一周后,这回麻烦大了…消失7天的姜萍,这回麻烦大了…消失7天的姜萍,这回麻烦大了…...麻烦大了!杜鲁多外访6天吃掉$22万惹众怒!4天后面临"补选",恐提前下台!八大道华男为了种大麻,外州买了套房!结果还是被抓了个现行!这下麻烦大了!加拿大央行即将打开“利率盲盒”!加元麻烦大了,历史惊人相似...历史或重现!本周三利息"决定日":行业预测提前降息!加元麻烦大了!美国夫妇在香港工作35年,如今想回到美国养老,却遇到了大麻烦...日本晶圆厂,碰到麻烦了神秘大模型一夜“征服”所有人,超GPT-4却无人认领?网友:OpenAI 要有大麻烦了又一房地产巨头,麻烦大了...以色列又被“暴揍”,中东小霸王这次麻烦大了华男麻烦大了!绿卡恐不保!只因多年前经营非法按摩店被捕!如今再入境面临遣返!首例!加航延误获赔$2k高兴太早!有乘客被航司反告成功!麻烦大了!麻烦了!大温开发商撑不住掀拍卖潮!西捷罢工持续升温 800多航班被取消10万人受影响
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。