Bendi新闻
>
智算中心改造:网络成大模型训练瓶颈,节点内外多架构并存

智算中心改造:网络成大模型训练瓶颈,节点内外多架构并存

6月前

本文来自“新型智算中心改造:网络成大模型训练瓶颈,节点内外多方案并存”。AI大模型训练和推理拉动智能算力需求快速增长。

a)模型迭代和数量增长拉动AI算力需求增长:从单个模型来看,模型能力持续提升依赖于更大的训练数据量和模型参数量,对应更高的算力需求;从模型的数量来看,模型种类多样化(文生图、文生视频)和各厂商自主模型的研发,均推动算力需求的增长。

b)未来AI应用爆发,推理侧算力需求快速增长:各厂商基于AI大模型开发各类AI应用,随着AI应用用户数量爆发,对应推理侧算力需求快速增长。

智算中心从集群走向超级池化。智算中心是以GPU、AI加速卡等智能算力为核心,集约化建设的新型数据中心;随着大模型普遍进入万亿规模,算力、显存、互联需求再次升级,高速互联的百卡“超级服务器”可能成为新的设备形态,智算中心将走向超级池化阶段,对设备形态、互联方案、存储、平台、散热等维度提出新的要求。

网络互联:节点内外多方案并存。

1)节点内:私有方案以英伟达NVLink为代表,NVLink已经发展至第五代产品,同时支持576个GPU之间的无缝高速通信;开放技术方案以OAM和UBB为主,OCP组织定义了业内通用的AI扣卡模组形态(OAM)-基板拓扑结构(UBB)设计规范。

2)节点间:主要方案为Infiniband和RoCEv2;Infiniband网络主要包括InfiniBand网卡、InfiniBand交换机、Subnet Management(SM)、连接件组成;RoCEv2网络是一个纯分布式的网络,由支持RoCEv2的网卡和交换机、连接件、流控机制组成。InfiniBand在网络性能、集群规模、运维等方面具备显著优势。

相关阅读:

转载申明:转载本号文章请注明作者来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。

推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)和“存储系统基础知识全解(终极版)pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价399元)。


温馨提示:

扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情


微信扫码关注该文公众号作者

来源:架构师技术联盟

相关新闻

AI智算网络两大主流架构及差异分析IT影响中国2023:锐捷AI-FlexiForce智算中心网络解决方案荣获影响力解决方案奖智算中心:AI产业化、产业AI化智领全栈 模力全开|锐捷网络携智算中心网络方案亮相2024GIDC姚期智:超大型大模型的治理,需要尽快研发出弱智吧:大模型变聪明,有我一份贡献大模型场景下智算平台的设计与优化实践中移集智:2024政务大模型产业图谱研究报告最新:数智本草大模型发布从智算到密算,大模型数据困境新解法 | 智者访谈2024WAIC世界人工智能大会|锐捷网络:助力AI新时代,探索智算网络新机遇2.1 亿大单、克融云智算中心一期二标段Meta发布3D Gen AI模型;天府智算西南算力中心在成都正式投运,助力人工智能产业发展丨AIGC日报全网围观魏建军直播:长城端到端智驾大模型挑战重庆「魔幻路况」百川智能王小川:大模型价格战是好事;智源发布全球首个低碳万亿语言模型Tele—FLM丨AIGC日报没想到吧,中文互联网上最好的大模型语料库是:弱智吧免费开放!智谱Batch API正式上线:GLM-4大模型批量处理、无并发限制反击美国之战!七部门:加快突破GPU芯片等技术,建设超大规模智算中心!SpaceX将于1月31日向国际空间站发射天鹅号货运飞船;七部门:加快突破GPU芯片等技术,建设超大规模智算中心丨智能制造日报“圣瞳智巡”工业巡检大模型通过工信部工业文化发展中心“AI产业创新场景应用案例”评估对话林咏华:刚在“AI春晚”上开源了3.4T数据集的智源,是如何死磕大模型数据难题的智谱 AI 推出新一代基座大模型 GLM-4,能力逼近 GPT-4,配备多模态、长文本和智能体应对算力焦虑的Chiplet芯片架构探索与多物理场仿真|智猩猩Chiplet技术公开课第9期预告越过智算云发展拐点!解读天翼云智算服务,用“组合拳”突围大模型训推难题
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。