更快的PCIe 6.0,更快的1.6T光模块
英伟达在GTC 2024大会上发布了基于“Blackwell”架构的 GB200、HGXB200 和 HGX B100,其中 GB200 将集成 2 个 Blackwell 系列 GPU 和 1 个 Grace CPU,支持内部 NVLink v5 和 PCIe 6.0。
PCIe 带宽比“Hopper”架构扩大了一倍。
与 Blackwell 适配的 Quantum-X800 InfiniBand 平台带来确定的 1.6T 光模块需求。其中 Quantum-X800 系列的 Q3400-RA 4U 交换机通过 72 个 OSFP 光模块提供144 个 800G 端口。ConnectX-8 智能网卡升级到 XDR 800Gb/s,同时后向兼容 NDR400Gb/s,HDR 200Gb/s。ConnectX-8 智能网卡可以使用 4*224G 的 800G 光模块。
Blackwell 早期产品选择兼容 PCIe 5.0
截至2024年6月30日,英伟达官网公布的“Blackwell“系列产品的 Datasheet显示,目前“Blackwell”架构的服务器暂时配置PCIe 5.0 网卡,其中:DGX SuperPOD NVL72 搭载了 72 张 Blackwell GPUs,网络配置为 72 张单端口400G 的 ConnectX-7 网卡,需要配置 72 个基于 NDR 的 400G 光模块;DGX B200 搭载了 8 张 Blackwell GPUs,配置了 8 张 ConnectX-7 网卡,需要配置 4 个基于 NDR 的 800G 光模块(2×400G)。
Blackwell 服务器暂时配置 ConnectX-7 网卡,与 PCIe 6.0 的整体进度有关。其中英伟达 ConnectX-7 400G 网卡采用 InfiniBand NDR,双向速率为800Gbit/s,需要 PCIe 5.0 ×16; 英伟达 ConnectX-8 800G 采用 InfiniBand XDR,双向速率为 1600Gbit/s,需要 PCIe 6.0 ×16。
2024年PCI-SIG公布了PCIe 6.0 和 PCIe 7.0 的最新进展情况。PCIe 6.0 深度一致性测试计划在 2025 年完成,PCIe 7.0 的最终规格计划于 2025 年发布。
PCIe 6.0 有望在 2024 年商用
PCIe 技术标准自 2003 年推出 PCIe 1.0 以来,经历了一系列重要的迭代。每一代标准的发布,如 PCIe 2.0、3.0、4.0 和 5.0,都显著提升了传输速率。2021 年发布的 PCIe 6.0 标准将单向传输速率提升至 64 GT/s,而最新的 PCIe 7.0 标准则预示着 2025 年将实现 128 GT/s 的单向传输速率,开启高速互连的新时代。
PCIe 6.0 是 PCIe 问世以来变化最大的一次,改用 PAM4 脉冲调幅信令,1b/1b 编码,单个信号就有能四种编码(00/01/10/11)状态,比之前翻番,允许承载最高 30GHz频率,并配套 FEC 前向纠错机制,纠正链路中的信号错误,保障数据完整性。
2023 年 9 月,Synopsys 展示了业界首个与英特尔 PCIe 6.0 测试芯片互操作的PCI Express 6.0 IP。
Alphawave 于 2023 年 12 月和 Keysight 合作测试了 PCIe 6.0 控制器,成功达到了 64GT/s 的上限、2024 年 3 月和中际旭创联合展示了 Alphawave PCIe 6.0 子系统和 LPO OSFP 光模块、2024 年 6 月和 Amphenol 合作展示了 OSFP-XD PCIe 直连电缆在Alphawave PAM4 SerDes PHY 控制下进行高宽带、低延迟通道解决办法。Alphawave表示,这为 2024 年首批商用 PCIe 6.0 设备的到来做好了准备。
PCIe 产业市场规模收益 AI 需求,有望持续增长。根据 Technavio 预测,2023年至 2028 年,PCIe 市场预计将以每年 28.22%的速度增长,达到 537.4 亿美元,并预计在 2033 年达到 1233 亿美元。按地区划分,全球 PCIe 市场分为北美、亚太地区、欧洲、南美、中东和非洲,在预测期内北美将占市场增长的 40%。
PCIe 7.0 有望引入光通信
2024年4月PCI-SIG发布了PCIe 7.0的0.5版,将最高数据速率提高到128GT/s,并保留了与前几代规范的兼容性、6.0 的 Flit 编码和 PAM4 信号,且将物理层的总线频率提高了一倍。这可将扩展 PCIe 产品路线图,包括数据密集型应用和市场,800 千兆以太网、人工智能和机器学习、高性能计算 (HPC)、量子计算、超大规模数据中心和云。
在 2024 年 6 月的 PCISIG 大会上,Synopsys 使用 OpenLight 光子 IC 以 128Gb/s运行的 Synopsys PCIe7.0 PHY IP,提供业界唯一完整的 PCIe 7.0 IP 解决方案。
Cadence 展示了 PCIe 7.0 子系统测试芯片板,可以通过外部环回模式配置的非重定时光电链路,成功地发送和接收 128GT/s 信号,并留有多个数量级的余量;Rambus 推出了适用于高性能数据中心和 AI SoC 的 PCIe 7.0 IP 产品组合,包括 PCIe 控制器、重定时器和多端交换机;Alphawave 展示了用于快速实施下一代 PCIe 7.0 规范的 IP子系统解决方案,并展示了支持 DSP 的 PAM4 SerDes 技术。
关注1.6T光模块机会
首先,PCIe 6.0 产业进展有望帮助 1.6T 光模块在 2024 年具备交付条件,并配合英伟达 Blackwell 产品实现规模交付。我们建议关注确定受益 AI 需求的光模块、光引擎供应商:中际旭创、天孚通信、新易盛。
同时,建议关注 PCIe 6.0 产业链,以及 PCIe 7.0 引入光通信带来的带来的芯片、光器件新需求。
相关阅读:
InfiniBand高性能网络设计概述 面向E级计算的4款高性能处理器概述 基于鲲鹏处理器的高性能计算实践 高性能计算关键组件核心知识 一文全解高性能制造仿真技术 高性能计算:RoCE技术分析及应用 高性能计算:谈谈被忽视的国之重器 高性能计算:RoCE v2 vs. InfiniBand网络该怎么选? 高性能网络全面向RDMA进军
Intel下一代数据中心CPU:Chiplet设计,性能240%提升
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
微信扫码关注该文公众号作者