英伟达NVLink技术深度分析

7月前

NVIDIA NVLink已成为高性能计算（HPC）和人工智能领域的关键技术。本文深入探讨了NVLink的复杂性，并介绍NVSwitch芯片、NVLink服务器和NVLink交换机，以揭示其在不断演进的先进计算领域中的重要性。

关于CPU、服务器和存储详细技术，请参考“服务器基础知识全解(终极版)”，“2023年服务器计算机CPU行业报告”、“2023年机架式服务器行业洞察”、“2023~2025服务器CPU路线图”、“2023服务器产业链及市场竞争格局”、“存储系统关键技术全解（终极版）”、“更新下载：存储系统基础知识全解（终极版）”、“存储芯片技术基础知识介绍（2023）”等等。

什么是NVIDIA NVLink

NVLink是一种解决服务器内GPU之间通信限制的协议。与传统的PCIe交换机不同，NVLink带宽有限，可以在服务器内的GPU之间实现高速直接互连。第四代NVLink提供更高的带宽，每条通道达到112Gbps，比PCIe Gen5通道速率快三倍。

NVLink旨在为GPU直接互连提供简化、高速、点对点的网络，相比传统网络减少了开销。通过在不同层次提供CUDA加速，NVLink减少了与通信相关的网络开销。NVLink随着GPU架构的演进不断发展，从P100的NVLink1到H100的NVLink4，如图所示。NVLink 1.0、NVLink 2.0、NVLink 3.0和NVLink 4.0之间的关键区别在于连接方式、带宽和性能。

NVSwitch芯片

NVSwitch芯片是一种物理芯片，类似于交换机ASIC，可通过高速的NVLink接口连接多个GPU，提高服务器内的通信和带宽。第三代NVIDIA NVSwitch可支持以900 GB/s的速率互连每对GPU。

NVSwitch3芯片具有64个NVLink4端口，提供总共12.8 Tbps的单向带宽或3.2 TB/s的双向带宽。NVSwitch3芯片的独特之处在于其集成了SHARP功能，对多个GPU单元的计算结果进行聚合和更新，减少网络数据包并提高计算性能。

NVLink服务器

NVLink服务器采用NVLink和NVSwitch技术连接GPU，通常可在英伟达（NVIDIA）的DGX系列服务器或具有类似架构的OEM HGX服务器中找到。这些服务器利用NVLink技术，提供出色的GPU互联性、可扩展性和高性能计算能力。2022年，英伟达（NVIDIA）宣布推出第四代NVIDIA® DGX™系统，这是世界上首个采用新的NVIDIA DGX H100服务器构建的AI平台。

因此，NVLink服务器在科学计算、人工智能、大数据处理和数据中心等关键领域已经变得不可或缺。通过提供强大的计算能力和高效的数据处理，NVLink服务器不仅满足了这些领域的严格要求，还推动了这些领域的进步和创新。

NVLink交换机

2022年，英伟达（NVIDIA）将NVSwitch芯片独立出来，并制作成NVLink交换机，用于连接主机之间的GPU设备。它采用了1U尺寸设计，具有32个OSFP端口；每个OSFP端口包含8个112G PAM4通道，每个交换机内置2个NVSwitch3芯片。

NVLink网络

NVSwitch物理交换机将多个NVLink GPU服务器连接成一个大型Fabric网络，即NVLink网络，解决了GPU之间的高速通信带宽和效率问题。每个服务器都有独立的地址空间，为NVLink网络中的GPU提供数据传输、隔离和安全保护。当系统启动时，NVLink网络通过软件API自动建立连接，并可以在运行过程中更改地址。