深度解读RoCE v2网络技术

7月前

在日新月异的网络技术领域中，远程直接内存访问（RDMA）技术已成为优化数据传输流程、提升整体网络效能的关键驱动力。其中，以太网融合RDMA技术——RoCE（RDMA over Converged Ethernet），其第二代版本RoCE v2凭借显著的性能提升与更强的灵活性脱颖而出。

本文来自“深度解读RoCE v2网络技术”，将深度解读RoCE v2的核心技术原理、配套网卡设备，并对比分析其与InfiniBand技术的差异。

相关阅读：

初识RDMA网络传输技术

InfiniBand，撼动不了以太网？

英伟达Quantum-2 Infiniband平台技术A&Q

一颗Jericho3-AI芯片，用来替代InfiniBand？

RoCE技术在HPC中的应用分析

GPU集群：NVLink、InfiniBand、ROCE、DDC技术分析

InfiniBand高性能网络设计概述

一文了解InfiniBand和RoCE网络技术

关于InfiniBand和RDMA网络配置实践

InfiniBand与RoCE对比分析：AI数据中心网络选择指南

什么是RoCE v2技术？

RoCE v2是一种专为实现以太网环境下低延迟、高吞吐量数据传输而设计的RDMA协议。相较于涉及多重处理层次的传统数据传输方式，RoCE v2实现了系统间的直接内存访问机制，最大限度地减少了CPU的参与和降低通信延迟。这一特性赋予了RoCE v2在对数据交换速度及效率有着极高要求的应用场景中无可比拟的优势，例如高性能计算（HPC）环境、数据中心以及云计算架构。

RoCE v2是在前一代RoCE v1的基础上演进而来的，通过引入一系列改进措施有效解决了原有局限性问题，并全面提升了性能表现。该协议充分利用了融合以太网基础设施，使得传统以太网流量与RDMA流量能够在同一网络结构中共存共荣。这种创新性的融合设计不仅简化了网络管理操作，还消除了搭建独立RDMA架构的需求，从而极大地增强了RoCE v2的易用性和经济效益。

RoCE网卡

在RoCE v2技术体系中，核心硬件设备之一是RoCE网络接口卡（简称RoCE网卡），这种专门设计的网卡旨在高效支持RDMA操作。作为系统间直接内存访问的关键实现载体，RoCE网卡集成了必要的硬件特性，能够将CPU从繁重的RDMA任务中解脱出来，从而显著降低数据传输延迟，并有力提升整个系统的运行性能。

而构建高性能网络交换机的核心基础在于其采用的转发芯片技术。值得一提的是，Tomahawk3系列芯片已广泛应用于各类交换机产品之中，且随着市场趋势的发展，越来越多的交换机开始支持更新一代的Tomahawk4系列芯片。这种向更先进芯片技术的过渡进一步突显了这些芯片在当前商业领域中的重要地位，它们被普遍用于高速、大容量的数据包转发处理。

RoCE v2与InfiniBand技术对比

RoCE v2（基于以太网融合的RDMA第二版）和InfiniBand均为针对数据中心及高性能计算环境设计，旨在提供高速、低延迟通信解决方案的技术。以下从不同层面剖析两者的关键差异。

物理层架构

RoCE v2：依托于现有的以太网基础设施，允许在同一网络中整合存储数据流和常规数据流量，因此更易于融入既有的数据中心架构。

InfiniBand：采用独立于以太网之外的专有通讯结构，通常需要专门构建的InfiniBand网络，并可能涉及独立的线缆布设和专用交换机设备。

协议栈与网络协议兼容性

RoCE v2：通过以太网实现RDMA（远程直接内存访问）功能，其能够与传统的TCP/IP协议栈无缝集成，从而确保了对标准网络协议的兼容性。

InfiniBand：配备了一套专为高速、低延迟传输优化定制的自有协议栈和网络架构，使用时可能需要安装特定的驱动程序和进行相应的配置调整。

交换机制

RoCE v2：能够在支持数据中心桥接（DCB）特性的标准以太网交换机上运行，从而实现无损以太网的数据传输。

InfiniBand：则依赖于专为追求最低延迟和最高吞吐量而设计的InfiniBand交换机，以保证极致性能表现。

拥塞管理与控制

RoCE v2：

拥塞管理：RoCE v2依赖于以太网交换机所支持的数据中心桥接（DCB）特性来有效应对网络拥塞状况。通过启用DCB，RoCE v2能够创建一个无损以太网环境，从而避免因拥塞导致的数据包丢失问题。

拥塞控制：RoCE v2本身并不具备内置的专门解决方案，而是主要依靠底层以太网基础设施所提供的功能来管理和缓解拥塞现象。

InfiniBand：

拥塞管理：InfiniBand具备原生的拥塞控制能力。它运用信用流控等机制，确保即使在网络流量高峰时期也能防止拥塞发生，保障通信过程中的数据完整性。

拥塞控制：InfiniBand还整合了自适应路由和先进的拥塞控制算法，这些算法能够根据实时网络状况动态调整数据传输路径，从而有效地预防和减轻网络内的拥塞问题。

路由机制与拓扑结构

RoCE v2：

路由机制：RoCE v2通常采用传统的以太网路由协议进行路由决策，如路由信息协议（RIP）或开放最短路径优先（OSPF）。这意味着RoCE v2网络中的数据传输路径选择是基于这些成熟的标准路由协议实现的。

拓扑结构：RoCE v2普遍应用于标准以太网环境之中，其路由策略的制定和执行受到底层以太网基础设施的制约和影响。这意味着在设计和实施RoCE v2网络时，需要考虑现有的以太网架构，并根据该架构的特点来进行路由优化。

InfiniBand：

路由机制：InfiniBand具备针对低延迟、高吞吐量通信特别优化的路由机制，它能够支持多路径设定以实现网络冗余及负载均衡，确保高效稳定的传输性能。

拓扑结构：InfiniBand网络支持丰富的配置方式，包括但不限于胖树形（Fat Tree）、超立方体以及多路配置等多样化布局。不同的拓扑结构选择对路由决策有着直接影响，可根据实际应用场景和需求灵活构建高度可扩展且适应性强的高性能网络。

在选择RoCE v2与InfiniBand这两种技术时，决策依据主要源于现有的基础设施条件、特定应用需求以及实际环境的具体性能指标。RoCE v2的一大优势在于能够更加平滑地整合到已有的以太网网络架构中，这对于希望在不改变现有网络基础的前提下提升数据通信效率的用户尤为适用。

相反，对于那些追求极致性能表现和高度可扩展性的高性能计算场景，InfiniBand则因其专为低延迟、高吞吐量设计的特性及内置优化的路由与拥塞控制机制而可能成为更优的选择。简而言之，RoCE v2更适合于充分利用现有资源进行高效升级，而InfiniBand则更倾向于满足对性能有严格要求且不吝啬投入独立专用网络设施的高端应用场景。

UEC推出新型传输协议

在2023年7月19日，超高速以太网联盟（UEC）正式宣告成立，集结了AMD、Arista、Broadcom、Cisco、Eviden、HPE、Intel、Meta和Microsoft等一众行业领军企业作为创始成员。这些公司在网络基础设施构建、人工智能技术开发、云计算解决方案以及高性能计算部署等领域积累了深厚且长达数十年的专业经验。该联盟明确指出，尽管远程直接内存访问（RDMA）技术自数十年前确立以来，在数据传输领域取得了显著成果，但随着当前AI与ML应用对网络流量需求的急剧增长与复杂化，传统的RDMA已无法充分满足其严苛的标准。尤其当RDMA倾向于采用大块数据传输模式时，可能导致链路负载不均衡，并加剧网络负担过重的问题。

鉴于此，UEC倡导并着手启动一项旨在研发集成RDMA特性的现代传输协议计划，以适应新兴应用对高效率、低延迟和更优化资源分配的需求，从而推动网络通信技术实现新的跨越。

总结

RoCE v2在RDMA技术领域扮演着举足轻重的角色，为追求高性能与低延迟数据传输的组织提供了一种有力的解决方案。通过巧妙融合以太网基础设施，并结合超高速以太网联盟（UEC）所推动的新型传输协议的发展成果，RoCE v2成功适应了从高性能计算环境直至云计算等各种复杂应用场景，展现出其灵活且经济高效的特性。

尽管相较于InfiniBand比较中凸显出RoCE v2的诸多优势，但在选择最为合适的RDMA技术方案时，各组织仍需充分考虑自身的特殊需求及现有的基础架构条件。随着技术持续演进，RoCE v2及其相关的技术创新将继续在塑造未来高性能网络格局中扮演决定性角色。

相关阅读：

转载申明：转载本号文章请注明作者和来源，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

推荐阅读

更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新，现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)”和“存储系统基础知识全解（终极版）”pdf及ppt版本，后续可享全店内容更新“免费”赠阅，价格仅收249元(原总价399元)。

温馨提示：

扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。

微信扫码关注该文公众号作者

来源：架构师技术联盟