在HPC和AI训练集群中，网络互联经常被低估，但它的延迟和带宽直接决定多节点扩展效率。InfiniBand并不是普通以太网的加速版，而是一套从物理层到传输层都面向高性能计算设计的互联架构。它原生支持RDMA，让数据从一块网卡直接写入远端内存，绕过操作系统内核，端到端延迟可以压到微秒级。对大规模GPU集群来说，选择InfiniBand意味着用更高的初期成本换取更确定的通信性能，但具体怎么选，需要结合计算规模、通信模式和未来扩展来判断。
InfiniBand解决了什么问题
传统以太网依靠TCP/IP协议栈传输数据，数据从网卡到达应用程序需要经过多次内存拷贝和内核调度，这不仅带来几十微秒的延迟，还会占用大量CPU资源。当几百个GPU节点同时做梯度同步时，CPU被网络处理拖累，GPU算力就会空转。InfiniBand的RDMA机制允许应用直接访问远端内存，零拷贝传输把CPU从数据搬运中解放出来，单次通信延迟可以做到1到2微秒。
除了延迟低，InfiniBand的拥塞控制和信用调度也比以太网更严格。以太网在拥塞时依赖丢包和重传，而InfiniBand交换机在链路层使用基于信用的流量控制，几乎不会因为缓冲区溢出而丢包。这种确定性对AI训练中的AllReduce集合通信非常重要，因为一次集合操作需要所有节点同时参与，任何一个节点的重传都会拖慢整个迭代。RoCE虽然把RDMA搬到了以太网上，但需要配置PFC、ECN等参数，稍有不慎就会出现毛刺，InfiniBand在这方面更省心。
速率和设备选型：不是越高越好
InfiniBand的速率规格以每端口带宽命名，常见的有100G EDR、200G HDR和400G NDR。单从数字看，速率翻倍似乎总能带来性能提升，但实际还要看网卡、交换芯片和线缆是否匹配。网卡方面，NVIDIA ConnectX系列是主流选择，不同代数对应不同速率上限，例如200G HDR需要ConnectX-6或更高，400G NDR则需要ConnectX-7或更新的型号。选购时要注意PCIe接口带宽，PCIe 4.0 x16的可用带宽约256Gbps，刚好满足200G HDR双端口，如果上400G NDR则建议搭配PCIe 5.0 x16。
交换机的端口密度和背板带宽同样关键。一台40端口200G HDR交换机在无阻塞情况下能提供8Tbps的总带宽，但如果是阻塞式设计，实际可用带宽会打折扣。下表对比了不同速率规格的适用场景：
| 速率规格 | 单端口速率 | 常用封装 | 典型适用规模 |
|---|---|---|---|
| EDR | 100Gbps | QSFP28 | 8到16节点 |
| HDR | 200Gbps | QSFP56 | 16到64节点 |
| NDR | 400Gbps | QSFP-DD/OSFP | 64节点以上 |
线缆选择也不能随意。短距离机柜内互联可以用DAC铜缆，成本低但传输距离通常不超过3米；跨机柜或跨行需要AOC有源光缆或光模块加光纤，距离可达100米以上。如果线缆与交换机端口封装不匹配，比如拿QSFP28线缆插QSFP56端口，可能无法协商到200G速率，只能降速运行。
拓扑结构决定扩展上限
InfiniBand网络的性能和扩展性很大程度上由拓扑决定。小规模集群可以用单台交换机做星型连接，所有节点直连交换机，简单且无阻塞。但当节点数超过单台交换机端口数时，就需要多级交换。胖树拓扑是最经典的方案，它通过增加层级保持无阻塞，但代价是线缆数量和成本成倍增长。以两层胖树为例，若要支持128个节点，通常需要多台叶交换机和脊交换机，线缆数量可能超过节点数本身的数倍。
DragonFly+和3D Torus是面向超大规模集群的替代方案。DragonFly+利用全互联的组内拓扑减少层级，适合数千节点以上；3D Torus则常用于HPC超算，将节点排列成三维网格，每个节点和六个邻居相连，节省交换机数量但路由复杂度较高。对绝大多数企业级AI训练集群来说，两层胖树已经足够，盲目追求超大规模拓扑会带来不必要的管理和维护负担。
在规划拓扑时，阻塞比是一个重要指标。阻塞比1:1表示无阻塞，任何端口都能同时以线速通信；阻塞比2:1意味着总上行带宽只有下行的一半，多对一通信时会出现瓶颈。对于AllReduce这类流量模式，集合通信会产生多对一汇聚，如果阻塞比过高，训练效率会明显下降。因此购买交换机时不要只看端口数量，还要确认其实际背板带宽和阻塞比。
HPC与AI训练场景的差异
HPC和AI训练虽然都用InfiniBand，但通信模式存在差异，选型侧重点也不一样。传统HPC应用以MPI并行程序为主，通信中既有大量小消息的点对点传输，也有集合通信操作，对延迟的敏感度极高，微秒级差异可能影响强扩展效率。AI训练则主要依赖梯度同步，数据量从几十兆到几百兆不等，AllReduce和AllGather是主要模式，对带宽利用率的要求更高。
这意味着，HPC集群可能更值得为低延迟网卡和高质量交换芯片付费，而AI训练集群在预算有限时，可以优先保证带宽和端口密度。例如一个32节点的GPU训练集群，每步梯度数据约100MB，使用200G HDR网络理论上每步同步时间约数毫秒，如果换成100G EDR，时间会翻倍，但GPU计算时间往往更长，需要看通信占比。通信占比越高，越应该升级网络。
另外，AI训练对网络抖动很敏感。一次AllReduce的耗时取决于最慢的节点，如果某条链路出现拥塞或降速，所有GPU都要等待。因此AI集群通常建议使用无阻塞胖树，并尽量保持线缆规格一致，避免混用不同速率或不同长度的线缆。
常见误区与采购建议
选购InfiniBand网络时，有几个误区需要避开。第一，只看网卡速率，忽视交换机端口密度和阻塞比。即使每块网卡都是400G，但交换机上联带宽不足，实际通信仍会卡在汇聚层。第二，忽略软件栈兼容性。InfiniBand需要OFED驱动、UCX通信库以及MPI或NCCL的配合，不同版本之间可能存在不兼容，采购前应在目标操作系统和框架上做验证。第三，为短期需求超配网络。如果未来两年内节点数不会超过32个，选择200G HDR搭配无阻塞交换机完全够用，不必追求NDR。
具体建议可以按以下清单评估：
- 根据GPU节点数和通信占比选择速率，8到16节点选100G EDR，16到64节点选200G HDR，64节点以上再考虑400G NDR；
- 确认交换机端口密度和背板带宽，尽量选择无阻塞或低阻塞比型号；
- 网卡和交换机应使用同一代产品，避免混插导致速率协商失败；
- 线缆类型与端口封装必须匹配，短距离优先DAC，长距离用AOC或光模块；
- 预留至少20%的端口余量，方便后续扩展；
- 提前验证驱动、UCX、NCCL或MPI版本的兼容性。
总的来说，InfiniBand是为确定性低延迟而生的互联技术，在HPC和AI训练中仍然难以被普通以太网完全替代。选型时把速率、拓扑、线缆和软件生态放在一起评估，才能买到真正适合当前负载和未来扩展的网络方案，而不是为参数表上的高数字买单。
InfiniBand网络低延迟互联HPC AI训练修改时间：2026-09-26 10:36:07