InfiniBand

InfiniBand是高吞吐量、低延迟网络标准，用于互连数据中心内的服务器和存储，最常用于高性能计算和AI训练集群。与标准以太网不同，InfiniBand提供原生远程直接内存访问（RDMA），允许GPU和CPU在无需主机CPU介入的情况下交换数据，延迟可低至个位数微秒。NVIDIA的Quantum系列InfiniBand交换机继承自其2020年收购Mellanox，主导市场，是连接NVLink互联的GPU集群（如基于H100、B200和GB200系统构建的集群）的标准架构，尽管基于以太网的替代方案（包括Ultra Ethernet Consortium的规范）作为大规模AI架构的成本更低的选项而获得进展。InfiniBand的单端口成本和功耗是AI工厂建筑预算中的重要项目。