InfiniBand

InfiniBand — це мережевий стандарт з високою пропускною спроможністю та низькою затримкою, який використовується для взаємного з'єднання серверів і сховищ всередині дата-центрів, найчастіше для кластерів високопродуктивних обчислень та тренування ШІ. На відміну від стандартного Ethernet, InfiniBand пропонує вбудований прямий доступ до пам'яті (RDMA), дозволяючи GPU та CPU обмінюватися даними без участі центрального процесора хосту, зменшуючи затримку до однозначних мікросекунд. Комутатори InfiniBand серії Quantum від NVIDIA, набуті у результаті придбання Mellanox у 2020 році, домінують на ринку і є стандартною тканиною, що зв'язує GPU кластери, підключені через NVLink, такі як ті, побудовані навколо систем H100, B200 та GB200, хоча альтернативи на основі Ethernet — включаючи специфікації від Ultra Ethernet Consortium — набирають популярність як менш дорогий варіант для великих AI тканин. Вартість за портом InfiniBand та споживання потужності є суттєвими статтями витрат у бюджетах побудови AI центрів.