4th GEN NVLink
2023年７月現在NVLINKの外部接続に対応した製品は正式には発表されていない。DGX-2等コンセプト及び大規模クラスター構成例に登場する。
PHYは400GBASE Ethernetと同じ、NVLink Network
- 50 Gbaud PAM4 x2 per NVLink
- Four NVLinks per cage(OSFP)
ですので4x200G OSFPとして扱える。
NVLink/InfiniBand/Omnipath/Ethernet 何が違うのか。
光トランシーバーから見れば伝送速度が多少異なる程度の差しかない。しかし、表記の方法がそれぞれ異なるので難しい。モジュールもしくはコネクターの仕様を含むもの。LANE速度が決まっているもの。伝送メディアが決まっているもの。
| lane speed | modulation | module | |
|---|---|---|---|
| NVLink 4.0 200Gbps | 100 | 2x50GBAUD PAM4 | 色々 |
| 400G Ethernet | 103.125(色々) | PAM4 | 色々 |
| Infiniband 4xNDR | 106.25 | 53.125Gb PAM4 | OSFP |
| 128GFC | 112.20 | QSFP28 | |
| OTU4 | 112.00(色々) | 色々 | |
| Omni-Path OPX |
CMIS上の定義
MediaInterfaceID : IB NDR 0x32
Ethernet, Fibre Channel, InfiniBand, CPRI, OTNは定義されている。
SFF-8024のtableにはNVLink、Omni-Pathの定義は無い。
半二重帯域と全二重帯域
通信の世界ではBit per secondで全二重帯域を表記するのに対して、コンピュータバスの世界ではByte Per Secondで半二重帯域を表記する。NVIDIA H100の外部通信帯域が900GBytes/secとしているのは、
200G x 18 link x 2(半二重換算) /8 = 900Gbyte/sec
製品仕様例
| description | link | port | BW |
| DGX H100 SUPERPOD NVLINK SWITCH | 128 NVLink4 | 32xOSFP | 25.6Tbps |
| 400G InfiniBand switch | 64x400G | 32xOSFP | 51.2Tbps |
| cisco Nexus 9232E 32 port QSFP-DD800 | 32x800G | 32xQSFP-DD800 | 25.6Tbps |
IBTA : The InfiniBand Trade Association
各世代のNVLink
PCに刺したGPUカード間を接続するNVLink SLIの方が一般には馴染みがあると思います。それとは別にGenegation別にNVLinkとして呼んでいるものです。
| version | bandwidth | lanes | lane speed | |
|---|---|---|---|---|
| NVLink 1.0 | 160Gbps | 8 | 20Gbps | |
| NVLink 2.0 | 200Gbps | 8 | 25Gbps | |
| NVLink 3.0 | 200Gbps | 4 | 50Gbps | |
| NVLink 4.0 | 200Gbps | 2 | 100Gbps |
| version |
bandwidth/GPU
(half)
|
full dup |
Architecture | |
|---|---|---|---|---|
| P100 DGX-1 | switch less 8 GPU | |||
| Second Generation | 300GB | 6x200Gbps | V100 Volta DGX-2 | 16 GPU with 10 SW |
| Third Generation | 600GB | 12x200Gbps | A100 Ampere | 16 GPU with 12 SW |
| Fourth Generation | 900GB | 18x200Gbps | H100 Hopper |
256 GPU with 146 SW
50GBAUD PAM4 150m max
|
DGX A100は６個のNVLink SW、4.8TB容量。これを介して最大16 GPUがNVLINK接続。
DGX H100は４個のNVLink SW、その上位に18個のNVLink SWを階層化し。256 GPUがNVLink接続
NVSwitch/NVLink Switch構成例
| H100 | 3rd gen NVswitch | NVLink Switch | IB Switch | |
|---|---|---|---|---|
| H100 4GPU | 4 | 0 | 0 | 0 |
| H100 8GPU DGX | 8 | 4 | 0 | 0 |
| H100 80 GPU BasePOD | 80 | 10x4 | 0 | 2 |
| H100 256GPU SuperPOD | 256 | 32x4 | 18 | 0 |
| H100 1024GPU IB SuperPOD | 1024 | ∞ |
NVLinkとNVSwitchとNVLink switch
| links | lane | BW | ext cage | |
|---|---|---|---|---|
| Fourth Gereration NVLink | 1 | 2 | 200Gbps | |
| Third Gen NVSwitch | 64 | 128 | 12.8Tbps | |
| DGX H100 Third Gen NVSwitch A | 8x5 + 5x4 | 2x(8x5+5x4) | 12Tbps | 5xOSFP |
| DGX H100 Third Gen NVSwitch B | 8x4 + 4x4 | 2x(8x4+4x4) | 9.6Tbps | 4xOSFP |
| NVLink Switch(2xNVSwitch chip) | 4x32 | 2x4x32 | 25.6Tbps | 32xOSFP |
NVIDIA Scalable Hierachcal Aggregation and Reduction Protocol(SHARP)
NVLink switchの経路制御を行うプロトコル。並行パス、マルチキャストもサポート。
InfinibandとNVLinkで運用。