QSFP-DD機器とNVIDIA DGX H100の接続方法
(注：2023年7月現在実機で検証中)
NDIVIA DGX H100は最新AIサーバーとして注目されている製品です。インターコネクト用として４ポートのOSFP-RHSを備えていますが、二つのConnectX-7カードの出力が束ねられた変わった仕様です。つまり物理ポートは４ですが、一つのポートに二つのインターフェースが割り当てられている論理構成的には８と言う事です。
InfibiBandとEthernetどちらでも利用可能ですが、Ethernetとして利用する場合は多くのスイッチがOSFPをサポートしていませんのでQSFP-DDもしくはQSFP-DD800への変換する形態になります。
二分岐400G接続
純正のトランシーバーとして二つのMPOコネクタを備えた800G SR8が用意されています。この純正トランシーバーを使い対向に400G SR4のQSFP-DDトランシーバーがあれば良い訳ですが、400G SR4はかなり特殊で弊社でもラインナップしていません。
OSFP 800G DR8を刺して、QSFP-DD 400G DR4をスイッチ側に使う方が現実的です。短い距離ではAOCを使いたいところですが、LANE速度が異なりますので単純配線のブレイクアウトAOCはQSFP112となってしまいます。
二分岐200G接続
QSFP56を備えるSN4600と400G OSFP-RHS/2xQSFP56 AOCを使用しての接続がNVIDIAが提示している接続例の一つです。
MMS4X00-NL/NS/NMと400G DR4の相互接続性
NDIVIA型番MMS4X00は波長等から400G DR4と相互接続性があると推察されます。
NVIDIA型番"-FLT"は"RHS"の意味
OSFP SpecificationのOSFP-RHS。ヒートシンクを削除しmoduleの厚みを薄くすることによりPCIeカードの厚みに収まるようにしたmoduleです。放熱のためのヒートシンクをCAGEに備えている必要があります。
2x400G breakout接続
スイッチ側が800G対応(QSFP-DD800)であるなら、束ねたままの接続になります。光トランシーバーの観点からは800Gの単純接続です。但しスイッチ側の設定は2x400Gにする必要があります。
2x200G breakout接続
しかし、800G DR8も2023年３月時点では簡単に入手できません。より現実的なのは、OSFP-RHS 400G DR4/FR4を刺してlane速度を56Gbpsに減速設定しスイッチ側では2x200Gのbreakout設定とすることでしょう。400G FR4でbreakout設定は奇妙ではあります。
弊社としては短距離で有りスイッチ側はQSFP-DDが利用されることが多いと想定し、片側OSFP-RHS、対向QSFP-DDの両端で異なるモジュールタイプを配線したAOCを評価中です。
ストレージ用QSFP112ポート
(2023/07/06 訂正)
DGX H100はストレージ用として4ポートのQSFPも備えていて、これには二つのCPUそれぞれにConnectX-7が割り当てられています。当初はQSFP-DDであると想定されていましたが出荷されている製品はQSFP112です。QSFP28で100Gbpsとして利用できますが、400Gで利用するにはQSFP112とこれもマイナーなパッケージが必要です。
弊社としてはCY2023Q4を目標にQSFP112 400G DR4の提供準備を進めています。
NVLink Network用OSFPポート
内部のNVSwitchから出ている18ポートのOSFP。4pathのNVLINKが一つのOSFP。外部NVLink4 switchは2023年3月時点では製品出荷されていない模様。製品型番も未定義。Back-to-Backでの事例も見つけられず。
| node数 | 対node接続数 | 外部NVLink SW | 総本数 |
|---|---|---|---|
| 2 | 18 | 0 | 18 |
| 3 | 9 | 0 | 27 |
| 4 | 6 | 0 | 36 |
| 8 | 4 | 5 | 144 |
| 16 | 2 | 9 | 288 |
| 32 | 1 | 18 | 576 |
InfiniBandのback-to-back接続は不可
CX7経由のInfiniband又はEthernetポートは個別のH100に接続されていますので、DGX H100間を直接接続してしまうと対向の隣接するH100と通信できません。Infiniband swich経由の接続が必要です。
InfiniBand スイッチQM9700
外部NVLink SWが無い状況ではInfiniBandでnode間接続を行う構成が推奨されている模様。
2x400GのOSFPポートが32ですので、トランシーバー的には800Gで論理的には2x400G接続。800G OSFP AOCがお勧めです。
CX7 NIC OSFP-RHS仕様
単独の製品としてConnectX-7搭載のPCIe BUS対応のNICにはOSFP-RHS仕様とQSFP112があります。OSFP-RHSは8 laneですが4 laneの400GAUI-4 C2Mしかサポートしていない可能性が有ります。つまり、配線の半分しか使わない特殊なモジュールが必要です。
| PN | port | protocol | |
|---|---|---|---|
|
|
Single OSFP-RHS
|
2x400GAUI-4 C2M
|
DGX H100 interconnet用
|
|
MCX75310
|
Single OSFP-RHS
|
400GAUI-4 C2M
|
HGX H100用?
|
|
MCX715105
|
Single QSFP112
|
400GAUI-4 C2M
|
|
|
MCX715106
|
Dual QSFP112
|
400GAUI-4 C2M
|
DGX H100 storage port用
|
BlueField-3 NIC
QSFP112
MGX H100
(残念ながら2023年3月現在は弊社からOSFP 400G DR4/FR4及び800G DR8は提供できません)
NVLink back to back / QM9700 2x400G IB switch
| description | PN | spec | 参考価格 |
|---|---|---|---|
| 800G OSFP-RHS AOC | WS-OR8-AOC | max 30m | TBD |
対400G QSFP-DD
| description | PN | spec | 参考価格 |
|---|---|---|---|
| 400G OSFP-RHS/QSFP-DD AOC | WS-D4O4-AOC | max 50m | ¥350,000 |
| 400G OSFP-RHS DR4 | WST-OR4-DR4-C | max 500m | Q3CY23 |
| 400G OSFP-RHS FR4 | WST-OR4-FR4-C | max 2km | Q3CY23 |
| 800G OSFP-RHS DR8 | WST-OR8-DR8-C | max 500m | Q3CY23 |
| 800G OSFP-RHS 2xFR4 | WST-OR8-2FR4-C | max 2km | Q4CY23 |
対800G QSFP-DD800
| description | PN | spec | 参考価格 |
|---|---|---|---|
| 800G OSFP-RHS/QSFP-DD800 AOC | WS-D8O8-AOC | 30m | Q3CY23 |
| 800G OSFP-RHS DR8 | WST-OR8-DR8-C | 500m | Q3CY23 |
| 800G OSFP-RHS 2xFR4 | WST-OR8-2FR4-C | 2km | Q4CY23 |
| 800G OSFP-RHS FR8 | WST-OR8-FR8-C | 2km | Q1CY24 |
対400G OSFP
| description | PN | spec | 参考価格 |
|---|---|---|---|
| 800G OSFP-RHS DR8 | WST-OR8-DR8-C | 500m | Q3CY23 |
| 800G OSFP-RHS 2xFR4 | WST-OR8-2FR4-C | 2km | Q4CY23 |
| description | PN | spec | 参考価格 |
|---|---|---|---|
| 400G QSFP-DD DR4 | WST-QD4-DR4-C | 500m | ¥314,000 |
| 400G QSFP-DD FR4 | WST-QD4-FR4-C | 2km | ¥450,000 |
| 400G QSFP112 DR4 | WST-S112-DR4-C | 500m | Q4CY23 |
| 800G QSFP-DD800 DR8 | WST-QD8-DR8-C | 500m | Q3CY23 |
| 800G QSFP-DD800 2xFR4 | WST-QD8-2FR4-C | 2km | Q4CY23 |
| 800G QSFP-DD800 FR8 | WST-QD8-FR8-C | 2km | Q1CY24 |
| 400G QSFP112 DR4 | WST-QS4-DR4-C | 500 | Q4CY23 |
| 400G QSFP112 FR4 | WST-QS4-FR4-C | 2km | Q1CY24 |