QSFP-DD機器とNVIDIA DGX H100の接続方法

(注：2023年３月現在実機では未検証)

NDIVIA DGX H100は最新AIサーバーとして注目されている製品です。インターコネクト用として４ポートのOSFPを備えていますが、二つのConnectX-7カードの出力が束ねられた変わった仕様です。つまり物理ポートは４ですが、一つのポートに二つのインターフェースが割り当てられている論理構成的には８と言う事です。

InfibiBandとEthernetどちらでも利用可能ですが、Ethernetとして利用する場合は多くのスイッチがOSFPをサポートしていませんのでQSFP-DDもしくはQSFP-DD800への変換する形態になります。

二分岐400G接続

純正のトランシーバーとして二つのMPOコネクタを備えた800G SR8が用意されています。この純正トランシーバーを使いケーブルを分岐して対向に400G SR4のQSFP-DDトランシーバーがあれば良い訳ですが、400G SR4はかなり特殊で弊社でもラインナップしていません。

OSFP 800G DR8を刺して、QSFP-DD 400G DR4をスイッチ側に使う方が現実的です。短い距離で有る場合AOCを使いたいところですが、LANE速度が異なりますので単純配線のブレイクアウトAOCはQSFP112となってしまいます。

MMS4X00-NL/NS/NMと400G DR4の相互接続性

NDIVIA型番MMS4X00は波長等から400G DR4と相互接続性があると推察されます。

"-FLT"は"Flat-top"の意味

2x400G接続

スイッチ側が800G対応(QSFP-DD800)であるなら、束ねたままの接続になります。光トランシーバーの観点からは800Gの単純接続です。但しスイッチ側の設定は2x400Gにする必要があります。

2x200G接続

しかし、800G DR8も2023年３月時点では簡単に入手できません。より現実的なのは、OSFP 400G DR4/FR4を刺してlane速度を56Gbpsに減速設定しスイッチ側では2x200Gのbreakout設定とすることでしょう。400G FR4でbreakout設定は奇妙ではあります。

弊社としては短距離で有りスイッチ側はQSFP-DDが利用されることが多いと想定し、片側OSFP、対向QSFP-DDの両端で異なるモジュールタイプを配線したAOCをラインナップしています。

ストレージ用QSFP-DDポート

DGX H100はストレージ用として4ポートのQSFP-DDも備えていて、これには二つのCPUそれぞれにConnectX-7が割り当てられています。こちらは、通常の単独NICと同等ですので接続としては特殊な要素はありません。ストレージ用と外部向けサービス用に割り当てわれるが一般的でしょう。

NVLink Network用OSFPポート

内部のNVSwitchから出ている18ポートのOSFP。4pathのNVLINKが一つのOSFP。外部NVLink4 switchは2023年3月時点では製品出荷されていない模様。製品型番も未定義。Back-to-Backでの事例も見つけられず。

InfiniBandのback-to-back接続は不可

CX7経由のInfiniband又はEthernetポートは個別のH100に接続されていますので、DGX H100間を直接接続してしまうと対向の隣接するH100と通信できません。Infiniband swich経由の接続が必要です。

InfiniBand スイッチQM9700

外部NVLink SWが無い状況ではInfiniBandでnode間接続を行う構成が推奨されている模様。

2x400GのOSFPポートが32ですので、トランシーバー的には800Gで論理的には2x400G接続。800G OSFP AOCがお勧めです。

(残念ながら2023年3月現在は弊社からOSFP 400G DR4/FR4及び800G DR8は提供できません)

NVLink back to back / QM9700 2x400G IB switch

対400G QSFP-DD

対800G QSFP-DD800

対400G OSFP