QSFP-DD機器とNVIDIA DGX H100の接続方法

2024/10/09追記　 DGXシリーズのインターフェース

2024/07/19 追記「DGX H200/B200対応」

GPUメモリが640GB(80GBx8)から1128GB(141GBx8)に拡大された「DGX H200」。「DGX B200」は外部インターフェース構成に変更は有りませんので、OSFP-RHS及びQSFP112ポートに使用できる光トランシーバーの要件は同じです。

「DGX GH200」は、DGXシリーズではありますが複数ラックで構成するシステムですのでbasePOD等と同列なると理解しています。

HGXはマザーボードがDELL/ASUS/SuperMicro等のパートナー品になりますので、単体で販売しているCX7 NICもしくはBF3 NICに合わせた光トランシーバーになります。

モジューラ化されたMGXも同様。

NDIVIA DGX H100は最新AIサーバーとして注目されている製品です。インターコネクト用として４ポートのOSFP-RHSを備えていますが、二つのConnectX-7カードの出力が束ねられた変わった仕様です。つまり物理ポートは４ですが、一つのポートに二つのインターフェースが割り当てられている論理構成的には８と言う事です。

InfibiBandとEthernetどちらでも利用可能ですが、Ethernetとして利用する場合は多くのスイッチがOSFPをサポートしていませんのでQSFP-DDもしくはQSFP-DD800への変換する形態になります。

二分岐400G接続

純正のトランシーバーとして二つのMPOコネクタを備えた800G SR8が用意されています。この純正トランシーバーを使い対向に400G SR4のQSFP-DDトランシーバーがあれば良い訳ですが、400G SR4はかなり特殊で弊社でもラインナップしていません。

OSFP-RHS 800G DR8を刺して、QSFP-DD 400G DR4をスイッチ側に使う方が現実的です。短い距離ではAOCを使いたいところですが、LANE速度が異なりますので単純配線のブレイクアウトAOCはQSFP112となってしまいます。

二分岐200G接続

QSFP56を備えるSN4600と400G OSFP-RHS/2xQSFP56 AOCを使用しての接続がNVIDIAが提示している接続例の一つです。

MMS4X00-NL/NS/NMと400G DR4の相互接続性

NDIVIA型番MMS4X00は波長等から400G DR4と相互接続性があると推察されます。

NVIDIA型番"-FLT"は"RHS"の意味

OSFP SpecificationのOSFP-RHS。ヒートシンクを削除しmoduleの厚みを薄くすることによりPCIeカードの厚みに収まるようにしたmoduleです。放熱のためのヒートシンクをCAGEに備えている必要があります。

2x400G breakout接続

スイッチ側が800G対応(QSFP-DD800)であるなら、束ねたままの接続になります。光トランシーバーの観点からは800Gの単純接続です。但しスイッチ側の設定は2x400Gにする必要があります。

2x200G breakout接続

しかし、800G DR8も2023年３月時点では簡単に入手できません。より現実的なのは、OSFP-RHS 400G DR4/FR4を刺してlane速度を56Gbpsに減速設定しスイッチ側では2x200Gのbreakout設定とすることでしょう。400G FR4でbreakout設定は奇妙ではあります。

WS-D404-AOCはこの接続形態安価なAOCで実現する製品であり既に導入実績があります。

ストレージ用QSFP112ポート

(2024/03/07　訂正)

DGX H100はストレージ用として4ポートのQSFPも備えていて、これには二つのCPUそれぞれにConnectX-7が割り当てられています。当初はQSFP-DDであると想定されていましたが出荷されている製品はQSFP112です。QSFP28で100Gbpsとして利用できますが、400Gで利用するにはQSFP112とこれもマイナーなパッケージが必要です。

100Gbps QSFP28として弊社のWS-QS28-AOCを始めとするQSFP28対応の評価試験は完了しています。QSFP112 400G DR4の提供を2024年６月より開始しました。

QM9700 2x400G IB switch

対400G QSFP-DD

対800G QSFP-DD800

対400G OSFP