400G NIC対応の光トランシーバー
2024/10/25 追記
OCP Global summitの展示会場にBroadcomの400G NICがありました。まだ一般向け出荷はされていない模様。4x100Gに加えて8x50Gの設定も可能との事。だからQSFP112-DD対応表記なんですね。
META+MARVELLからFBNICも展示されていましたがこちらはOCP slot対応のみ。
2024/05/20追記
待望のNVIDIA/Mellanox以外からの400G NICが発表されました。BroadcomのP1400GDで対応ソケットはQSFP112-DD。400Gbpsの動作モードはQSFP-DDの8x50GとQSFP112の4x100G両方に対応している模様です。
https://www.broadcom.com/products/ethernet-connectivity/network-adapters/p1400g
価格はNVIDIA CX7と同等と予想され、2024年の夏頃には国内のユーザーの手元に届くのではないかと思われます。
また、IntelもBF3の対抗製品 IPU E2100を搭載した200Gbps対応のインテリジェントNICが出荷開始された模様です。こちらは、200Gbps時はQSFP56ですが多くの多くのユーザーはQSFP28の2x100Gbpsで運用されるのではないかと思います。
2023年11月現在400G対応NICはNVIDIA(旧Mellanox)一社
- Broadcomは200Gはあるが400Gは無い
- P1200G 1 or P2200G 2 port 200G QSFP56
- Intelは100G
- E810 100G QSFP28
- Marvellも100Gまで
- FastLinQ 100G QSFP28
- AMD
- Napatech
NVIDIA ConnectX-7
| NVIDIA PN | module type | BUS | crypto |
|---|---|---|---|
| MCX75310AAC-NEAT | 1xOSFP-RHS(400GAUI-4 C2M) | PCIe 5.0x16 | enable |
| MCX75310AAS-NEAT | 1xOSFP-RHS(400GAUI-4 C2M) | ||
| MCX755106AC-HEAT | 1xOSFP-RHS(400GAUI-4 C2M) | PCIe 4.0x16x2 | enable |
| MCX755106AS-HEAT | 1xOSFP-RHS(400GAUI-4 C2M) | ||
| MCX715105AS-WEAT | 1xQSFP112 |
帯域を確保するためにPCIe busとの接続方法にいくつか種類があり、型番も分かれています。
- PCIe 5.0 x 16のみ
- PCIe 4.0 x 16x2(2slot分 )
Auxiliary cardを隣接のslotにも差します。
PCIe 5.0 x 16の最大帯域は、63,015GBs = 504Gbpsですので半二重であれば足ります。しかし、PCIe 4.0x16 では31.508GBs = 252Gbpsですので足りないのです。
最も一般的なのはCrypto DisableのMCX75310AAS-NEATだと思われますが、使用できる光トランシーバーはヒートシンクなしのOSFP-RHSしかも、4laneしか接続しない400GAUI-4 C2M仕様です。
2023年11月現在ではOSFP-RHS対応のWST製品は400GAUI-8 C2M仕様の400G AOC WS-D404-AOCしかありませんので、200G_4X設定でしかも機能の半分を無駄にする構成しか適応できません。
同様に機能の半分が無駄になりますがQ1CY24に出荷予定のOSFP-RHS 2x400G DR4を利用できます。OSFP-RHS 2x400G FR4もQ2CY24Q1CY25を目標に準備を進めています。
OSFP-RHS 400G DR4 4 lane接続に機能を削った製品をラインナップするかは検討中です。
何故QSFP112を採用しなかったのかは謎です。
電力制限
PCIeのバスコネクタからの供給電力は75Wが最大です。CX7の消費電力は30W以下ですので高機能GPUカードの様に補助電源の接続は必要ありません。しかし、隣接のカードへの影響は冷却風の調整などは必要になります。
Firmware Release 28.34.1002以降であれば"400G_8X"つまり400GAUI-8 C2Mの設定が可能との情報がありますが未確認です。
- FW 28.38.1900で"400G_8X"が設定できないことが確認されました。
Sending PTYS (Configuring port speeds) raised the following exception: 400G_8X is not supported by Device!
NVIDIA BlueField-3
| module type | BUS | ||
|---|---|---|---|
| B3140H/L | SuperNIC | 1xQSFP112 | PCIe 5.0x16 |
| B3240 | DPU | 2xQSFP112 | PCIe 5.0x16 |
DPUは補助電源が必要
電力制限
DPUタイプはバスからの最大供給電力75Wでは足りないので、補助電源を8pinコネクタで接続する必要があります。
QSFP112パッケージの光トランシーバーは400G DR4/FR4をQ1CY24に出荷予定です。
| PN | module type | 参考価格 | |
|---|---|---|---|
| WS-D404-AOC | OSFP-RHS 400G AOC | 377,000円 | |
| WST-OR4-VR4-C | OSFP-RHS 1x400G VR4 | 175,000円 | |
| WST-OR4-DR4-C | OSFP-RHS 1x400G DR4 | 325,000円 | |
| WST-OR8-DR4X2-C | OSFP-RHS 2x400G DR4 | 446,000円 | for NVIDIA DGX |
| WST-OR4-FR4-C | OSFP-RHS 1x400G FR4 | Q1CY25 | |
| WST-OR8-FR4X2-C | OSFP-RHS 2x400G FR4 | Q1CY25 | for NVIDIA DGX |
| WST-Q112-DR4-C | QSFP112 400G DR4 | 207,000円 | |
| QSFP112 400G DR4 LPO | Q4CY24 | ||
| WST-Q112-FR4-C | QSFP112 400G FR4 | Q3CY24 |
HOST Interface
| 400G OSFP | 400GAUI-8 C2M | 8x56Gbps |
| 400G QSFP-DD | 400GAUI-8 C2M | 8x56Gbps |
| 400G QSFP112 | 400GAUI-4 C2M | 4x112Gbps |
| 400G OSFP-RHS | 400GAUI-4 C2M | 4x112Gbps |
| 800G OSFP-RHS | 800GAUI-8 C2M | 8x112Gbps |
Infinibandとethrnetの違い
CMISにて設定された属性情報以外。光トランシーバーの仕様としては差は有りません。
PCIe帯域の概算
PCIe 5.0 x 16は128B/130B coding 32Gbps x 16 = 504Gbpsですので400G全二重には足りません。従って、x32接続が必要になり2 slot幅を占有する事になります。
NVIDIAでは Socket-Directの名称でx32を実現しています。