2024/05/20追記

待望のNVIDIA/Mellanox以外からの400G NICが発表されました。BroadcomのP1400GDで対応ソケットはQSFP112-DD。400Gbpsの動作モードはQSFP-DDの8x50GとQSFP112の4x100G両方に対応している模様です。

https://www.broadcom.com/products/ethernet-connectivity/network-adapters/p1400g

価格はNVIDIA CX7と同等と予想され、2024年の夏頃には国内のユーザーの手元に届くのではないかと思われます。

また、IntelもBF3の対抗製品 IPU E2100を搭載した200Gbps対応のインテリジェントNICが出荷開始された模様です。こちらは、200Gbps時はQSFP56ですが多くの多くのユーザーはQSFP28の2x100Gbpsで運用されるのではないかと思います。

2023年11月現在400G対応NICはNVIDIA(旧Mellanox)一社

  • Broadcomは200Gはあるが400Gは無い
    • P1200G 1 or P2200G 2 port 200G QSFP56
  • Intelは100G
    • E810 100G QSFP28
  • Marvellも100Gまで
    • FastLinQ 100G QSFP28
  • AMD
  • Napatech

NVIDIA ConnectX-7

NVIDIA PN module type BUS crypto
MCX75310AAC-NEAT 1xOSFP-RHS(400GAUI-4 C2M) PCIe 5.0x16 enable
MCX75310AAS-NEAT 1xOSFP-RHS(400GAUI-4 C2M)  
MCX755106AC-HEAT 1xOSFP-RHS(400GAUI-4 C2M) PCIe 4.0x16x2 enable
MCX755106AS-HEAT 1xOSFP-RHS(400GAUI-4 C2M)  
MCX715105AS-WEAT 1xQSFP112  

帯域を確保するためにPCIe busとの接続方法にいくつか種類があり、型番も分かれています。

  1. PCIe 5.0 x 16のみ
  2. PCIe 4.0 x 16x2(2slot分 )
    Auxiliary cardを隣接のslotにも差します。

PCIe 5.0 x 16の最大帯域は、63,015GBs = 504Gbpsですので半二重であれば足ります。しかし、PCIe 4.0x16 では31.508GBs = 252Gbpsですので足りないのです。

最も一般的なのはCrypto DisableのMCX75310AAS-NEATだと思われますが、使用できる光トランシーバーはヒートシンクなしのOSFP-RHSしかも、4laneしか接続しない400GAUI-4 C2M仕様です。

2023年11月現在ではOSFP-RHS対応のWST製品は400GAUI-8 C2M仕様の400G AOC WS-D404-AOCしかありませんので、200G_4X設定でしかも機能の半分を無駄にする構成しか適応できません。

同様に機能の半分が無駄になりますがQ1CY24に出荷予定のOSFP-RHS 2x400G DR4を利用できます。OSFP-RHS 2x400G FR4もQ2CY24を目標に準備を進めています。

OSFP-RHS 400G DR4 4 lane接続に機能を削った製品をラインナップするかは検討中です。 

何故QSFP112を採用しなかったのかは謎です。

電力制限

PCIeのバスコネクタからの供給電力は75Wが最大です。CX7の消費電力は30W以下ですので高機能GPUカードの様に補助電源の接続は必要ありません。しかし、隣接のカードへの影響は冷却風の調整などは必要になります。

Firmware Release 28.34.1002以降であれば"400G_8X"つまり400GAUI-8 C2Mの設定が可能との情報がありますが未確認です。

  • FW  28.38.1900で"400G_8X"が設定できないことが確認されました。

Sending PTYS (Configuring port speeds) raised the following exception: 400G_8X is not supported by Device!

NVIDIA BlueField-3

    module type BUS
B3140H/L SuperNIC 1xQSFP112 PCIe 5.0x16
B3240 DPU 2xQSFP112 PCIe 5.0x16

DPUは補助電源が必要

電力制限

DPUタイプはバスからの最大供給電力75Wでは足りないので、補助電源を8pinコネクタで接続する必要があります。

QSFP112パッケージの光トランシーバーは400G DR4/FR4をQ1CY24に出荷予定です。

PN module type 参考価格
WS-D404-AOC OSFP-RHS 400G AOC 377,000円
WST-OR4-DR4-C OSFP-RHS 400G DR4 検討中
WST-OR8-DR4X1-C OSFP-RHS 1x400G DR4 検討中
WST-OR8-DR4X2-C OSFP-RHS 2x400G DR4 Q2CY24
WST-OR8-FR4X2-C OSFP-RHS 2x400G FR4 Q4CY24
WST-Q112-DR4-C QSFP112 400G DR4 Q2CY24
  QSFP112 400G DR4 LPO Q4CY24
WST-Q112-FR4-C QSFP112 400G FR4 Q3CY24

 

HOST Interface

400G OSFP 400GAUI-8 C2M 8x56Gbps
400G QSFP-DD 400GAUI-8 C2M 8x56Gbps
400G QSFP112 400GAUI-4 C2M 4x112Gbps
400G OSFP-RHS 400GAUI-4 C2M 4x112Gbps
800G OSFP-RHS 800GAUI-8 C2M 8x112Gbps

 

Infinibandとethrnetの違い

CMISにて設定された属性情報以外。光トランシーバーの仕様としては差は有りません。

PCIe帯域の概算

PCIe 5.0 x 16は128B/130B coding 32Gbps x 16 = 504Gbpsですので400G全二重には足りません。従って、x32接続が必要になり2 slot幅を占有する事になります。

NVIDIAでは Socket-Directの名称でx32を実現しています。

この記事をシェア

Previous Article

April 16, 2024 • 11:59AM

Next Article

June 15, 2024 • 3:25PM

Topics

トピックがありません。

From Our Blog