Broadcom 400G NIC(P1400GD)対応トランシーバー

BroadcomのPCIe bus slot用Thor2 400G NIC(BCM957608-P1400GDF00)を入手しましたので、さっそく各種弊社トランシーバーでの試験を行っています。

残念ながら2025/04版のIPL(Interconnect Compatibility List)には弊社製品は記載されていません。

電力制限

最初に確認していることは電力制限です。データシートに以下の表が記述されています。

3W見込みのLPO使用時に、16.2W。AOC時に22.3Wと言う事は22.3-16.2+3.0 = 9.1Wの消費電力をトランシーバーに見込んでいると推察されます。QSFP-DDの目安は12WでありPCIe slotの規格上の上限は75Wですのでまだ余裕があるはずですがトランシーバーへ供給できる電力の上限の記述は見つけることが出来ません。

WST-QD4-DR4-Cの実測最大電力が9.2Wなのでギリギリオーバー。

動作モード

電気的には800Gbps可能なQSFP112-DD(8x112G)仕様ですが、PHYの容量は400Gbpsですし実際の動作モードはドライバー依存です。初期はQSFP-DD 400Gbpsはサポートされていないと言われていました。

2025年4月18時点では。Windows用 233.0.148.0 04/10/2025、Linux用233.1.135.7 01/12/2023が公開されています。

• auto negotiate
• QSFP56-DD(O2)
• QSFP112(O22)
• QSFP28

test LIST

• LB)external loopback auto config mode
• SW)EdgeCore AS9716 SONiC対向接続 QSFP-DD or QSFP28
• QSFP28 single lambdaはno FEC設定を明示的に無効にする必要がある
• V233.1.135.7

Operation

• Windowsのdriverはdownloadして通常のNICと同様に適用するだけです。基本的にはauto negotiationの設定で100/400Gで動作します。
• 設定変更はWindows用のGUI toolはなく、OS共通のCLI(NICCLI)で操作します。
• Windowsのデバイスマネージャーからプロパティの変更で所要なパラメータの変更が可能です。
• 設定の変更は基本的にnvmの内容の書き換えによって行います。
• 設定変更が有効になるには再起動が必要です。

1. PCIe modeの確認
   PCIe 5.0 x 16で動作しているかの確認方法、不明。
2. Fiwrmware update
   1. niccli -i 1 install  xxx.pkg
3. mode set
   1. niccli -i 1 nvm -setoption port_operation_mode -value 2
4. トランシーバー情報の所得
   1. Linux上の"ethtool -m"
   2. Windows上、不明
5. リンク状況の確認
   1. LED　GREENが400G、アンバーがその他(100G等)
   2. "niccli show"

Linux ethtool

Linux環境では基本的にethtoolを使用してトランシーバーの情報を得る事ができます。但しversion 6.5ではmodule type 0x1e(CMIS QSFP/28QSFP112)をサポートしていないため、QSFP112では16進ダンプ表示になります。

• ethtool 6.14 2025-04-07で追試験中
  QSFP112もサポート、8lane表示するのおかしい。
  ethtool 6.7でも大丈夫

Firmware

2025年４月18日時点での最新は 233.1.135.7 04/10/2025

https://www.broadcom.com/products/ethernet-connectivity/network-adapters/p1400g

PRBS Test

niccli -i <target index> prbs_test <enable/disable>

動作せず調査中

Breakout

UEFIで設定、BIOS(UEFI)にNICの制御ソフトを組み込んで設定変更を行う。

CLI出力例

win> .\niccli_x64.exe -i 1 install BCM957608-P1400GDF00.pkg

-------------------------------------------------------------------------------
NIC CLI v233.0.150.0 - Broadcom Inc. (c) 2025 (Bld-106.52.39.138.16.0)
-------------------------------------------------------------------------------

WARNING : Don't perform power cycle or reboot the system while firmware update
          is in progress as the device may become inoperable.

Active Package Version - 230.2.52.0 : Package Version on NVM - 230.2.52.0

NetXtreme-E Controller at PCI Domain 0000:01:00:0
Device 0000:01:00:0 : Installing package file C:\Users\smori\Downloads\BCM957608-P1400GDF00.pkg
Device 0000:01:00:0 : will be updated to package version 233.1.135.7

Do you want to continue (y/n)?y
Firmware Update is in progress. Please wait ...
###################################################

Firmware update is completed.
A system reboot is needed for firmware update to take effect.
FW package update SUCCESS!

Ubuntu 24.02

ubuntsu:~$ sudo ethtool -m enp1s0np0
Identifier                            : 0x1e (QSFP+ or later with Common Management Interface Specification (CMIS))
​​​​​Power class                           : 8
Max power                             : 10.00W
Connector                             : 0x0c (MPO Parallel Optic)
Cable assembly length                 : 0.00m
Tx CDR bypass control                 : No
Rx CDR bypass control                 : No
Tx CDR                                : Yes
Rx CDR                                : No
Transmitter technology                : 0x04 (1310 nm DFB)
Laser wavelength                      : 1310.000nm
Laser wavelength tolerance            : 6.500nm
Length (SMF)                          : 0.50km
Length (OM5)                          : 0m
Length (OM4)                          : 0m
Length (OM3 50/125um)                 : 0m
Length (OM2 50/125um)                 : 0m
Vendor name                           : WAVESPLITTER
Vendor OUI                            : 00:0f:0e
Vendor PN                             : WST-Q112-DR4-C
Vendor rev                            : 01
Vendor SN                             : TH45FS0002
Date code                             : 240514
Revision compliance                   : Rev. 4.0
Rx loss of signal                     : None
Module State                          : 0x03 (ModuleReady)
LowPwrAllowRequestHW                  : On
LowPwrRequestSW                       : Off
Module temperature                    : 71.04 degrees C / 159.88 degrees F
Module voltage                        : 3.1634 V
Laser tx bias current (Channel 1)     : 52.732 mA
Laser tx bias current (Channel 2)     : 52.732 mA
Laser tx bias current (Channel 3)     : 52.736 mA
Laser tx bias current (Channel 4)     : 52.736 mA
Laser tx bias current (Channel 5)     : 0.000 mA
Laser tx bias current (Channel 6)     : 0.000 mA
Laser tx bias current (Channel 7)     : 0.000 mA
Laser tx bias current (Channel 8)     : 0.000 mA
Transmit avg optical power (Channel 1) : 1.2757 mW / 1.06 dBm
Transmit avg optical power (Channel 2) : 1.4392 mW / 1.58 dBm
Transmit avg optical power (Channel 3) : 1.3934 mW / 1.44 dBm
Transmit avg optical power (Channel 4) : 1.2581 mW / 1.00 dBm
Transmit avg optical power (Channel 5) : 0.0000 mW / -inf dBm
Transmit avg optical power (Channel 6) : 0.0000 mW / -inf dBm
Transmit avg optical power (Channel 7) : 0.0000 mW / -inf dBm
Transmit avg optical power (Channel 8) : 0.0000 mW / -inf dBm
Rcvr signal avg optical power (Channel 1) : 0.9938 mW / -0.03 dBm
Rcvr signal avg optical power (Channel 2) : 1.3231 mW / 1.22 dBm
Rcvr signal avg optical power (Channel 3) : 1.2866 mW / 1.09 dBm
Rcvr signal avg optical power (Channel 4) : 1.2274 mW / 0.89 dBm
Rcvr signal avg optical power (Channel 5) : 0.0000 mW / -inf dBm
Rcvr signal avg optical power (Channel 6) : 0.0000 mW / -inf dBm
Rcvr signal avg optical power (Channel 7) : 0.0000 mW / -inf dBm
Rcvr signal avg optical power (Channel 8) : 0.0000 mW / -inf dBm
Module temperature high alarm         : Off
Module temperature low alarm          : Off
Module temperature high warning       : Off