光は届いているのにリックアップしない

40G/100Gのお話、一部25G

速度が違う

QSFP28(100G)にQSFP+(40G)のトランシーバーを刺した時に、機器側が正しく40Gと認識していない場合。

EdgeOS

interface ethernet xx
   no nego
   speed 40g

SFP+(10G)にSFP(1G)を刺した場合

NX-OS

Cumulus

$ net add interface swp1 link speed 10000
$ net add interface swp1 link autoneg off

ARISTA/EOS

speed forced 100gfull

FECが違う

100G LR4はFEC無しが標準、SR4/CWDM4は有りが標準。トランシーバーのタイプによってモードを切り替える実装が多いが4WDMなど新しい仕様の場合該当するテーブルが無く正しく設定されない場合がある。

Device 1 (Admin State)	Device 2 (Admin State)	Link State
FEC AUTO	FEC OFF	Down
FEC AUTO	FEC AUTO	UP
FEC OFF	FEC OFF	UP
FEC cl91	FEC AUTO	UP
FEC cl91	FEC cl91	UP
FEC cl91	FEC OFF	Down

EdgeOS

no negotiation
fec rs
no fec

NX-OS

interface xx
fec {auto | cl91 | off}

junos

fec {fec91 | none}

Cumulus

$ net add interface swp1 link fec {rs | off}

• The QLogic 100G NICs default to Auto-Neg with FEC mode determined by Auto Negotiation.
• The QLogic 100G NIC, in Forced 100G mode, the RS-FEC is not enabled unless specifically done in UEFI HII (on the new NIC FW) or via QeDiag.
• TomaHawk Internal QSFP28 PHY logic supports RS-FEC only on quad lane 100G but not on single lane 25G or dual lane 50G.

フロー制御

IEEE802.3x。基本disable。1000BASEの名残。

PFC(Priority flow control)

IEEE 802.1bb。基本auto、linkのup/fownに関係なし

インターフェス構成が違う

QSFP+/QSFP28は４本の独立したインターフェースとみなす「ブレイクアウト」構成ができます。通常の4 laneで一つとみなす設定と対向で合っていなければなりません。

EdgsOS

hardware profile portmode ethernet 1/1 4x10g

Cumulus

cumulus@switch:~$ net add interface swp3 breakout 4x
cumulus@switch:~$ net add interface swp3s0-3 link speed 25000
cumulus@switch:~$ net pending
cumulus@switch:~$ net commit

障害対処手順例

1. ブレイクアウト構成を確認する
2. 速度認識を確認する
3. FECの設定を確認する
4. 光の受信レベルを確認する

AOS/EdgeOS

show hardware profile portmode
AS7712-A#sh int status ether 1/2
Information of Eth 1/2
 Basic Information:
  Port Type                   : 100GBASEQSFP
  MAC Address                 : A8-2B-B5-37-E4-FA
 Configuration:
  Port Admin                  : Up
  Speed-duplex                : Auto
  Capabilities                : 40Gfull, 100Gfull
  FEC Mode                    : RS-FEC

Cisco/NX-OS

switch# show interface Ethernet1/2
(cut)
admin fec state is auto, oper fec state is off

Juniter/Junos

show interfaces diagnostics optics

ARISTA/EOS

show transceiver hardware
show phy detail

Forward Error Correction None
Forward Error Correction Reed-Solomon

Cumulus

cumulus@switch:~$ net show interface swp1
cumulus@switch:~# sudo ethtool -m 

	NOS	CLI
受信光レベルの 確認	EdgeOS	show interface transceiver ethernet
	IOS	show nterfaces transceiver
	IOS-XR	show controllers TenGigE
	NX-OS
	Junos	show interface diagnotics optics
	EOS
	Cumulus	ethtool -m
FECの 確認	EdgeOS	show interface status ethernet
	NX-OS	show interface ethernet
	Junos
	EOS	show phy detail
	Cumulus	ethtool --show-fec swp1

 

fec clause 74(base-r)と91(rs)

Clause 74 BASE-R FEC、Fire-Code FEC(FC-FEC)、エラー訂正はRS-FECより弱いですが、遅延はRS-FECより低くなります。

Clause 74 BER 10E-12 to 10E-19

• Summarizing, total FEC latency constraints can be

– 40 GE: 6144*4 bit times = 596ns

– 100 GE: (6144 + 2112)* 10 bit times = 801ns

Clause 91

BER 10E-5 

cisco Lane serector

ブレイクアウトした場合に、LEDがどのインターフェースのステータスを示しているのかわからなくなるために。cisco Nexusにはレーンセレクタスイッチがある。「LS」とラベルされておりこれを押すと４レーンのそれぞれのステータスがLEDに反映される。

Links

https://cumulusnetworks.com/blog/100g-25g-plugfests-learned/